- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个很大的查找表,其中包含整数作为键和字符串列表作为值。我需要这个查找表对通过 Spark 加载的数据进行一些过滤和转换。
import numpy as np
import pandas as pd
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
conf = SparkConf()
conf.setMaster("local[20]")
conf.setAppName("analysis")
conf.set("spark.local.dir", "./tmp")
#conf.set("spark.executor.memory", "20g")
#conf.set("spark.driver.memory", "20g")
conf.set("spark.python.worker.reuse", "yes")
sc = SparkContext(conf=conf)
sqlc = SQLContext(sc)
在启动 pyspark 时,我什至使用 --driver-memory 20g
选项。
我的机器有 500 GB 内存和 27 个内核。我首先在内存中加载一个名为 lookup_tbl
的字典,它有 17457954 行。
当我尝试运行以下代码时,超过 10 分钟没有得到任何输出。等了这么久,我关闭了这个进程。我需要查找表功能。我什至尝试过使用广播
功能。
sc.broadcast(lookup_tbl)
def clean_data(x, transform=lambda k: (int(k[0]), "\t".join(k[1:]))):
x = x.split('\t')
return transform(x)
def check_self(x):
from_id = x[0]
to_id = x[1]
self_ = 1
try:
common_items = set(lookup_tbl[from_id]).intersection(set(lookup_tbl[to_id]))
except KeyError:
common_items = set()
if len(common_items ) < 1:
common_items = set("-")
self_ = 0
return (((from_id, to_id, k, self_) for k in common_items ))
pair = sc.textFile("data/pair.tsv").map(lambda x: clean_data(x, transform=lambda k: (int(k[0]), int(k[1])))).flatMap(check_self)
csv_data = pair.map(lambda x: "\t".join("%s" for k in xrange(len(x))) % x)
csv_data.saveAsTextFile("out/pair_transformed")
这是 Spark 的问题还是我运行不正确?另外,我尝试为执行程序和驱动程序内存设置各种值(~20g
),但没有得到任何改进。
据我了解,spark 首先尝试序列化该字典,然后再将其发送到所有本地进程。有没有办法可以从公共(public)位置使用这本字典?
最佳答案
首先要访问广播变量,您必须使用它的 value
属性:
# You can use get instead of catching KeyError
s1 = set(lookup_tbl.value.get(from_id, set()))
s2 = set(lookup_tbl.value.get(to_id, set()))
common_items = s1.intersection(s2)
为了避免广播,您可以在 mapPartitions
内部本地加载 lookup_tbl
:
def check_partition(iter):
lookup_tbl = ...
for x in iter:
yield check_self
identity = lambda x: x
pair = (sc.textFile(...)
.map(lambda x: clean_data(...)
.mapPartitions(check_partition)
.flatMap(identity))
如果 lookup_tbl
相对较大,它仍然会相当昂贵。有很多方法可以处理这个问题:
使用 SQLite 连接而不是局部变量。
import sqlite3
conn = sqlite3.connect('path/to/lookup.db')
c.execute("SELECT key FROM lookup WHERE id = '%s'" % from_id)
s1 = {x[0] for x in c.fetchall()}
c.execute("SELECT key FROM lookup WHERE id = '%s'" % to_id)
s2 = {x[0] for x in c.fetchall()}
common_items = s1.intersection(s2)
它很容易设置,并且如果数据正确索引的话应该足够快
使用单个数据库服务器进行查找。 MongoDB 应该可以正常工作,并且通过正确的内存映射,您可以显着减少总体内存占用
使用加入
而不是广播
swap = lambda x: (x[1], x[0])
def reshape1(record):
(k1, (items, k2)) = record
return (k2, (k1, items))
def reshape2(record):
(k1, (items1, (k2, items2))) = record
return (k1, k2, set(items1) & set(items2))
pairs = sc.textFile(...).map(lambda x: clean_data(...))
n = ... # Number of partitions
lookup_rdd = sc.parallelize(lookup_tbl.items()).partitionBy(n)
lookup_rdd.join(lookup_rdd.join(pairs).map(reshape1)).map(reshape2)
关于python - 在带有 PySpark 的单个多核机器中使用大型查找表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32980908/
我在 GlassFish (J2EE_1.4) 上的 NetBeans 中开发企业项目。我的项目中有一些实体 bean、一些 session bean 和消息驱动 bean。我以如下方式使用 serv
什么在速度方面更好...... 我正在尝试确定用户是否已将某个 URL 添加到他们的快捷方式列表中。如果他们添加了 URL,页面上就会有一个链接,用于从快捷方式中删除该页面,否则他们可以将其添加到快捷
我的问题如下: 我打开一个Excel-File,但我不知道我的客户在模板文件中使用了哪些可能的标头变量。它们可以是:#DATE,#TIME,#NAME等。因此,我需要查找这些变量,以及是否已使用过:替
我有一堆以“-e”结尾的文件要删除。 $ find . -name "*-e" exec rm {} \; find: exec: unknown primary or operator 正则表达式是
我有一个简单的问题:是否可以在 TypeScript 中获取联合的一部分的类型? 例如,您可以经常使用如下查找类型: interface Person { name: string; } type
我正在尝试设置 Point Cloud Library启用 CUDA 选项的主干构建。 我相信我已经按照 these instructions 正确安装了 CUDA . 在 PCL 构建的 cmake
我将首先说我所知道的唯一 VBA 是操作录制的宏的反复试验。我是一名注册会计师,试图以艰难的方式学习 VBA(并希望我去学校学习计算机编程!)。 我有带有多个工作表的大型工作簿。 G 列中以黄色突出显
当文件数达到阈值时,我试图删除目录中最旧的文件。 list_of_files = os.listdir('log') if len([name for name in list_of_files
我有一个数组,它有一些重复的值。 我必须计算每个重复项的数量及其索引。 打印如: Index of b: 1 Index of b: 4 Index of c: 2 Index of c: 3 Ind
我已经搜索了我的问题的解决方案,但没有成功。热键 ctrl+F 找到的 eclipse 查找/替换功能不起作用。注意:通过 Eclipse 菜单 Edit>Find Replace(不工作我的意思是
我想检查 div 是否包含类为“error”的子级,但条件是错误类显示不等于无。 (意味着错误类必须可见。 如何更改我的以下代码: $(".related_field").each(function
这个问题已经有答案了: 已关闭13 年前。 Possible Duplicate: Can jQuery provide the tag name? 嗨! 这个问题太基础了,我不好意思问,但我尝试了
我一直听说这是 cygwin 的路径问题。它阻止了 emacs 在我的 cygwin 中工作。当我在 cli(不是 bash/cygwin)上执行 find 时,无论我输入什么,我都会得到同样的错误。
我正在使用此变量来获取一个或多个与我需要的值相匹配的值。 var mail = $("#dat").contents().find("td:contains('" + name + "')" ).si
请原谅这个长问题。我只是不确定解决这个问题的最佳方法是什么。 我有一个电子表格(Google 表格),其中包含用户和地址列表,我需要从中创建邮寄标签。该电子表格是从我们的学生信息系统导出的。这些地址应
我正在 Excel VBA 中创建一个公式,以解析单元格中以逗号分隔的“部分”列表。在另一个工作表中查找具有该零件名称的单元格,然后使用找到的该单元格的地址来获取同一行不同列的零件成本。我为此工作了数
我被要求在网络应用程序上实现一些电子邮件地址验证 - 我确信我们都已经经历过一千次了...但是,这一次我被要求在域上进行 MX 查找查看它是否接受电子邮件。 有人知道这样做有任何潜在的问题吗? mx
我有一个切换按钮,可读取.wave文件,并且字符串更改为暂停,然后..... 我的问题是,当用户播放声音时,按钮字符串更改为暂停,结束声音后,该字符串仍为暂停状态,我想将其更改为播放。但是我不知道如何
对于令人困惑的标题提前表示歉意。我的问题如下,我在大约 600 个文件中有以下文本: $_REQUEST['FOO'] 我想将其替换为以下内容: $this->input->post('FOO') 为
我正在使用 Ansible 的查找功能查找 INI 文件中的值。这是文档中的示例: - debug: msg="User in integration is {{ lookup('ini', 'use
我是一名优秀的程序员,十分优秀!