- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
有时候我只是讨厌使用中间件。以此为例:我想要一个查找表,将一组输入(域)值的值映射到输出(范围)值。映射是唯一的。 Python map 可以做到这一点,但由于 map 很大,我想,为什么不使用 ps.Series 及其索引,这增加了我可以做到的好处:
像这样:
domain2range = pd.Series(allrangevals, index=alldomainvals)
# Apply the map
query_vals = pd.Series(domainvals, index=someindex)
result = query_vals.map(domain2range)
assert result.index is someindex # Nice
assert (result.values in allrangevals).all() # Nice
按预期工作。但不是。上面的 .map 的时间成本随着 len(domain2range)
而不是(更明智地)O(len(query_vals))
增长,如图所示:
numiter = 100
for n in [10, 1000, 1000000, 10000000,]:
domain = np.arange(0, n)
range = domain+10
maptable = pd.Series(range, index=domain).sort_index()
query_vals = pd.Series([1,2,3])
def f():
query_vals.map(maptable)
print n, timeit.timeit(stmt=f, number=numiter)/numiter
10 0.000630810260773
1000 0.000978469848633
1000000 0.00130645036697
10000000 0.0162791204453
捂脸。在 n=10000000 时,每个映射值花费 (0.01/3) 秒。
那么,问题:
最佳答案
https://github.com/pandas-dev/pandas/issues/21278
热身是个问题。 (双面手掌)。 Pandas 在首次使用时静默构建并缓存哈希索引 (O(maplen))。调用测试函数并预构建索引可获得更好的性能。
numiter = 100
for n in [10, 100000, 1000000, 10000000,]:
domain = np.arange(0, n)
range = domain+10
maptable = pd.Series(range, index=domain) #.sort_index()
query_vals = pd.Series([1,2,3])
def f1():
query_vals.map(maptable)
f1()
print "Pandas1 ", n, timeit.timeit(stmt=f1, number=numiter)/numiter
def f2():
query_vals.map(maptable.get)
f2()
print "Pandas2 ", n, timeit.timeit(stmt=f2, number=numiter)/numiter
maptabledict = maptable.to_dict()
query_vals_list = pd.Series([1,2,3]).tolist()
def f3():
{k: maptabledict[k] for k in query_vals_list}
f3()
print "Py dict ", n, timeit.timeit(stmt=f3, number=numiter)/numiter
print
pd.show_versions()
Pandas1 10 0.000621199607849
Pandas2 10 0.000686831474304
Py dict 10 2.0170211792e-05
Pandas1 100000 0.00149286031723
Pandas2 100000 0.00118808984756
Py dict 100000 8.47816467285e-06
Pandas1 1000000 0.000708899497986
Pandas2 1000000 0.000479419231415
Py dict 1000000 1.64794921875e-05
Pandas1 10000000 0.000798969268799
Pandas2 10000000 0.000410139560699
Py dict 10000000 1.47914886475e-05
...虽然 python 字典快 10 倍有点令人沮丧。
关于python - 为什么 pandas.series.map 慢得惊人?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50633939/
我正在尝试从一个 map 的 map 的 map 的 map 的 map 的 map 的 map 的 map 的 map 的 map 的 map 的 map 的 map 的 map 的 map 的 m
我是 Haskell 的新手,我认为函数 map map和 map.map在 Haskell 中是一样的。 我的终端给了我两种不同的类型, (map.map) :: (a -> b) -> [[a]
我的目标是创建一个 map 的 map ,这样我就可以通过它的键检索外部 map 的信息,然后通过它们的键访问它的“内部” map 。 但是,当我得到每个内部映射时,我最初创建的映射变成了一个对象,我
如何使用 Java8 编写以下代码? for (Entry> entry : data.entrySet()) { Map value = entry.getValue(); if (valu
我有覆盖整个南非的图片。它们为Tiff格式,并已将坐标嵌入其中。我正在尝试拍摄这些图像(大约20张图像),并将它们用作我的iPhone应用程序中的地图叠加层。我的问题在于(准确地)将地图切成图块。 我
所以我有 2 std::map s >一个是“旧的”,一个是“新的”,我想知道哪些文件被删除了,这样就能够遍历差异并对 shared_ptr 做一些事情。这样的事情可能吗?如何做到? 最佳答案 虽然
是否可以将当前查看的 google.maps.Map 转换为静态图像链接,以便我可以获取图像并将其嵌入到 PDF 中? 我在 map 上添加了一些带有自定义图标的标记,所以我不确定这是否真的可行。 如
你能帮我吗 Java Streams ? 从标题可以看出我需要合并List>>进入Map> . 列表表示为List>>看起来像: [ { "USER_1":{
对于 idAndTags 的第二个条目,内部映射被打乱,但第一个条目则不然 第一次接近! for (Map.Entry> entryOne : idAndTags.entrySet()) {
我将从我的代码开始,因为它应该更容易理解我想要做什么: @function get-color($color, $lightness) { @return map-get(map-get($col
我过去曾在许多网站上使用过 Google map ,但遇到了以前从未遇到过的问题。 map 窗口正在显示,但它只显示左上角的 map 片段,以及之后的任何内容(即使我在周围导航时),右侧也不会加载任何
众所周知,这些 map ,无论是常规街道 map 还是卫星 map ,在中国的特定地区都无法正确排列。那么哪个 map 排列正确,是卫星 map 还是默认街道 map ?一些网站表明卫星 map 是正
在拖尾事件之后,我面临着获取此处 map 中的 map 边界的问题。我需要新的经纬度来在新更改的视口(viewport)中获取一些项目/点。我只是想在拖动结束时获得谷歌地图map.getBounds(
我想做的是通过 ajax API 显示以英国邮政编码为中心的小型 bing 生成 map 。我相信这是可能的;我在 Bing map 文档中找不到如何将英国邮政编码转换为可以插入 map Ajax 控
我有一个 List我想转换成的 e Map>其中外部字符串应为“Name”,内部字符串应为“Domain”。 Name Id Domain e(0) - Emp1, 1, Insuran
我的第 2 部分:https://stackoverflow.com/questions/21780627/c-map-of-maps-typedef-doubts-queries 然后我继续创建 I
是否可以在 1 行中使用 Java8 编写以下所有 null 和空字符串检查? Map> data = new HashMap<>(holdings.rowMap()); Set>> entrySet
我正在审查一个项目的旧代码,并使用 Map 的 Map 的 Map 获得了如下数据结构(3 层 map ): // data structure Map>>> tagTree
这可能是一种不好的做法,但我还没有找到更好的解决方案来解决我的问题。所以我有这张 map // Map>> private Map>> properties; 我想初始化它,这样我就不会得到 Null
我们在 JDK 1.7 中使用 HashMap,我在使用 SonarQube 进行代码审查时遇到了一些问题。 请考虑以下示例: public class SerializationTest imple
我是一名优秀的程序员,十分优秀!