- iOS/Objective-C 元类和类别
- objective-c - -1001 错误,当 NSURLSession 通过 httpproxy 和/etc/hosts
- java - 使用网络类获取 url 地址
- ios - 推送通知中不播放声音
基本上我有两个列表,我必须检查两个列表中每个值的存在
list A = [1,2,3,4]
list B= [3,4,5]
## just an example. The result would be convert into csv
result = [
[1, true, false],
[2, true, false], ## 2 only exist in the first list
[3, true, true], ## 3 exist in both lists
[4, true, true],
[5, false, true]
]
我正在使用列表并设置为将每一行附加到列表中。作为this question建议,我使用 Dataframe merge 来测试性能。
令人惊讶的是,数据框 merge
与 indication
方法并没有优于非常愚蠢的列表解决方案。
两个解决方案在这里
愚蠢的一个:应该是一个 O(n) 的解决方案,因为 checkin 集是 O(1)
def FindDifferences():
df1 = pd.read_csv('Gmax_v6_annotation_info.txt', names=['name'], usecols=[0], delimiter='\t')
df2 = pd.read_csv('Gmax_v9_annotation_info.txt', names=['name'], usecols=[2], delimiter='\t')
v6_set = set(df1['name'])
v9_set = set(df2['name'])
result = []
for val in v6_set:
if val in v9_set:
result.append([val, True, True])
else:
result.append([val, True, False])
for val in v9_set:
if val not in v6_set:
result.append([val, False, True])
result_df = pd.DataFrame(result, columns=['name', 'inv6', 'inv9'])
result_df.to_csv('result_csv.csv', index=False, header=False)
return
数据框一,归功于 Psidom
In [13]: def pandas_solution():
...: df1 = pd.read_csv('Gmax_v6_annotation_info.txt', names=['name'], usecols=[0], delimiter='\t')
...: df2 = pd.read_csv('Gmax_v9_annotation_info.txt', names=['name'], usecols=[2], delimiter='\t')
...: df1.merge(df2, how='outer', indicator=True)
.assign(inv6 = lambda x:x._merge != "right_only", inv9 = lambda x:x._merge != "left_only")
.drop("_merge", 1).to_csv('resultcsv.csv')
结果
In [7]: %timeit FindDifferences()
1 loop, best of 3: 386 ms per loop
In [16]: %timeit pandas_solution()
1 loop, best of 3: 389 ms per loop
https://github.com/shaoqin2/AlgorithmSpeedTests/tree/master/check_existance_in_two_lists
我想知道引擎盖下发生了什么,以及从这种行为中得到了什么。合并解决方案在直觉上似乎好得多。
最佳答案
df1.merge(df2, how='outer', indicator=True)
本身经过优化,速度非常快。所以你的那部分操作确实应该比你的 O(n)
列表操作更好。
但是,除了调用 merge
之外,您还调用了 DataFrame.assign
。此函数将任意函数作为输入,并在您的对象上生成(并设置)输出的任意 dict
。
由于 pandas
不知道关于您将要使用的函数的任何信息,因此它无法应用任何巧妙的加速来实现它工作更快。它所能做的就是遍历您的 DataFrame
并一次运行一个输入的操作。这当然不比仅仅遍历一个列表更好!
实现有点难以展示,因为 pandas
在这里用它的 API 做了一些非常聪明的事情。但是,DataFrame.apply
的行为类似,所以这里有一个演示,说明这在实践中意味着什么:
%timeit pd.DataFrame(np.random.randn(100, 100)).sum()
1000 loops, best of 3: 1.2 ms per loop
%timeit pd.DataFrame(np.random.randn(100, 100)).apply(lambda row: sum(row), axis=1)
100 loops, best of 3: 7.63 ms per loop
关于python - Pandas dataframe merge 的性能并不比附加到新列表更好,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42847989/
如标题所示,ans_list是一个答案列表,ans_index是一个数字(答案在词汇表中的索引,但与atm无关) 这里生成的 tree.anslist 是什么? (例如,仅针对第一个),忽略迭代。 f
我目前将用户的输入存储在逗号分隔的列表中,如下所示: Userid | Options 1 | 1,2,5 用户在一个数组形式中勾选一组选项,然后用逗号连接起来 1,2,5 然后 MySQ
我目前将用户的输入存储在逗号分隔的列表中,如下所示: Userid | Options 1 | 1,2,5 用户在一个数组形式中勾选一组选项,然后用逗号连接起来 1,2,5 然后 MySQ
我想知道如何完全展平列表和包含它们的东西。除其他外,我想出了一个解决方案,它可以将具有多个元素的东西滑倒并将它们放回原处,或者在滑倒后将具有一个元素的东西拿走。 这与 How do I “flatte
我想知道如何完全展平列表和包含它们的东西。除其他外,我想出了一个解决方案,它可以将具有多个元素的东西滑倒并将它们放回原处,或者在滑倒后将带有一个元素的东西拿走。 这与 How do I “flatte
这个问题已经有答案了: Convert nested list to 2d array (3 个回答) 已关闭 7 年前。 java中有没有快捷方式可以转换 List> 到 String[][] ?
我在排序时遇到问题 List> 。我创建了一个自定义比较器,在其中编写了对数据进行排序的代码。 public class CustomComparator implements Comparator
这个问题已经有答案了: 已关闭10 年前。 Possible Duplicate: Java Generics: Cannot cast List to List? 我只是想知道为什么下面的java代
试图想出一个 LINQy 方法来做到这一点,但我什么也没想到。 我有一个对象列表<>,其中包含一个属性,该属性是逗号分隔的字母代码列表: lst[0].codes = "AA,BB,DD" lst[1
假设我有这些任务: points = [] point = (1, 2) 我怎么会这样做: points += point 它工作得很好,并且给了我点 = [1, 2]。但是,如果我这样做: poin
如何在 scala 中将 List[Task[List[Header]]] 类型转换为 Task[List[Header]]。 我有一个方法返回 Task[List[Header]] 并多次调用 do
如何在 Java 中查找二维列表的元素? 我有一个参数为 List> 的函数我想知道如何找到这个列表的行和列。 最佳答案 如果你喜欢 List> obj 然后你就可以像这样访问 obj.get(cur
分配 List到 List工作正常。 分配 List>到 List>不编译。 代码 public class Main { public static void main(String[] a
我正在用 Java 编写一个方法,该方法必须接收并迭代 Serializable 的 List。 有什么区别: public void myMethod(List list) { } 和 public
我看到很多人想用 mvvm 更新网格/列表/树的一部分,但他们不想刷新整个列表。 对于所有遇到此问题的人,我做了以下示例。 希望这对你有用。 最佳答案 这是一个简单的例子。整个代码中最重要的是: Bi
我正在为现有的 C++ 库编写包装器,该库使用列表,其中 T 是自定义结构。我被建议使用 vector 而不是列表,但我试图避免修改库。 为了更好地理解这个场景,我做了一个简单的应用程序,使用一个列表
List list List list 这两种声明有什么区别吗? 谢谢, 最佳答案 是的。 List可以包含所有派生自 Base 的不同事物的混合物. List包含同质项(从某种意义上说,它们必须全部
有人可以尽可能详细地解释以下类型之间的区别吗? List List List 让我更具体一点。我什么时候想使用 // 1 public void CanYouGiveMeAnAnswer(List l
我有一个元组列表,每个元组都是一对列表。所以我的数据看起来像: mylist = [(['foo', 'bar'], ['bar', 'bar']),(['bar', 'bar'],['bar', '
也许是一个时髦的标题,但我遇到了以下问题: 给定一个类型为 (a * b) list 的列表,我想创建一个类型为 (a * b list) list 的新列表。一个例子: 给定列表 let testL
我是一名优秀的程序员,十分优秀!