gpt4 book ai didi

java - 在 Java 中检查具有 500 万行的文件中的唯一行数据

转载 作者:塔克拉玛干 更新时间:2023-11-01 21:31:09 26 4
gpt4 key购买 nike

我有一个很大的文件,其中有像 ID|VALUE 这样的行。

如果 ID 重复,则必须忽略该行。

如何有效地进行这种检查?
添加:ID 很长(8 字节)。我需要一个使用最少内存的解决方案。
谢谢你们的帮助。我现在能够增加堆空间并使用 Set。

最佳答案

您可以将数据存储在 TLongObjectHashMap 中或使用 TLongHashSet。这些类有效地存储基于原始的信息。

500 万长值将在 TLongHashSet 中使用 < 60 MB,但 TLongObjectHashMap 也将有效地存储您的值。

了解更多关于这些类(class)的信息

http://www.google.co.uk/search?q=TLongHashSet

http://www.google.co.uk/search?q=TLongObjectHashMap

关于java - 在 Java 中检查具有 500 万行的文件中的唯一行数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6594531/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com