- iOS/Objective-C 元类和类别
- objective-c - -1001 错误,当 NSURLSession 通过 httpproxy 和/etc/hosts
- java - 使用网络类获取 url 地址
- ios - 推送通知中不播放声音
在开始解释我的问题之前,我应该说明我不是在寻找增加 Java 堆内存的方法。我应该严格存储这些对象。
我正在努力将大量(5-10 GB)的 DNA 序列及其计数(整数)存储在哈希表中。 DNA 序列(长度不超过 32)由“A”、“C”、“G”、“T”和“N”(未定义)字符组成。众所周知,当在内存中存储大量对象时,与 C 和 C++ 等低级语言相比,Java 的空间效率较差。因此,如果我将此序列存储为字符串(对于长度约为 30 的序列,它占用大约 100 MB 的内存),我会看到错误。
我试图将核酸表示为“A”=00、“C”=01、“G”=10、“T”=11 并忽略“N”(因为它破坏了 char 到 2 位转换为第 5 种酸)。然后,将这些 2 位酸连接成字节数组。它带来了一些改进,但不幸的是,几个小时后我又看到了错误。我需要一个方便的解决方案或至少一个解决方法来处理这个错误。提前谢谢你。
最佳答案
相当复杂,也许这是一个奇怪的想法,需要大量的工作,但这是我会尝试的:
您已经指出了整个任务的两个单独的子问题:
HashMap
对于如此大的集合大小,实现可能不是最佳的我建议为 Map<String, Long>
编写一个高度定制的 HashMap 实现。界面。在内部你不必存储字符串。不幸的是 5^32 > 2^64,所以无法将整个字符串打包成一个长字符串,好吧,让我们坚持使用两个长字符串作为一个键。当为您的 map 实现提供字符串键(使用位移位等)时,您可以相当高效地即时进行字符串到/返回 long[2] 的转换。
至于打包值,这里有一些注意事项:
对于一个键值对,一个标准的hashmap需要一个包含N个longs的桶数组,其中N是当前容量,当从哈希键中找到桶时,它需要一个键的链表-value 对来解析产生相同哈希码的键。对于您的具体情况,您可以尝试通过以下方式对其进行优化:
3N
的 long[]其中 N
是在连续数组中存储键和值的能力3 * (hashcode % N)
和 3 * (hashcode % N) + 1
您将键的 long[2] 表示形式存储在位置 3 * (hashcode % N) + 2
中,匹配此存储桶的第一个键或唯一的一个(插入时,否则为零)你存储相应的计数HashMap<Long2KeyWrapper, Long>
中。 .这个想法是保持上面提到的数组的容量(并相应地调整大小)足够大,以便在该连续数组中拥有迄今为止最大的数据部分,而不是在回退 HashMap 中。这将大大减少 HashMap 的存储开销鉴于不平等 5^32 > 2^64
你用位来编码 5 个字母的想法似乎是我现在能想到的最好的。使用 3 位和相应的 long[2]。
关于java - 如何减少 HashMap<String, Integer> 类数据结构的内存使用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43404287/
如果您想使用 String.Concat() 连接 5 个或更多字符串,则它会使用 Concat(String[])。 为什么不一直使用 Concat(String[]) 而不再需要 Concat(S
今天在使用 String 时,我遇到了一种我以前不知道的行为。我无法理解内部发生的事情。 public String returnVal(){ return "5";
似乎在我所看到的任何地方,都有一些过时的版本,这些版本不再起作用。 我的问题似乎很简单。我有一个Java类,它映射到derby数据库。我正在使用注释,并且已经成功地在数据库中创建了所有其他表,但是在这
一、string::size_type() 在C++标准库类型 string ,在调用size函数求解string 对象时,返回值为size_type类型,一种类似于unsigned类型的int 数据
我正在尝试将数据保存到我的 plist 文件中,其中包含字符串数组的定义。我的plist - enter image description here 我将数据写入 plist 的代码是 -- let
我有一个带有键/值对的 JavaScript 对象,其中值是字符串数组: var errors = { "Message": ["Error #1", "Error #2"], "Em
例如,为了使用相同的函数迭代 List 和 List> ,我可以编写如下内容: import java.util.*; public class Test{ public static voi
第一个Dictionary就像 Dictionary ParentDict = new Dictionary(); ParentDict.Add("A_1", "1")
这是我的 jsp 文件: 我遇到了错误 The method replace(String, String, String) in the type Functions is not appl
我需要一些帮助。我有一个方法应该输出一个包含列表内容的 txt 文件(每行中的每个项目)。列表项是字符串数组。问题是,当我调用 string.Join 时,它返回文字字符串 "System.Strin
一位同事告诉我,使用以下方法: string url = "SomeURL"; string ext = "SomeExt"; string sub = "SomeSub"; string s
给定类: public class CategoryValuePair { String category; String value; } 还有一个方法: public
我正在尝试合并 Stream>>对象与所有 Streams 中的键一起映射到单个映射中. 例如, final Map someObject; final List>> list = someObjec
在这里使用 IDictionary 的值(value)是什么? 最佳答案 使用接口(interface)的值(value)始终相同:切换到另一个后端实现时,您不必更改客户端代码。 请考虑稍后分析您的代
我可以知道这两个字典声明之间的区别吗? var places = [String: String]() var places = [Dictionary()] 为什么当我尝试以这种方式附加声明时,只有
在 .NET 4.0 及更高版本中存在 string.IsNullOrWhiteSpace(string) 时,在检查字符串时使用 string.IsNullOrEmpty(string) 是否被视为
这个名字背后的原因是什么? SS64在 PowerShell 中解释此处的字符串如下: A here string is a single-quoted or double-quoted string
我打算离开 this 文章,尝试编写一个接受字符串和 &str 的函数,但我遇到了问题。我有以下功能: pub fn new(t_num: S) -> BigNum where S: Into {
我有一个结构为 [String: [String: String]] 的多维数组。我可以使用 for 循环到达 [String: String] 位,但我不知道如何访问主键(这个位 [String:
我正在尝试使用 sarama(管理员模式)创建主题。没有 ConfigEntries 工作正常。但我需要定义一些配置。 我设置了主题配置(这里发生了错误): tConfigs := map[s
我是一名优秀的程序员,十分优秀!