gpt4 book ai didi

performance - 大规模加载PetaBytes数据

转载 作者:行者123 更新时间:2023-12-02 21:59:52 25 4
gpt4 key购买 nike

我需要在一秒钟内将PB级的文本数据加载到存储(RAM / SSD)中。

以下是解决上述问题的一些问题。

1)在理论上是否可能在一秒钟内加载PB级数据?
2)什么是最好的设计方法,以便在几秒钟内快速加载PB级数据。
3)有基准测试可用吗?

我可以采用Hadoop,Spark,HPCC等任何技术来实现...

最佳答案

“一秒钟内的PB ....”。认真吗?请检查wikipedia Petabyte:它是1.000.000 GB!

还要检查wikipedia Memory bandwidth。即使最快的RAM也不能处理超过10 GB / s的速度(实际上这要低得多)。

只是好奇:您的用例是什么?

关于performance - 大规模加载PetaBytes数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41054795/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com