gpt4 book ai didi

hadoop - 我应该如何最好地存储这些文件?

转载 作者:可可西里 更新时间:2023-11-01 14:50:20 26 4
gpt4 key购买 nike

我有一组图片文件,一般都很小,在5k到100k之间。它们可以是任何大小,超过 50mb,但这种情况非常罕见。当这些图像被放入系统时,它们永远不会被修改。这些图像总共有大约 50 TB。它们目前在 Oracle 中被分块并存储在 BLOB 中,但我们想要改变这一点,因为它需要特殊的软件来提取它们。

这些图像有时在大约 10 个服务器中以每秒超过 100 个请求的速度访问。

我在考虑 Hadoop 或 Cassandra,但我真的不知道哪个最好或如何最好地为它们编制索引。

最佳答案

首先,我建议您也看看 HBase。人们在 Imageshack正在使用 HBase 来存储他们的图像内容,并且他们能够成功地做到这一点。看这个thread .

回到您最初的问题,您可以将不是很大(~10MB)的图像存储到 Cassandra 中。并且可以通过Cassandra(或HBase)中的指针将大文件转储到HDFS中。

HTH

关于hadoop - 我应该如何最好地存储这些文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17392370/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com