gpt4 book ai didi

facebook - Facebook 如何存储它的日志数据?

转载 作者:行者123 更新时间:2023-12-03 22:28:55 24 4
gpt4 key购买 nike

我最近开始使用 Scribe,这是 Facebook 的解决方案,用于从许多不同的服务器传输和收集日志数据。

我找不到的是 Facebook 如何存储它获得的大量日志数据(根据演示文稿,它在 2009 年是每天 25TB)。

Facebook 是否发布了有关他们如何操作的任何信息? Hadoop HDFS? Cassandra ?

最佳答案

他们在 Hadoop 之上使用 Hive。 Cassandra 用于他们的电子邮件/消息传递,而不是日志记录。一些链接:

https://developers.facebook.com/opensource/

http://highscalability.com/blog/2008/11/24/product-scribe-facebooks-scalable-logging-system.html

http://wiki.apache.org/hadoop/Hive

关于facebook - Facebook 如何存储它的日志数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5831974/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com