hadoop - 处理千兆字节的数据

Question

我要开始一个新项目。我需要在 .NET 应用程序中处理数百个数据。现在提供有关该项目的更多详细信息还处于早期阶段。一些概述如下:

1. 在同一张表上进行大量写入和大量读取，非常实时
2. 扩展非常重要，因为客户坚持非常频繁地扩展数据库服务器，因此，应用程序服务器也是如此
3. 预见，可以实现聚合查询方面的大量使用
4. 每一行数据可能包含很多属性需要处理

我建议/有以下解决方案:

1. 使用分布式哈希表类型的持久性(不是 S3，而是内部的)
2. 使用 Hadoop/Hive 之类的东西(.NET 中的任何替代品？)进行跨节点的任何分析过程
3. 在 ASP.NET/Silverlight 中实现 GUI(在任何需要的地方使用大量的 ajaxification)

你们怎么看？我在这里有什么意义吗？

Answer 1

您的目标是性能、可维护性、提高成功几率还是前沿？

不要过早放弃关系数据库。使用 100 美元的外部硬盘驱动器和示例数据生成器(RedGate 的很好)，您可以非常轻松地模拟这种工作负载。

在非关系和云数据库上模拟该工作负载，您可能正在编写自己的工具。