SQL 到大数据的迁移？

Question

在我们正在运行的项目中，使用带有 C# 和 MS SQL 的 ASP.net 3.5，目前它的数据库大小变为 4 TB。它会增加 gradullay ，所以我们正在寻找解决方案。有人告诉我有关 BigData 的信息(使用 Hive + Hadoop)。他给出了以下引用 https://cwiki.apache.org/confluence/display/Hive/GettingStarted http://www.codeproject.com/Articles/398563/Analyzing-some-Big-Data-Using-Csharp-Azure-And-Apa我读过这两个链接，但不幸的是我不明白他们的意思!!!所以任何 1 解释我该怎么做？我应该将 MSSQL 迁移到 Hadoop 吗？请告诉更改为 hadoop 的硬件和软件要求？是否可以将我们当前的数据库迁移到hadoop？我读过一些主要用于搜索数据但不支持多事务处理的软件？如果可以迁移，那么我们希望在现有项目中使用多少？在这么多的 TB 上，我们每秒有 400-500 数据插入和交易

Answer 1

我将分享一些我的经验。首先我会分析Hadoop是否符合我的要求。 Hadoop 不是传统 RDBMS 的替代品。它用于完全不同的目的，即离线批处理，与用于实时查询的 RDBMS 不同。所以，如果你有实时需求，你最好三思而后行。在这种情况下，您需要像 HBase 这样的东西。 .

您在此处显示的第一个链接是关于 Hive 的. Hive 是一个运行在现有 Hadoop 集群之上的数据仓库。除此之外，它还为您提供了一个类似 SQL 的界面，如果您有 SQL 背景，这使您可以更轻松、更方便地进行查询。 Hive 将数据存储为 HDFS(Hadoop 文件系统)之上的 Hive 表。但是 Hive 再次不适合实时的东西。如果您想对 Hadoop 数据执行实时查询，您可能会发现 Impala很合适。

第二个链接向您展示了如何将 Apache Hadoop 与 C# 和 Microsoft Windows Azure 结合使用。 Azure 是微软的云平台产品。您可以在此找到更多信息 here .此链接向您展示如何编写 MapReduce程序。 MapReduce 是一种计算框架，可让您以分布式和并行方式在机器集群上处理大量数据。

最初开发 Hadoop 是为了与 Linux 一起使用。但现在您也可以灵活地将它与 Windows 一起使用，提供 Azure 和 HDP 等解决方案。 .

Hadoop 不需要任何特殊软件(除了 ssh、适当的语言翻译器等基本软件之外)或复杂的硬件。它旨在在商用硬件上运行。但您可能想要保留供应商规定的规范，您将要遵循，记住。

您可以通过编写自己的程序或使用更高级的工具(如 Sqoop)轻松地将 SQL 数据移动到 Hadoop 集群中。 .

搜索并不是使用 Hadoop 的唯一领域。这个很好link它告诉我们可以使用 Hadoop 解决的常见问题。

希望这能回答您的一些问题。如果您有任何进一步的疑问，请告诉我。

---

回应您的评论:

Hadoop 基本上是两个东西——分布式文件系统 (HDFS) 和处理框架 (MapReduce)。作为一个文件系统，它缺乏随机读/写能力。这就是像 HBase 这样的数据库出现的地方。此外，Hadoop 将数据存储为文件，而不是像 HBase 那样存储为列。

如果您想通过 Hive 查询存储在 HDFS 中的数据，您可以将 HDFS 文件映射为 Hive 中的表，并使用 HiveQL 查询它们。假设你在 HDFS 中有一个名为 'file.txt' 的文件，它有 2 个字段编号和名称，你会做这样的事情:

hive> CREATE TABLE demo (no INT, name STRING);
hive> LOAD DATA INPATH '/file.txt' INTO TABLE demo;
hive> Select * FROM demo;