hadoop - HDFS 和 ADLS 有什么区别？

Question

我对 Azure 数据湖存储与 HDFS 的不同之处感到困惑。任何人都可以简单地解释一下吗？

Answer 1

HDFS 是一个文件系统。 HDFS 代表 Hadoop 分布式文件系统。它是 Apache Hadoop 生态系统的一部分。 Read more on HDFS

ADLS 是 Microsoft 提供的 Azure 存储产品。 ADLS 代表 Azure 数据湖存储。它为批量数据处理需求提供分布式存储文件格式。

ADLS 具有称为 Azure Blob 文件系统 (ABFS) 的内部分布式文件系统格式。此外，它还提供类似于 Hadoop 的文件系统接口(interface) API，以使用 URI 方案对 ADLS 中的文件和目录进行寻址。这样，使用 HDFS 的应用程序可以更轻松地迁移到 ADLS，而无需更改代码。对于客户端，使用HDFS驱动访问HDFS，与使用ABFS驱动访问ADLS的体验类似。

Azure Data Lake Storage Gen2 URI

The Hadoop Filesystem driver that is compatible with Azure Data LakeStorage Gen2 is known by its scheme identifier abfs (Azure Blob FileSystem). Consistent with other Hadoop Filesystem drivers, the ABFSdriver employs a URI format to address files and directories within aData Lake Storage Gen2 capable account.

More on Azure Data Lake Storage

Hadoop compatible access: Data Lake Storage Gen2 allows you to manageand access data just as you would with a Hadoop Distributed FileSystem (HDFS). The new ABFS driver is available within all ApacheHadoop environments, including Azure HDInsight, Azure Databricks, andAzure Synapse Analytics to access data stored in Data Lake StorageGen2.

更新
此外，请阅读 Hadoop Compliant File System (HCFS)，它确保分布式文件系统(如 Azure Blob 存储)API 满足一组要求，以满足与 HDFS 类似的 Apache Hadoop 生态系统的工作。 More on HCFS