hadoop - 我们如何在 Hadoop 中导入视频或音频或图像，并可以做进一步的分析。

Question

我知道如何使用 Pig、hive、sqoop 使用 Json loader 和 Json serde 在 hadoop 中导入和分析结构化和半结构化数据，但如何导入视频、音频或图像等非结构化数据以及如何对其进行进一步分析.请逐步简单地解释，如果您有任何分析非结构化数据的用例，将会有很大帮助。谢谢!

Answer 1

由于 Hadoop 不能很好地处理小文件，一种方法是将二进制文件分组为少量大文件(以避免处理有大量的小文件)。

为此，您可以使用自定义 UDF 将二进制文件(图像、音频、视频等)转换为序列文件，将它们聚合并存储到 HDFS。

下面的书 Pig Design Patterns 提供了一些关于这个主题的设计模式(见第 2 章)。

https://www.packtpub.com/mapt/book/big_data_and_business_intelligence/9781783285556

github 上提供了一些代码片段。

https://github.com/pradeep-pasupuleti/pig-design-patterns/blob/master/Chapter2

希望对您有所帮助!