gpt4 book ai didi

hadoop - 如何解决原生 snappy 库不可用 : SnappyCompressor has not been loaded?

转载 作者:行者123 更新时间:2023-12-02 21:14:22 24 4
gpt4 key购买 nike

我通过 Mapreduce 运行 wordcount 但发生错误。 native snappy 库不可用:尚未加载 SnappyCompressor。我认为 snappy 库没有被加载。但是,当我检查 native 库时,snappy 库没问题。我不知道如何解决它。

enter image description here

enter image description here

最佳答案

这取决于您安装了 hadoop 发行版的操作系统。通常预构建 snappy 压缩随 Hadoop 一起提供,用于 Ubuntu、RHEL 等一些操作系统。

https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/NativeLibraries.html#Native_Hadoop_Library

如果您使用的是其他操作系统,则需要为该操作系统安装/构建 snappy,并通过更改配置将其集成到您的 hadoop 集群中。
要在 cent os 上启用 snappy,您可以按照下面的 url

http://www.ericlin.me/enabling-snappy%EF%BC%8Dcompression-in-hadoop-2-4-under-centos-6-3

关于hadoop - 如何解决原生 snappy 库不可用 : SnappyCompressor has not been loaded?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39262297/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com