hadoop - 由于 tmp 文件夹权限，Snappy 压缩无法正常工作

Question

每当我尝试使用 pig、Sqoop 或 Spark 以压缩格式存储数据时，我都会遇到问题。我知道问题出在将我们的 tmp 文件夹安装到 nonexec 上，这导致例如 snappy 给我这个错误:

java.lang.IllegalArgumentException: java.lang.UnsatisfiedLinkError: /tmp/snappy-1.1.2-fe4e30d0-e4a5-4b1a-ae31-fd1861117288-libsnappyjava.so: /tmp/snappy-1.1.2-fe4e30d0-e4a5-4b1a-ae31-fd1861117288-libsnappyjava.so: failed to map segment from shared object: Operation not permitted

我在互联网上找到的解决方案是将 tmp 文件夹挂载到 exec，这对我来说不是一个选项，因为系统管理员出于安全考虑不允许这样做。另一个选项是更改 java opts 执行一些其他路径而不是 tmp 的路径。

我已经尝试了下面的方法，但是并没有解决问题。将这些行添加到 hadoop-env.sh 和 sqoop-env

export HADOOP_OPTS="$HADOOP_OPTS -Dorg.xerial.snappy.tempdir=/newpath" export HADOOP_OPTS="$HADOOP_OPTS -Djava.io.tmpdir=/newpath"

如果你们有任何其他解决方案可以解决这个问题，我将不胜感激。

谢谢

Answer 1

对于遇到此问题的其他用户，请尝试使用

启动 Hive

hive --hiveconf org.xerial.snappy.tempdir=/../

并提供一个可以执行的位置