gpt4 book ai didi

java - netlib-java 的“符号查找错误”

转载 作者:搜寻专家 更新时间:2023-10-31 19:53:17 25 4
gpt4 key购买 nike

背景与问题

我在运行 Fedora 23 的机器上运行 Spark 的 MLLib 中的示例时遇到了一些麻烦。我根据 Spark 文档使用以下选项构建了 Spark 1.6.2:

build/mvn -Pnetlib-lgpl -Pyarn -Phadoop-2.4 \
-Dhadoop.version=2.4.0 -DskipTests clean package

并在运行二进制分类示例时:

bin/spark-submit --class org.apache.spark.examples.mllib.BinaryClassification \
examples/target/scala-*/spark-examples-*.jar \
--algorithm LR --regType L2 --regParam 1.0 \
data/mllib/sample_binary_classification_data.txt

我收到以下错误:

/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.92-1.b14.fc23.x86_64/jre/bin/java:符号查找错误:/tmp/jniloader5830472710956533873netlib-native_system- linux-x86_64.so: undefined symbol :cblas_dscal

这种形式的错误(netlib 的符号查找错误)不限于这个特定的例子。另一方面,Elastic Net 示例 (./bin/run-example ml.LinearRegressionWithElasticNetExample) 运行没有问题。

尝试的解决方案

我尝试了很多解决方案都无济于事。例如,我在这里查看了一些建议 https://datasciencemadesimpler.wordpress.com/tag/blas/ ,虽然我可以从 com.github.fommil.netlib.BLASLAPACK 成功导入,但上述符号查找错误仍然存​​在。

我已通读 fommil/netlib-java 中的 netlib-java 文档,并确保我的系统具有 libblasliblapack 共享对象文件:

 $ ls /usr/lib64 | grep libblas
libblas.so
libblas.so.3
libblas.so.3.5
libblas.so.3.5.0

$ ls /usr/lib64 | grep liblapack
liblapacke.so
liblapacke.so.3
liblapacke.so.3.5
liblapacke.so.3.5.0
liblapack.so
liblapack.so.3
liblapack.so.3.5
liblapack.so.3.5.0

我找到的最有希望的建议在这里 http://fossdev.blogspot.com/2015/12/scala-breeze-blas-lapack-on-linux.html , 这表明包括

JAVA_OPTS="- Dcom.github.fommil.netlib.BLAS=com.github.fommil.netlib.NativeRefBLAS"

sbt 脚本中。因此,我将这些选项附加到 build/mvn 脚本中的 _COMPILE_JVM_OPTS="..." 中,这也没有解决问题。

最后,我在网上找到的最后一点建议是将以下标志传递给 sbt:

sbt -Dcom.github.fommil.netlib.BLAS=com.github.fommil.netlib.F2jBLAS \
-Dcom.github.fommil.netlib.LAPACK=com.github.fommil.netlib.F2jLAPACK \
-Dcom.github.fommil.netlib.ARPACK=com.github.fommil.netlib.F2jARPACK

问题再次出现。我的帖子中仅限于两个链接,但建议可以在 github 上 lildata 的“scaladatascience”存储库的 README.md 中找到。

有没有人遇到过这个问题并成功解决了?非常感谢任何和所有帮助或建议。

最佳答案

几个月过去了,但我又回到了这个问题,并且能够找到一个有效的解决方法(张贴在这里以防其他人遇到同样的问题)。

这归结为图书馆的优先权;所以,通过调用:

$ export LD_PRELOAD=/path/to/libopenblas.so

在启动 Spark 之前,一切都按预期进行。

看了之后想出了解决办法:

关于java - netlib-java 的“符号查找错误”,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38133885/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com