python - Tensorflow OMP : Error #15 when training

Question

我正在 CentOS HPC 上使用 tensorflow 训练我的神经网络。但是我在训练过程开始时遇到了这个错误:

OMP:错误 #15:正在初始化 libiomp5.so，但发现 libiomp5.so 已经初始化。
OMP:提示:这意味着 OpenMP 运行时的多个副本已链接到程序中。这是危险的，因为它会降低性能或导致错误的结果。最好的办法是确保只有一个 OpenMP 运行时链接到进程中，例如通过避免在任何库中静态链接 OpenMP 运行时。作为不安全、不受支持、未记录的解决方法，您可以设置环境变量 KMP_DUPLICATE_LIB_OK=TRUE 以允许程序继续执行，但这可能会导致崩溃或静默产生错误结果。有关更多信息，请参阅 http://www.intel.com/software/products/support/ 。

例如，代码是分段的，它对很多人都很好，但在我的情况下却失败了。

为什么会发生？如何解决？

Answer 1

我在 macOS 上遇到了类似的问题，并出现了相同的错误消息 ( see this question )，并发现以下原因:

问题:

我有一个安装了 Numpy、SciPy 和 TensorFlow 的 conda 环境。

Conda 正在使用 Intel(R) MKL 优化，请参阅 docs :

Anaconda has packaged MKL-powered binary versions of some of the most popular numerical/scientific Python libraries into MKL Optimizations for improved performance.

英特尔 MKL 函数(例如 FFT、LAPACK、BLAS)采用 OpenMP 技术进行线程化。

但是在 macOS 上你不需要 MKL，因为 Accelerate Framework 自带优化算法并且已经使用 OpenMP。这就是错误信息的原因: OMP Error #15: ...
解决方法 :

您应该安装所有没有 MKL 支持的软件包:
conda install nomkl
然后使用
conda install numpy scipy pandas tensorflow
其次是
conda remove mkl mkl-service
有关更多信息，请参阅 conda MKL Optimizations 。