python - 如何在 PyTorch 中使用 TPU？

Question

我正在尝试使用 pytorch_xla 使用 TPU，但它在 _XLAC 中显示导入错误。

!curl https://raw.githubusercontent.com/pytorch/xla/master/contrib/scripts/env-setup.py -o pytorch-xla-env-setup.py
!python pytorch-xla-env-setup.py --version $VERSION

import torch_xla
import torch_xla.core.xla_model as xm

ImportError                               Traceback (most recent call last)
<ipython-input-60-6a19e980152f> in <module>()
----> 1 import torch_xla
      2 import torch_xla.core.xla_model as xm

/usr/local/lib/python3.6/dist-packages/torch_xla/__init__.py in <module>()
     39 import torch
     40 from .version import __version__
---> 41 import _XLAC
     42 
     43 _XLAC._initialize_aten_bindings()

ImportError: /usr/local/lib/python3.6/dist-packages/_XLAC.cpython-36m-x86_64-linux-gnu.so: undefined symbol: _ZN2at6native6einsumENSt7__cxx1112basic_stringIcSt11char_traitsIcESaIcEEEN3c108ArrayRefINS_6TensorEEE

Answer 1

确保您使用的是正确版本的 pytorch-xla 和 Python(3.6.9 运行良好):

curl https://raw.githubusercontent.com/pytorch/xla/master/contrib/scripts/env-setup.py -o pytorch-xla-env-setup.py
python pytorch-xla-env-setup.py --version 20200325

检查您是否指定了如何访问 TPU。您可能想要设置“XRT_TPU_CONFIG”或“COLAB_TPU_ADDR”，具体取决于您的环境。

就像是:

export XRT_TPU_CONFIG="tpu_worker;0;$TPU_IP_ADDRESS:8470"

或者:

export COLAB_TPU_ADDR="10.16.26.36:8676"

详细说明如下: https://github.com/pytorch/xla/blob/master/README.md和示例 https://cloud.google.com/tpu/docs/tutorials/transformer-pytorch

另外，这是 PyTorch 团队创建的 Google Colab 笔记本，我刚刚对其进行了测试，它可以正常运行，无需任何更改:
https://colab.research.google.com/github/pytorch/xla/blob/master/contrib/colab/getting-started.ipynb

This notebook will show you how to:

• Install PyTorch/XLA on Colab, which lets you use PyTorch with TPUs.
• Run basic PyTorch functions on TPUs.
• Run PyTorch modules and autograd on TPUs.
• Run PyTorch networks on TPUs.

您可能希望遵循其示例之一并尝试重现该问题。祝你好运!