tensorflow - Tensorflow XLA 和 Tensorflow Lite/Android NNAPI 有什么区别？

Question

Tensorflow 推出了 XLA 编译器，它编译面向 LLVM 的后端 C++ tensorflow。我对 XLA 的理解是，它是支持通用加速设备的一步，只要有 LLVM -> 设备支持。

Tensorflow lite 是最近发布的，取代了 Tensorflow Mobile，并且似乎是工作重点针对嵌入式和移动设备的地方，显然重点是嵌入式 DSP 和 GPU 作为这些环境中常见的可选处理器。 Tensorflow lite 似乎将操作移交给 Android NNAPI(神经网络 API)并支持 tensorflow OP 的子集。

所以这就引出了一个问题 :Google 将朝哪个方向支持非基于 CUDA 的设备？是否有超出我描述的 XLA 用例？

Answer 1

我在 XLA 上工作。 XLA 编译器具有三个后端:用于 CPU、GPU 和 TPU。 CPU和GPU是基于LLVM的开源的，TPU的是闭源的。

我不知道移动设备 XLA 的计划是什么，所以我不能对此发表评论。

通过将 XLA 与 TF 模型一起使用而不是直接执行模型，您获得的好处是 XLA 为您融合了很多操作。见 this post例如。