- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我在 Android 的 native 环境中通过 C-API(遵循 these instructions)使用 Tensorflow-Lite,但与通过 Java API(在 ART 上)的 GPU 委托(delegate)相比,运行时间要长得多。
JNI AAR file (2.2)提供 C header 和共享库,但似乎共享库不包含 GPU 委托(delegate),而只包含一个框架来配置委托(delegate)(TfLiteDelegate
对象和 TfLiteDelegateCreate( )
).
** 例如,它不提供任何 TfLiteGpuDelegateV2Create()
或 tflite
命名空间访问。
libtensorflowlite_gpu_delegate.so
,但尽管它似乎构建和链接正常 - 该库无法通过 Native 访问代码。bazel build -c opt --config android_arm64 tensorflow/lite/delegates/gpu:libtensorflowlite_gpu_delegate.so
在 tensorflow/tensorflow:latest-devel-gpu Tensorflow Docker 镜像中构建共享库> 失败,cc_toolchain_suite '@local_config_cc//:toolchain' 不包含 cpu 'arm64-v8a' 的工具链
)如何使用 C-API 在 Android 的 Native 环境中使用 GPU 委托(delegate) 运行推理?
最佳答案
我设法做到了,如下所示:
tensorflow
从 GitHub 克隆 tensorflow
repo,cd
进入它并运行 ./configure
。重要的是要回答您想为 Android 构建交互式配置 ./WORKSPACE 吗? [是/否]
使用 y
并正确指定 Android NDK 和 SDK 目录。
bazel
libtensorflow-lite_gpu_delegate
我成功构建了 GPU 委托(delegate)共享库
bazel build -c opt --cxxopt=--std=c++11 --config android_arm64 tensorflow/lite/delegates/gpu:libtensorflowlite_gpu_delegate.so
我针对 Android NDK 18.1.5063045
构建,API 级别最低为 27。请注意,我只针对 android_arm64
架构进行了测试,我无法为其他架构提供保证。
(我编译 TensorFlow 时 HEAD
指向提交 0f8a27183657972c8ba2bce150e1364179ded6f9
。)
CMakeLists.txt
相关行如下:
include_directories(
/Users/<name>/tensorflow/tensorflow/lite/delegates/gpu # for Mac
)
add_library(tensorflow-lite_gpu_delegate SHARED IMPORTED)
set_target_properties(tensorflow-lite_gpu_delegate PROPERTIES IMPORTED_LOCATION
/private/var/tmp/_bazel_<name>/fe60511640322ef6962b77bab4b291e3/execroot/org_tensorflow/bazel-out/arm64-v8a-opt/bin/tensorflow/lite/delegates/gpu/libtensorflowlite_gpu_delegate.so) # I obtained this path pressing Cmd+Option+C on the libtensorflow-lite_gpu_delegate.so file on Mac, might be different on your OS
target_link_libraries(
tensorflow-lite_gpu_delegate
)
相关行如下:
#include <delegate.h>
auto *delegate = TfLiteGpuDelegateV2Create(/*default options=*/nullptr);
// Create the model and interpreter options.
TfLiteModel *model = TfLiteModelCreate(/* create as usual */);
TfLiteInterpreterOptions* options = TfLiteInterpreterOptionsCreate();
TfLiteInterpreterOptionsAddDelegate(options, delegate);
// Create the interpreter.
TfLiteInterpreter *interpreter = TfLiteInterpreterCreate(model, options);
注意:对我来说,GPU 代理并没有在推理速度上产生很大的提升。这可能是由于我的模型使用了 GPU 委托(delegate)不支持的操作(支持的操作集现在似乎是 quite small),因此必须在 CPU 上计算。
关于c - 在带有 C-API 的 Android native 环境中使用 Tensorflow-Lite GPU 委托(delegate),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63438024/
我在文档中找不到答案,所以我在这里问。 在 Grails 中,当您创建应用程序时,您会默认获得生产、开发等环境。 如果您想为生产构建 WAR,您可以运行以下任一命令: grails war 或者 gr
我们组织的网站正在迁移到 Sitecore CMS,但我们正在努力以某种方式为开发人员 (4)、设计师 (4)、QA 人员 (3)、作者 (10-15) 和批准者 (4-10) 设置环境在他们可以独立
如何在WinCVS中设置CVSROOT环境变量? 最佳答案 简单的回答是:您不需要。 CVSROOT 环境变量被高估了。 CVS(NT) 只会在确定存储库连接字符串的所有其他方法都已用尽时才使用它。人
我最近完成了“learnyouahaskell”一书,现在我想通过构建 yesod 应用程序来应用我所学到的知识。 但是我不确定如何开始。 关于如何设置 yesod 项目似乎有两个选项。一是Stack
在这一章中,我们将讨论创建 C# 编程所需的工具。我们已经提到 C# 是 .Net 框架的一部分,且用于编写 .Net 应用程序。因此,在讨论运行 C# 程序的可用工具之前,让我们先了解一下 C#
运行Ruby 代码需要配置 Ruby 编程语言的环境。本章我们会学习到如何在各个平台上配置安装 Ruby 环境。 各个平台上安装 Ruby 环境 Linux/Unix 上的 Ruby 安装
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the he
我有一个这样的计算(请注意,这只是非常简化的、缩减版的、最小的可重现示例!): computation <- function() # simplified version! { # a lo
我使用环境作为哈希表。键是来自常规文本文档的单词,值是单个整数(某个其他结构的索引)。 当我加载数百万个元素时,更新和查找都变慢了。下面是一些代码来显示行为。 看起来从一开始的行为在 O(n) 中比在
我正在构建一个 R 包并使用 data-raw和 data存储预定义的库 RxODE楷模。这非常有效。 然而,由此产生的.rda文件每代都在变化。某些模型包含 R 环境,并且序列化似乎包含“创建时间”
(不确定问题是否属于这里,所以道歉是为了) 我很喜欢 Sublime Text ,我经常发现 Xcode 缺少一些文本/数据处理的东西。我可能有不止一个问题—— 'Command +/' 注释代码但没
我正在使用 SF2,并且创建了一些有助于项目调试的路由: widget_debug_page: path: /debug/widget/{widgetName} defau
我创建了一个名为 MyDjangoEnv 的 conda 环境。当我尝试使用 source activate MyDjangoEnv 激活它时,出现错误: No such file or direct
有没有办法区分从本地机器运行的包和从 Cordova 应用商店安装的包? 例如,我想像这样设置一个名为“evn”的 JavaScript 变量: if(cordovaLocal){ env = 'de
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visit the help center . 关闭 1
我的任务是使用 java 和 mysql 开发一个交互式网站:使用 servlet 检索和处理数据,applet 对数据客户端进行特殊处理,并处理客户端对不同数据 View 的请求。 对于使用 jav
这按预期工作: [dgorur@ted ~]$ env -i env [dgorur@ted ~]$ 这样做: [dgorur@ted ~]$ env -i which date which: no
我想进行非常快速的搜索,看来使用哈希(通过环境)是最好的方法。现在,我得到了一个在环境中运行的示例,但它没有返回我需要的内容。 这是一个例子: a system.time(benchEnv(), g
我想开始开发 OpenACC 程序,我有几个问题要问:是否可以在 AMD gpu 上执行 OpenACC 代码? 如果是这样,我正在寻找适用于 Windows 环境的编译器。我花了将近一个小时什么也没
这可能看起来很奇怪,但是有没有办法制作机器(linux/unix 风格 - 最好是 RHEL)。我需要控制机器的速度以确保代码在非常慢的系统上工作并确定正确的断点(在时间方面)。 我能做到的一种方法是
我是一名优秀的程序员,十分优秀!