- 使用 Spring Initializr 创建 Spring Boot 应用程序
- 在Spring Boot中配置Cassandra
- 在 Spring Boot 上配置 Tomcat 连接池
- 将Camel消息路由到嵌入WildFly的Artemis上
** ONNX Runtime****:由微软推出,用于优化和加速机器学习推理和训练**,适用于ONNX模型,是一个跨平台推理和训练机器学习加速器(ONNX Runtime is a cross-platform inference and training machine-learning accelerator),源码地址:https://github.com/microsoft/onnxruntime,最新发布版本为v1.11.1,License为MIT:
** **1.ONNX Runtime Inferencing:高性能推理引擎
** **(1).可在不同的操作系统上运行,包括Windows、Linux、Mac、Android、iOS等;
** **(2).可利用硬件增加性能,包括CUDA、TensorRT、DirectML、OpenVINO等;
** **(3).支持PyTorch、TensorFlow等深度学习框架的模型,需先调用相应接口转换为ONNX模型;
** **(4).在Python中训练,确可部署到C++/Java等应用程序中。
** **2.ONNX Runtime Training:于2021年4月发布,可加快PyTorch对模型训练,可通过CUDA加速,目前多用于Linux平台。
** **通过conda命令安装执行:
conda install -c conda-forge onnxruntime
** **以下为测试代码:通过ResNet-50对图像进行分类
import numpy as np
import onnxruntime
import onnx
from onnx import numpy_helper
import urllib.request
import os
import tarfile
import json
import cv2
# reference: https://github.com/onnx/onnx-docker/blob/master/onnx-ecosystem/inference_demos/resnet50_modelzoo_onnxruntime_inference.ipynb
def download_onnx_model():
labels_file_name = "imagenet-simple-labels.json"
model_tar_name = "resnet50v2.tar.gz"
model_directory_name = "resnet50v2"
if os.path.exists(model_tar_name) and os.path.exists(labels_file_name):
print("files exist, don't need to download")
else:
print("files don't exist, need to download ...")
onnx_model_url = "https://s3.amazonaws.com/onnx-model-zoo/resnet/resnet50v2/resnet50v2.tar.gz"
imagenet_labels_url = "https://raw.githubusercontent.com/anishathalye/imagenet-simple-labels/master/imagenet-simple-labels.json"
# retrieve our model from the ONNX model zoo
urllib.request.urlretrieve(onnx_model_url, filename=model_tar_name)
urllib.request.urlretrieve(imagenet_labels_url, filename=labels_file_name)
print("download completed, start decompress ...")
file = tarfile.open(model_tar_name)
file.extractall("./")
file.close()
return model_directory_name, labels_file_name
def load_labels(path):
with open(path) as f:
data = json.load(f)
return np.asarray(data)
def images_preprocess(images_path, images_name):
input_data = []
for name in images_name:
img = cv2.imread(images_path + name)
img = cv2.resize(img, (224, 224))
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
data = np.array(img).transpose(2, 0, 1)
#print(f"name: {name}, opencv image shape(h,w,c): {img.shape}, transpose shape(c,h,w): {data.shape}")
# convert the input data into the float32 input
data = data.astype('float32')
# normalize
mean_vec = np.array([0.485, 0.456, 0.406])
stddev_vec = np.array([0.229, 0.224, 0.225])
norm_data = np.zeros(data.shape).astype('float32')
for i in range(data.shape[0]):
norm_data[i,:,:] = (data[i,:,:]/255 - mean_vec[i]) / stddev_vec[i]
# add batch channel
norm_data = norm_data.reshape(1, 3, 224, 224).astype('float32')
input_data.append(norm_data)
return input_data
def softmax(x):
x = x.reshape(-1)
e_x = np.exp(x - np.max(x))
return e_x / e_x.sum(axis=0)
def postprocess(result):
return softmax(np.array(result)).tolist()
def inference(onnx_model, labels, input_data, images_name, images_label):
session = onnxruntime.InferenceSession(onnx_model, None)
# get the name of the first input of the model
input_name = session.get_inputs()[0].name
count = 0
for data in input_data:
print(f"{count+1}. image name: {images_name[count]}, actual value: {images_label[count]}")
count += 1
raw_result = session.run([], {input_name: data})
res = postprocess(raw_result)
idx = np.argmax(res)
print(f" result: idx: {idx}, label: {labels[idx]}, percentage: {round(res[idx]*100, 4)}%")
sort_idx = np.flip(np.squeeze(np.argsort(res)))
print(" top 5 labels are:", labels[sort_idx[:5]])
def main():
model_directory_name, labels_file_name = download_onnx_model()
labels = load_labels(labels_file_name)
print("the number of categories is:", len(labels)) # 1000
images_path = "../../data/image/"
images_name = ["5.jpg", "6.jpg", "7.jpg", "8.jpg", "9.jpg", "10.jpg"]
images_label = ["goldfish", "hen", "ostrich", "crocodile", "goose", "sheep"]
if len(images_name) != len(images_label):
print("Error: images count and labes'length don't match")
return
input_data = images_preprocess(images_path, images_name)
onnx_model = model_directory_name + "/resnet50v2.onnx"
inference(onnx_model, labels, input_data, images_name, images_label)
print("test finish")
if __name__ == "__main__":
main()
测试图像如下所示:
执行结果如下所示:
我在内存中有一个 Map 来存储我的对象。我想在内存不足时刷新内存。我现在正在这样做: void add(K key, V value) { if (underPressure()) {
我是 JBPM 的新手。我下载并开始使用 eclipse。然后我安装了 JBPM 插件和 Modeler 2.0 插件。当我创建一个新的 JBPM 项目时,它要求 JBPM 运行时。我在互联网上搜索了
我是 JBPM 的新手。我下载并开始使用 eclipse。然后我安装了 JBPM 插件和 Modeler 2.0 插件。当我创建一个新的 JBPM 项目时,它要求 JBPM 运行时。我在互联网上搜索了
我目前正在将Windows 8.1应用程序移植到Windows 10 UAP应用程序,该应用程序使用互操作在C++和C#之间进行通信,并且 pop 以下错误: $(ProjectName).Inter
我正在使用 Parcel 来捆绑我的项目并 Jest 运行我的测试。 一切正常,但在测试中我有 async/await关键字,我必须导入 regenerator-runtime/runtime像这样:
一旦我尝试使用 Promises,Browserify 就会抛出此错误。 在 中找不到模块“regenerator-runtime/runtime” 我尝试过 Node 版本 10.15.3 和 12
我目前正在试验 quarkus,找不到在运行时更改一些 openapi 信息的方法(这里,我希望授权 url 根据环境而改变)。 应该可以通过使用 OASFilter 并从环境变量中提供信息来实现,但
我正在使用 rust_bert 汇总文本。我需要使用rust_bert::pipelines::summarization::SummarizationModel::new设置模型,该模型可以从互联网
我正在 Visual Studio 中处理其中一个新的“类库(NuGet 包)”项目。一切都很顺利,直到前几天它开始引发有关 System.Runtime.Extensions 程序集的错误: Ass
我正在使用 tokio::runtime::current_thread::Runtime我希望能够在同一个线程中运行 future 并停止 react 堆。页面上的示例未显示如何停止运行时。有什么办
我找不到如何声明 runtime.LockOSThread()和 runtime.UnlockOSThread() .我将其定义为 [runtime.LockOSThread()] 一些代码 [run
我有这样的代码, Routine 1 { runtime.LockOSThread() print something send int to routine 2 runtime.UnlockOSTh
我正在尝试执行此操作:当我单击“搜索”按钮时,命令提示符窗口打开。 我尝试使用ProcessBuilder,没有出现错误,但是不起作用。你能帮我一下吗? package sys.tool; impor
我的应用程序运行大约 4 小时后出现此错误。我不知道为什么会这样。该错误发生在 windows 7 和 windows XP 系统上。抱歉,我没有更多信息。我的应用程序运行大约 4 次后才收到此错误消
我收到错误:“此程序集是由比当前加载的运行时更新的运行时构建的,无法加载。” 我有一个 .NET 2.0 项目调用的 .NET 4.0 dll 项目。有没有办法调和框架的差异? 最佳答案 I have
我有一个 WIX 安装程序,它在安装过程中执行自定义操作。当我运行 WIX 安装程序并遇到它的第一个自定义操作时,安装程序失败,我在 MSI 日志中收到如下错误: Action start 12:
我正在尝试提交 spark 作业 它是这样开始的: import javax.xml.parsers.{SAXParser, SAXParserFactory} import org.apache.s
我正在做一些 WCF 工作,但我不明白为什么会遇到这个错误。 System.Runtime.Serialization.DataContractAttribute命名空间中不存在 System.Run
我尝试按照 this 在 React 应用程序中使用 async/await : 目前,我正在运行webpack --config webpack.dev.config.js --watch --pr
我已经从托管的 Window Server 2008 下载了已发布的(代码隐藏文件不存在,与 bin 文件夹中的 dll 结合)Web 应用程序,并在调试该应用程序时使用 Visual Studio
我是一名优秀的程序员,十分优秀!