5 篇文章带有标签 “model-optimization”

使用 Docker 运行 DL Workbench

• Run the DL Workbench Locally

拉取镜像

docker pull openvino/workbench:2022.1

运行

docker run -p 0.0.0.0:5665:5665 --name workbench -it openvino/workbench:2022.1

浏览器访问

http://127.0.0.1:5665/

DL Workbench 工作流程

快速了解 DL Workbench 用户界面中的工作流程

参考资料

• OpenVINO™ Deep Learning Workbench Overview

模型在使用 TVM 优化编译器框架进行转换时的步骤

from tvm.driver import tvmc
model = tvmc.load('resnet50-v2-7.onnx')
package = tvmc.compile(model, target="llvm")


from tvm.driver import tvmc
model = tvmc.load('sign.onnx') #Step 1: Load
package = tvmc.compile(model, target="llvm") #Step 2: Compile
result = tvmc.run(package, device="cpu") #Step 3: Run
print("Time :", timeit.default_timer() - starttime)


import onnx
import tvm
from tvm import relay
// ...

参考资料 The Deep Learning Compiler: A Comprehensive Survey 深度学习编译器整理 一篇关于深度学习编译器架构的综述论文 Getting Starting using TVMC P

onnxsim 本身只提供 constant folding/propagation（即消除结果恒为常量的算子）的能力，而图变换（即合并 conv 和 bn 等等）的能力是由 onnxsim 调用 onnx optimizer 的各种 pass 实现的。constant folding 和图变换同时使用时，很多隐藏的优化机会会被挖掘出来，这也是 onnxsim 优化效果出色的原因之一。例如 add(add(x, 1), 2) 在变换为 add(x, add(1, 2)) 之后就可以通过 constant folding 变为 add(x, 3)，而 pad(conv(x, w, padding=0), add(1, 1)) 在经过 constant folding 变为 pad(conv(x, w, padding=0), 2) 后，就可以进一步融合成 conv(x, w, padding=2)。

安装

pip install -U pip
pip install onnx-simplifier

使用

命令

onnxsim input_onnx_model output_onnx_model

脚本集成 import onnx from onnxsim import simplify # load your predefined ONNX model model = onnx.

OpenVINO 工作流程

OpenVINO 包含一整套开发和部署工具，本工作流研究从设置和计划解决方案到部署的关键步骤。

🎃 0 计划和设置 ➔ 1 训练模型 ➔ 2 转换和优化 ➔ 3 调整性能 ➔ 4 部署应用程序

0 先决条件：计划和设置

选择您的主机和目标平台，然后选择型号。

确定环境和配置

该工具套件支持 Linux*、Windows*、macOS* 和 Raspbian* 等操作系统。虽然表示形式和代码与目标设备和操作系统无关，但是您可能需要在特定环境中创建部署程序包。

支持的开发平台

• 开发平台
  • 处理器
    • 第 6 代至 12 代智能英特尔® 酷睿™ 处理器
    • 第 1 代至第 3 代英特尔® 至强® 可扩展处理器
  • 操作系统
    • Ubuntu 18.04 LTS（64 位）
    • Ubuntu 20.04 LTS（64 位）
    • Windows® 10（64 位）
    • Windows* 11（建议用于第 12 代智能英特尔® 酷睿™ 处理器）
    • Red Hat* Enterprise Linux* 8（64 位）
    • macOS* 10.15（64 位）
• 目标平台
  • 处理器 CPU GPU VPU GNA
  • 操作系统

支持的部署设备 Supported Model Formats 优先选用 FP16，它是最普遍的且性能最佳。 Supported Input Precision 优先选用 U8，它是最普遍的。

OpenVINO

Open Visual Inference and Neural network Optimization

OpenVINO 安装

Development

pip 安装

• 下载

安装 OpenVINO 开发工具

python -m venv openvino_env

• Linux

source openvino_env/bin/activate

• Windows

openvino_env\Scripts\activate.bat

python -m pip install --upgrade pip
pip install openvino-dev[onnx,pytorch,kaldi,mxnet,caffe,tensorflow2]==2022.1.0 -i https://mirrors.aliyun.com/pypi/simple/

• Install OpenVINO™ Development Tools

源代码编译安装(没有成功)👹

Build OpenVINO™ Inference Engine