如何使用 OpenVINO 来优化 OpenCV

MichelsonCrystal 发布于3月前

本文翻译自  Vishwesh Shrimali 的   "Using OpenVINO with OpenCV "

原文链接:  https://www.learnopencv.com/using-openvino-with-opencv/

翻译:coneypo, working in Intel for IoT

在这篇文章中,我们会介绍如何利用 Intel 的 OpenVINO 软件包来,发挥 OpenCV 中 Deep Neural Network (DNN) / 深度神经网络 模块的的最大性能;

我们也对 CPU 上 OpenCV 和其他深度学习库的性能进行了比较;

OpenCV 中基于 DNN 实现的模型,在很多深度学习任务中,如分类,目标检测,目标追踪和姿态估计,都表现出色;

我们会在这篇文章中探究,是否可能通过 Intel OpenVINO + OpenCV 这样的组合来进行加速;

0. 目录

1. 训练与推理

2. 介绍 OpenVINO Toolkit

2.1 为什么要用 OpenVINO?

2.2 OpenVINO 中的 Computer Vision Pipeline / 视觉处理

3. 使用 OpenVINO 进行深度学习

3.1 训练一个深度学习模型

3.2 优化模型并且创建一个 Intermediate Representation (IR) / 中间表示

3.3 OpenVINO 推理引擎:硬件加速

3.4 OpenVINO 和 OpenCV

4. Linux 中 OpenVINO 的安装

4.1 OpenVINO Toolkit 安装

4.2 测试 OpenVINO 的安装

5. 使用 OpenCV+OpenVINO IE 图像分类

6. OpenCV 和 OpenCV+IE 的性能比较

1. 训练和推理

在开始介绍之前,我们要强调这篇文章专注于 Speeding up inference / 加快推理 而不是训练;让我们来看看两者区别:

1. Training / 训练

把深度神经网路视为一个有很多 knobs (parameters) / 旋钮 的黑盒,当旋钮的设置是正确的时候,神经网络就会比较高可能性的给出正确答案;

训练就是来给网络投喂百万级别的训练数据点,以至于神经网络可以按部就班的调整这些旋钮,使得接近正确值;

这种百万级别的数据处理经常是通过 GPU 来进行运算的;

当前 OpenCV 没有提供训练一个 DNN 的方法,然而你可以利用比如 Tensorflow, MxNet, Caffe 等等框架来进行 DNN 模型的训练,然后在你的代码里导入;

2. Inference / 推理

一旦网络训练完成,就可以输入新的数据来获取输出;使用一个训练好的模型,进行输入输出的过程,就叫做 inference / 推理

一个推理引擎会将输入的数据通过神经网络产生输出结果,这里有很多优化方式来加速推理过程;

比如一个高效的推理引擎可以进行神经网络的 pruning / 修剪 ,将多个 Layers 融合到一步计算过程;

如果硬件支持 16-bit 浮点数运算 (2倍于 32-bit 浮点数运算),一个推理引擎会提高两倍推理速度,而且不会丢失精度,这种方式称之为 quantization / 量化

2. OpenVINO Toolkit 介绍

OpenVINO 代表 Open Visual Inferencing and Neural Network Optimization / 开放视觉推理和神经网络优化 ;

正如 OpenVINO 名称所描述,OpenVINO 被设计用来给网络加速,在视觉推理任务中,比如图像分类和目标检测;

几乎所有用来解决视觉任务的 DNN 是 Convolutional Neural Networks (CNN) / 卷积神经网络

OpenVINO 对于特定的硬件有特定的硬件加速方式来加速计算过程;

2.1 为什么使用 OpenVINO?

如果你 AI 新入门,或者对于 AI 不是很了解,你会发现这块会很有意思;

当我们想起 AI,我们经常会想起一些公司,比如 Google, Facebook, Amazon, IBM, Baidu 等等;

确实他们推动了算法的发展,但是 AI 不仅在 Training / 训练 上对于算力要求高,在 Inferencing / 推理 的时候对于资源的要求也高;

因此,我们在 AI 兴起的时候,也应该去关注一些硬件公司;

Convolutional Neural Networks (CNN) / 卷积神经网络经常在 GPU 上进行训练;

NVIDIA 能够提供几乎最好的的硬件 GPU,与此同时软件上面使用 CUDA 和 cuDNN 进行深度学习;

NVIDIA 几乎垄断了深度学习的市场,当训练模型的时候;

然而 GPU 过于昂贵,往往在推理的时候也是不需要的;事实上,大多数的推理是在 CPU 上进行的;

比如 Dropbox 使用 CPU farm 来进行文档的 OCR;

在低成本的设备上进行深度学习,GPU 往往是开销最大;比如你几乎不可能花费几百刀去买一个 GPU 去给一个监控摄像头;

这些小设备,比如监控摄像头或者树莓派,经常被称为 E dge devices / 边缘设备 或者 IoT devices / 物联网设备

在推理领域,Intel 占有很大份额;除了制造 CPU,Intel 也生产继承了 GPU 的 Vision Processing Units (VPU) 和 FPGA,这些都用来做推理;

Intel 明白尽管选择很多会很好,但是这也是 AI 开发者的噩梦,因为要在不同平台上进行开发就要学习和适应不同平台的开发环境;

幸运的是,Intel 通过 OpenVINO 解决了这种问题,给 AI 开发者提供了一种 Unified Framework / 统一的框架

OpenVINO 使得可以边缘端进行 CNN-based 深度学习推理,支持跨平台的异构执行,通过一些 OpenCV 和 OpenVX 中一些函数库和预优化的核来加速产品落地时间;

2.2 计算机视觉 Pipeline 和 OpenVINO 

如何使用 OpenVINO 来优化 OpenCV

上面框图中,除了有最左边 Custom Code / 定制代码 实现的任务;

除此之外,你有右边两种模块:

1. CV/non-DL, 非基于深度学习的计算机视觉任务

2. DL, 基于深度学习的计算机视觉任务

首先,它会优化 OpenCV 中实现的,许多基于传统计算机视觉算法的很多 calls,然后它对于深度学习推理也有特定的优化;

我们如果将 OpenCV 和 OpenVINO 一起使用会从中受益;

3. 使用 OpenVINO 进行深度学习

这一节中,我们会介绍如何在深度学习应用中使用 OpenVINO。

3.1 训练一个深度学习模型

正如我们之前所提到过,OpenCV 或者 OpenVINO 不会给你提供训练神经网络的工具( OpenVINO 专注于 Inference 而不是 Training );

你可以通过下列任一支持的类型模型来训练神经网络,或者从 zoo 模型下载:

1. Caffe Model Zoo

2. Tensorflow Model Zoo

3. MxNet Model zoo

4. Open Neural Network Exchange (ONNX) Model zoo

3.2 优化模型和创建一个 Intermediate Representation (IR) / 中间表示 

之前步骤获得的模型往往没有进行性能的优化,因此,我们利用 OpenVINO 提供的 Model Optimizer / 模型优化器 , 来创建一个称之为 Intermediate Representiation (IR) / 中间表示文件 的优化模型;

IR 完全与硬件无关,只取决于神经网络的架构;

下图中展示了用 OpenVINO 部署方式和大多数深度学习框架部署方式的区别:

如何使用 OpenVINO 来优化 OpenCV

可以看到模型优化器通过以下机制来优化模型:

1. 对模型进行修剪 :移除部分在训练时候需要的,而推理时候不需要的网络; DropOut 就是这种网络层的一个例子; 

2. 融合操作 :有些时候多步操作可以融合成一步,模型优化器检测到这种就会进行必要的融合;

优化过程结束后会生成一个 IR model / 中间表示模型 ,模型可以被分成两部分:

1. model.xml : XML 文件包含网络架构; 

2. model.bin : bin 文件包含 Weights / 权重 Biases / 误差

3.3 OpenVINO 推理引擎: 硬件特殊优化

IR 模型与硬件无关,但是 OpenVINO 通过 Inference Engine plugin / 推理引擎插件 在特定的硬件上进行优化;

这个 Plugin 在所有 Intel 的硬件上 (GPUs, CPUs, VPUs, FPGSs) 都可以获得:

如何使用 OpenVINO 来优化 OpenCV

3.4 OpenVINO 和 OpenCV

尽管 OpenCV 的 DNN 已经被高度优化,通过推理引擎我们可以进一步提高性能;

下图中展示了使用 OpenCV DNN 的两种方式;如果在您的平台上可以使用,我们高度推荐 OpenVINO + OpenCV 的组合;

如何使用 OpenVINO 来优化 OpenCV

4. Linux 中安装 OpenVINO Toolkit

这一节我们会介绍如何在 Linux 中安装和测试 OpenVINO;

Windows 中的 Openvino 安装可以参考 Intel’s website .

4.1 OpenVINO Toolkit 安装

1. 首先去 OpenVINO Toolkit Download page 注册并下载适合你系统的正确版本,这里我们介绍 Linux 系统中的安装:

如何使用 OpenVINO 来优化 OpenCV

2. 你会下载下来如 “l_openvino_toolkit_p_2019.3.376.tgz” 这样一个压缩文件,解压然后安装;

1 cd ~/Downloads/
2 tar -zxvf l_openvino_toolkit_p_2019.3.376.tgz -C ~/openvino-toolkit/
3 
4 cd ~/openvino-toolkit/l_openvino_toolkit_p_2019.3.376/
5 
6 sudo ./install_openvino_dependencies.sh
7 sudo ./install_GUI.sh

如何使用 OpenVINO 来优化 OpenCV

注意: 如果你 sudo ./install_GUI.sh 的话,路径会是 " /opt/intel/openvino_2019.3.376/" 这种;

如果不是 sudo 身份安装,路径会是 "/home/user/intel/openvino_2019.3.376/" ;

3. 修改环境变量

vim /home/user/.bashrc

在最后一行加入

source /opt/intel/openvino_2019.3.376/bin/setupvars.sh

4. 打开一个新的 Terminal,可以看到 "OpenVINO enviroment initialized"

如何使用 OpenVINO 来优化 OpenCV

5. 配置模型优化器,让我们去模型优化器的路径,然后安装所需文件:

1 cd /opt/intel/openvino_2019.3.376/deployment_tools/model_optimizer/install_prerequisites/
2 ./install_prerequisites.sh

4.2 测试 OpenVINO 安装

我们可以用 Image Classification demo 来测试安装:

1 cd /opt/intel/openvino_2019.3.376/deployment_tools/demo/
2 ./demo_squeezenet_download_convert_run.sh

可以看到 "Demo completed successfully":

如何使用 OpenVINO 来优化 OpenCV

还可以去跑 Inference Pipepline demo :

./demo_security_barrier_camera.sh

可以看到输出的检测结果:

如何使用 OpenVINO 来优化 OpenCV

5. 使用 OpenCV 和 OpenVINO IE 进行图像分类

现在让我们来看看如何利用 OpenVINO IE + OpenCV 进行图像分类。

1. 首先需要加载需要的模块:

C++

1 #include <fstream>
 2 #include <sstream>
 3 #include <opencv2/dnn.hpp>
 4 #include <opencv2/imgproc.hpp>
 5 #include <opencv2/highgui.hpp>
 6 #include <iostream>
 7 
 8 using namespace std;
 9 using namespace cv;
10 using namespace cv::dnn;

Python

1 import numpy as np
2 import time
3 import cv2

2. 下一步指定 Caffe 的根路径和模型路径:

C++

1 string caffe_root = "/home/zt/caffe/";
2 Mat image = imread("/home/zt/caffe/examples/images/cat.jpg");
3 string labels_file = "/home/zt/caffe/data/ilsvrc12/synset_words.txt";
4 string prototxt = "/home/zt/caffe/models/bvlc_reference_caffenet/deploy.prototxt";
5 string model = "/home/zt/caffe/models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel";

Python

1 caffe_root = '/home/zt/caffe/'
2 image = cv2.imread('/home/zt/caffe/examples/images/cat.jpg')
3 labels_file = caffe_root + 'data/ilsvrc12/synset_words.txt'
4 prototxt = caffe_root + 'models/bvlc_reference_caffenet/deploy.prototxt'
5 model = caffe_root + 'models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel'

3. 接下来就是常用的图像分类代码,加了一点轻微改动;

我们会声明优先选取 cv2.dnn.DNN_BACKEEND_INFERENCE_ENGINE ;

C++

1 // load the labels file
 2 std::ifstream ifs(labels_file.c_str());
 3 if (!ifs.is_open())
 4     CV_Error(Error::StsError, "File " + labels_file + " not found");
 5     string line;
 6     while (std::getline(ifs, line))
 7     {
 8         classes.push_back(line);
 9     }
10 }
11 blobFromImage(image, blob, 1, Size(224, 224), Scalar(104,117,123));
12 cout << "[INFO] loading model..." << endl;
13 Net net = readNetFromCaffe(prototxt, model);
14 net.setPreferableBackend(DNN_BACKEND_INFERENCE_ENGINE);
15 net.setPreferableTarget(DNN_TARGET_CPU);
16 
17 // set the blob as input to the network and perform a forward-pass to
18 // obtain our output classification
19 net.setInput(blob)
20 preds = net.forward()
21 
22 double freq = getTickFrequency() / 1000;
23 std::vector<double> layersTimes;
24 double t = net.getPerfProfile(layersTimes) / freq;
25 cout << "[INFO] classification took " << t << " ms" << endl;

Python

1 // load the labels file
 2 rows = open(labels_file).read().strip().split("\n")
 3 classes = [r[r.find(" ") + 1:].split(",")[0] for r in rows]
 4 
 5 blob = cv2.dnn.blobFromImage(image,1,(224,224),(104,117,123))
 6 print("[INFO] loading model...")
 7 net = cv2.dnn.readNetFromCaffe(prototxt,model)
 8 net.setPreferableBackend(cv2.dnn.DNN_BACKEND_INFERENCE_ENGINE)
 9 net.setPreferableTarget(cv2.dnn.DNN_TARGET_CPU)
10 # set the blob as input to the network and perform a forward-pass to
11 # obtain our output classification
12 net.setInput(blob)
13 start = time.time()
14 preds = net.forward()
15 end = time.time()
16 print("[INFO] classification took " + str((end-start)*1000) + " ms")

就是这样,仅仅需要用 OpenVINO IE 来替代原生的 OpenCV ( cv2.dnn.DNN_BACKEDN_OPENCV );

6. OpenCV 和 OpenCV + IE 的比较

这些比较任务在一台使用 OpenCV-3.4.3,只有 CPU 的 Ubuntu 16.04 AWS 机器上测试;

取100次的平均时间;

Image Classification / 图像分类

如何使用 OpenVINO 来优化 OpenCV

Object Detection / 目标检测

如何使用 OpenVINO 来优化 OpenCV

Pose Estimation / 姿态估计

如何使用 OpenVINO 来优化 OpenCV

从这些数据中可以很清楚的看到,使用 OpenCV + OpenVINO 可以提高计算机视觉库的性能;

查看原文: 如何使用 OpenVINO 来优化 OpenCV

  • brownbutterfly
  • brownsnake
  • orangegorilla507
  • goldenwolf
  • lazypanda
  • TerryDon
  • DavidBill