Node+vue实现视频中的人脸识别

lazyostrich 发布于10月前 阅读13569次
0 条评论

做什么事, 思路最重要

  • 视频的人脸识别, 说白了也就是图片的识别, 因为视频的每一帧都是一张图片, 我们只要把每一帧的图片的人脸都识别出来, 那也就实现了视频的人脸识别。总体思路是:截取视频中的图片,然后传到服务器端做识别,把识别结果(坐标和宽高)传回前端,前端做标记。

现在开始

  • 第一步: 我们需要把图片从视频中截取出来, 那现在就出现了三个问题, 1.怎么从视频是截图片;2.截图的频率是多少?3.怎么把图片转到服务器?

    • 回答第一个问题:使用Canvas的toDataURL方法,这个方法可以实时的把视频的画面,截成Base64图片编码,效率高,也方便。

    • 回答第二个问题:画面之帧率高于每秒约10-12帧的时候,人眼就会认为是连贯的。所以我们先取一个低值,每100毫秒截一次图

    • 回答第三个问题:用Ajax吗?当然可以,但是不太合适。对于这种前后端频繁传输数据的情况,用Websocket是最好的选择。前后端我们选择socket.io来实现,传送门

  • 第二步:Node端识别图片。在图像识别领域,opencv是一套标准的解决方案,但是opencv由是C++编写,也有JavaPython的接口,但是没有JS的接口,没办法了吗?当然不是,已经有大神出口了Node版的,叫node-opencvnode-opencv不是重写了opencv,只是在Node层调用C++层的cv,最终还是在C++里面运行的。

    • 安装opencvnode-opencv可以对照之前的文章,这个东西比较难安装,我也是折腾好久才安装上

    • 使用node-opencv识别图片中的人脸,核心代码如下:

    // 引入opencv
    const cv = require('opencv')
    // fileName就是我们前端的Base64传到后端生成真正图片的地址
    // cv.FACE_CASCADE参数为训练集,因为人脸只是cv的一个应用领域,他还可以识别车、动物、植物、大楼等物件,你传什么训练集,他就识别什么
    cv.readImage(fileName, function (err, im) {
        im.detectObject(cv.FACE_CASCADE, {}, function (err, faces) {
            // 为什么是复数呢?因为一张图中可能有多张脸,每一张脸都有四的值:x/y/width/height,这四的基本值
            console.log(faces)
        })
    })
    • 识别出坐标和宽高,就可以把这些信息通过websocket转到前端,前端做展示

  • 具体的技术细节,请移步Github:人脸识别源码

查看原文: Node+vue实现视频中的人脸识别

需要 登录 后回复方可回复, 如果你还没有账号你可以 注册 一个帐号。