唇语识别!AI 领域的下一个万亿市场?

菲尔-琼斯

英国查尔斯王子迎娶卡米拉时,读唇者成功破解了伊丽莎白二世与儿子的低语,让女王糟糕的婆媳关系浮现在大众眼前 ——这可能是“唇语识别”第一次大面积走进大众的视野。

早在古代,就有专门的唇语师存在。通过长期的训练,他们具备了“观察别人的嘴型,解读其表达语句”的能力。在现代社会里,一些听力障碍者们也会使用这种技巧与他人进行交谈,补充听力器官的不足。

但随着科技的发展,人工智能在各领域渐次开放,在唇语识别上,机器已经做的比人类好了。

从技术路径上,唇语识别是一项集机器视觉与自然语言处理于一体的复合型技术。

运用机器视觉技术从图像中识别出说话人的人脸,提取此人连续说话时口型变化的特征。

将连续变化的特征输入到唇语识别模型中,识别说话人口型对应的发音,运用大数据计算出可能性最大的自然语言语句。

在唇语识别过程中,口型与发音,发音与文字之间,并不是唯一对应的关系,常常有多个可能的备选结果,需要实时计算出可能性最大的结果。

2016 年 Google DeepMind 的唇语识别技术就已经可以支持 17500 个词,新闻测试集识别准确率首次达到了 50% 以上。

海云数据,截至2018年他们训练新闻类节目时长是1万小时。为什么是新闻类节目?当然是因为播音员的唇语最标准。目前,海云数据在英文方面可以达到80%的准确度,中文方面是71%

搜狗的通用识别准确率在60%以上,而在车载、智慧家居等垂直场景下,准确率高达90%。

从视频中可以看出将面部放入椭圆形区域内,不发声的说出一段话,几乎说完的瞬间,识别的文字就出现在屏幕上,无论是口语、诗词、歌词还是绕口令,都能很好的识别。

唇语识别技术从镜头输入到理解输出,中间最重要的关键是:视觉前段、视觉特征提取、唇动识别。

➀ 视觉前段——包括人脸检测与唇的检测和定位,先用人脸检测演算法得到人脸然后有针对性的定位唇动;

或者利用最佳闽值二值化演算法,以唇的边缘是平滑的,和左右形状对称为条件,作为二值化闽值选定的约束条件,得到平滑而对称的唇图像。

➁ 视觉特征提取——是对获取的唇图像进行处理得到对应特征,特征提取方法主要分为基于图元的方法和基于模型的方法两大类;

搜狗所用的基于模型的方法就是,对唇的轮廓建立一个模型,将特征资讯包含在这个模型之中,并对模型中特征资讯的变化用一个小的参数来描述。

这类方法的优点是重要特征被表示成二维参数,不会因光照、缩放、旋转、平移而改变,缺点是忽略了细微的三维资讯,可能会对后面的识别过程造成影响。

➂ 唇动识别——目前采用的技术大多是隐玛尔可夫模型( Hidden Markov Model,简称 HMM ),该模型认为唇动信号在极短时间内是线性的,可以用线性参数模型来表示,然后将许多线性模型在时间上串接起来,ai唇语识别组成一条玛尔可夫链。

玛尔可夫链可以用来描述统计特征资讯的变化,并且这种变化过程与人的唇动过程是相吻合的,所以 HMM 能够识别唇动并与相应语句匹配转化成文字。

随着机器学习方法在语音识别领域里取得的巨大成功,尤其是 HMM 的应用,根据唇语识别研究和语音识别的相似性,出现了大量的 HMM 应用在唇语识别领域的研究成果。

在非特定开放口语测试中,目前的通用识别准确率已经在 70% 以上,而在金融风控、车载、智能家居等垂直场景下,已达到超过 90% 的准确率。

人类费尽心力开发研究人工智能、提高唇语识别的准确率,除了偷窥伊丽莎白二世和儿子的秘密外,还有很多更为广泛的用途:

比如应用于金融在线业务的生物识别、噪声环境下辅助语音识别、辅助听障人士交流、体育赛事暴力语言识别等多个领域,这些都是有着实际意义且颇为重要的应用场景。

自出现唇语识别技术出现起,就有声音说唇语识别是语言交互的高阶战,甚至可能带来一场革命。

但在人工智能大范围落地的今天,国内从业者扎堆涌入的,大多为语音识别,图像识别,人脸识别,机器翻译,无人驾驶,虚拟助手和个性化内容推荐等领域,相较这些聚光灯之下的落地场景,唇语识别相对冷僻。

但业界的常识是:人工智能未来将会出现一个数万亿美元的巨大市场,在面对具体乃至细碎的应用场景时,人工智能的细分程度,势必如百年前的电力那般触角庞杂。

而广袤的嫁接空间也意味着,从真实应用场景出发,人工智能领域会出现不少蓝海市场,被国内巨头忽视的唇语识别就是其中之一。

免责声明:本文来智客号作者,不代表千家网的观点和立场。若有侵权或异议请联系我们删除。

更多猛料!欢迎扫描左方二维码关注千家智客官方微信(Qianjiacom)

专注于智能工程技术领域的多维教育,依托国际领先、具有自主知识产权的机器人核心算法和技术,将前沿技术及时转化为系统的培养方案和课程体系,旨在推动人工智能机器人的科普和专业教育。

3?num:hot

3?num:hot

3?num:hot

3?num:hot

3?num:hot

3?num:hot

邮箱:、(内容合作)、463652027(商务合作)、645262346(媒体合作)我知道了×个人登录

发表评论

电子邮件地址不会被公开。 必填项已用*标注