行业新闻

戴上口罩也能人脸识别了!科学家发明耳机追踪面部表情,准确率还不错

日期:2020-10-15

1

疫情期间,运用k8凯发真人娱乐面部辨认解锁手机的用户日子过得“适当困难”,每次解锁都需求输入暗码。最近,一项新的研讨成果为这一问题供给了新的解决方案。

康奈尔大学的研讨人员创造了一种耳机,能够经过调查脸颊的概括来接连盯梢完好的面部表情,然后能够将表情转换成表情符号或无声的语音指令。

“这种设备比任何现有的可钦戴在耳朵上的盯梢面部表情的技能更简略、更不显眼,也更有才能,”康奈尔大学科幻试验室(Cornell's SciFi Lab)主任张成表明,他也是这项研讨成果的作者之一。

凭借这款名为C-Face的耳挂设备,用户无需面临屏幕,就能够在线向别人发送音讯。

张成表明,“在曾经旨在辨认面部表情的可穿戴技能中,大多数解决方案都需求在脸上装置传感器......即便装置许多仪器,其辨认才能也很有限”。

该设备由两个微型RGB相机(用于捕捉赤色、绿色和波段光)组成,坐落耳朵下方,带有耳机或耳塞。摄像机记载面部肌肉运动引起的面部概括改变。

1

1

两款原型设备,能够清楚地看到两个摄像头(图源:Cheng Zhang, Cornell University)

研讨人员表明,面部概括对面部表情的信息量很大,当咱们做出面部表情时,面部肌肉会扩展和缩短,它们推拉皮肤,影响邻近面部肌肉的张力。这种作用会导致脸颊概括(概括)从耳朵的视点发生改变。

一旦图画被捕获,能够运用核算机视觉和深度学习模型对其进行重建。该模型将脸颊图画转换成42个面部特征点或标志,代表嘴、眼睛和眉毛的形状和方位,这些特征受表情改变的影响最大。

这些由42个特征点所表达的重构面部表情也能够被翻译成8个表情符号,包含“天然”、“愤恨”和“亲吻”。还能够作为操控音乐设备的指令,经过表情改变就能完成“播映”、“下一首”和“音量加”等功能。

因为疫情约束,研讨人员只能在九名参与者身上测验该设备,其间还包含两名研讨作者。他们将这款耳机的性能与最先进的核算机视觉库进行了比较,该库从正面摄像头捕获的全脸图画中提取面部标志,最终发现平均误差小于0.8毫米。

试验成果显现,表情辨认的准确率超越88%,无声语音的准确率挨近85%。

这一技能关于某些场景,比如在图书馆或其他同享作业空间中很是受用,不过研讨人员也表明,这样的话运用者就不能看到对方的面部表情。

不过,这一技能现在还存在一些难题,两个摄像机的功耗过高,对这一设备的续航带来了较大影响,研讨人员表明下一步将考法功耗更低的传感技能。

该研讨成果记载在论文名为《C-Face:用耳朵上的微型摄像头深度学习面部概括来接连重建面部表情》(C-Face: Continuously Reconstructing Facial Expressions by Deep Learning Contours of the Face With Ear-Mounted Miniature Cameras)中,将在核算机器协会用户界面软件和技能研讨会上宣布,该研讨会将于10月20-23日举办。

编译/前瞻经济学人APP资讯组

原文来历:

https://news.cornell.edu/stories/2020/10/earphone-tracks-facial-expressions-even-face-mask

https://www.newscientist.com/article/2256925-earphone-cameras-watch-your-facial-expressions-and-read-your-lips/amp/