公司新闻

探索AI数字人在业务场景的落地,数字内容及互动解决方案的形成

日期:2020-03-10

2co

  自疫情迸发以来,从省市级媒体到当地县级融媒体渠道,都纷繁启用相芯科技的AI虚拟主播投入到疫情报导的实战中来。虚拟主播是相芯科技对AI数字人的探究以及运用的一部分,正在不断改动智能媒体的年代。那么什么是AI数字人?这项技能是怎么完结的?它还有哪些可拓宽的实践落地场景?我们能够经过相芯科技CTO秦昊在达摩院AI Inside同行者大会中对AI数字人的技能共享,了解一下。2co

2co

  讲演嘉宾简介:秦昊,相芯科技CTO2co

  摘要:在人工智能高速开展的今日,越来越多的AI技能开端与计算机图形技能结合处理实践运用问题。AI数字人技能由人工智能与CG技能结合而成,用于供给仿真的人机问答服务,并在视觉通道上优化人机交互体会。相芯科技CTO秦昊在达摩院AI Inside同行者大会中经过企业在AI数字人方面的探究及相关运用的事例共享展现AI数字人技能的开展及运用。2co

  以下内容依据讲演视频以及PPT收拾而成。2co

  本文将站在运用视点为我们展现相芯科技联合阿里云TTS开发的AI数字人运用事例。2co

  AI数字人2co

  AI数字人的概念起源于2017年SIGGRAPH大会上,许多学术组织协作推出了一款AI数字人Virtual Mike。经过交融其时顶级的烘托技能与动作捕捉技能大会打造了一个活灵活现的实时虚拟人物。经过两三年的开展,互联网职业中开端呈现数字人技能运用的事例,如百度公司与浦发银行一起打造的AI数字人“小浦”能够作为银行的数字职工为相关用户供给事务咨询及简略事务处理的服务。2co

2co

2co

  AI数字人技能为用户供给了全新根据视觉通道的人机交互界面。该界面经过交融CG技能、语音技能及天然语言处理等多种技能,为运用者打造出相似人与人交互的操作体会。企业经过切换数字人背面的知识库或AI模块使其能够支撑不同的事务场景,如在媒体播报范畴、个人助理范畴及事务咨询等范畴数字人技能均有不俗的体现。2co

  虚拟主播云渠道2co

  相芯科技公司根据与阿里云的协作在许多范畴开端进行AI数字人技能的运用落地。相芯科技的AI数字人技能,只需求输入一段文字,就能够全自动地组成整个人的说话,包含动作、形状、心情的视频。公司建立的虚拟主播云渠道如下图所示。在渠道修改界面中,用户能够对虚拟人物的人物、对话内容脚本及相关人物动作进行挑选,并经过阿里云的云服务器进行烘托和视频组成,就能快速生成数字人的视频,用户能够自即将视频下载,并进行分发。2co

2co

  虚拟主播及虚拟机器人2co

  下图所示为公司虚拟主持人模块的架构。公司将相关脚本输入,经过TTS语音技能完结人物语音的组成,在STA(Speech-to-Animation)模块中进行动画及视频组成,最终生成相关的虚拟视频。企业一起对互动帮手、虚拟机器人技能架构进行了开发。在数据输入部分,体系经过接入天然语言处理等模块完结了机器人问答体系的建立,以此支撑数字人与用户的实时交互功用。2co

2co

  语音技能协作伙伴阿里云TTS2co

  STA事务打造的虚拟主播与虚拟客服,都离不开语音组成技能TTS的支撑。企业对市面上供给TTS服务的公司进行调研比照后,挑选了阿里云TTS作为协作伙伴。企业经过与阿里云TTS的协作,为数字人人物建立了实在天然的语音模型,并连续在进行更深层次的技能协作。2co

2co

  STA算法流程2co

  下图所示为STA(Speech-to-Animation)算法流程示意图。企业将文本数据与语音数据一起作为算法数据导入算法模块中,算法将会对语音数据中的心情及语速等要素进行剖析,以此组成出数字人说话的口型、发音及与用户的对话情形等数据,经过剖分出的数据驱动数字人体现出天然生动的画面。2co

2co

  图形组成模块2co

  企业经过一系列探究,现在已具有了齐备的数字人体现及布置计划。从3D卡通形象到高精度虚拟人形象企业均可供给杰出的刻画技能支撑。企业能够运用不同的虚拟人物完结不同事务场景下对虚拟人物的需求,包含且不限于支撑智能手机、终端及大屏上数字人的问答事务、支撑云烘托完结高质量视频组成等事务场景。2co

2co

  相片级人像组成技能2co

  企业由SIGGRAPH大会论文作用规划完结的相片级人像组成技能作用如下图所示。运用者在左边输入表情时,右侧的方针相片上的人物能够实时做出活灵活现的表情。该技能能十分细腻地组成人物脸上每处细节(如法则纹、牙齿等),使观看者感受到相片像实际人物相同在做动作。2co

2co

  该技能背面为企业根据生成对立网络所开发的技能架构。因为生成对立网络技能最大的难点在于它生成的成果的不可控性,考虑到数字人场景需求极端精准掌控人物的发音状况体现,开发团队立异性的构建了两个阶段的人像组成算法架构。算法首要经过三维的数据重建与数据了解将图画变形到开发团队预设的表情上,之后算法经过生成对立网络技能对虚拟人物在细节上进行修补与复原。在这种计划下,生成对立网络自身能够专心于人物细节的修补,免去了其处理图片形变与位移所需的精力,使算法能够杰出的操控虚拟人物表情改变,实在的复原人物细节。2co

2co

  下图为企业相片级人像组成技能的作用。左上方在人在做一些表情,来操控其他相片,使这五张相片也能够组成出十分实在的表情,包含牙齿、嘴巴内部、法则纹等细节都能组成得十分实在,很难判别出真假。2co

2co

  虚拟主播事例2co

  现在AI数字人技能不只能够在高精度虚拟人物组成场景中进行运用,一起也多样型的数字人处理计划开端在各行各业的事务场景中落地供给相应服务。下图所示为企业根据AI数字人技能规划开发的虚拟主播运用事例。关于报社、电视台及媒体等事务方而言,虚拟主播技能很好的满意了事务方在自动化视频生成、媒体内容生成方面的事务需求,成为了融媒体年代新闻媒体的传媒利器。一起虚拟主播技能也被运用于新媒体之中,事务方经过打造公司专属的虚拟主播形象既能够完结与观众的情感互动也确保了公司自身的传媒影响力,避免了呈现以往大众影响力会集在新闻主播身上的状况。2co

2co

  虚拟机器人事例2co

  企业在具有将强的互动性虚拟机器人和互动帮手在技能上也在进行相关探究。经过STA技能,企业将虚拟人物与问答体系整合。在用户运用体系进行交互时,体系将展现出更为具象的虚拟人物进行沟通互动。比方公司经过与汽车企业协作研发的车机虚拟帮手现在已完结量产车上的布置。公司一起积极探究数字人技能在线下场景中的运用,经过在银行大厅、地铁售票处、医院、法庭及企业展厅中布置AI数字人体系。一起公司能够完结让智能音箱晋级为具有具像化形象的智能体系。公司为不同事务的用户集体供给了更为高效便当的咨询服务及杰出的交互体会。2co