鐠猴拷閻炴稏鍎插﹢涓�2闁汇劌瀚幁顐f媴閹剧粯瀵㈤柍銉︽煛閳ь剚姊归崼锟犳嚊閿濆應鍋撳鍛樊闂佽姤顭終闁挎稑鑻妶浠嬪触閸涘﹥鏆柟闈涚С缁ㄣ劑宕℃繝鍌氼潬闁稿⿵鎷�鐠猴拷闁哄棙鍨垫禍锝夋嚃閻樺搫鍓柡鍕尭閸ゎ參姊婚鈧。浠嬫晬鐎圭挶fespace闁烩晛锕﹂弫鎾绘嚕鐏炶棄绨诲ù锝囧У婢э箓鏌呴悩韫樊閹兼潙鍢查妶浠嬪灳濠婂棗浜栭柍銉︾箖閳ь剨鎷�鐠猴拷濡絾鐗曢崹閬嶅箑瑜忛~鏍儘閺冣偓閸ㄦ岸寮稿⿰鎰獥闁告牗銇為崥顐も偓瑙勭箖閻忔岸鎮介悢鍝勨挅缂佷胶鍋熺划锟犳煀閸涘﹥鏆柛鐘插殫IE婵炲矁宕甸弸鐔煎极閸喓浜�鐠猴拷缂佸鍨甸鐔煎箮閵堝牆鈧粙寮ㄩ懡銈嗘闁挎稒宀稿▔锟�4闂佹彃绉垫慨銏ゆ嚃濠靛浂妲荤紒顕€鈧稓鑹惧☉鎾亾闂婎剦鍋嗗▓鎴﹀磻閵夈儳鏆旈梺顐㈠€风粭澶屸偓鐟扮秺閺佸﹥娼婚敓锟�鐠猴拷閻熸瑱缍侀弨锝夌叕椤愶絾缍忕紒鐙呯磿閹﹪寮弶鍟冾參宕濋崠锛勭獥lifespace閻忓繐绻楅幗鎴︽嚈閹殿喗鎶勯柣銏㈠枙瀵宕濋埡鈧紞妯尖偓鍦仧楠炲洨绮旈幋婵愬妳闂婎剦鍋呭ḿ妤冪不閿涘嫭鍊�鐠猴拷濠碘€冲€风紞宥囩矓閹存繍鍔呴梻鍕Х椤㈠懘鎳橀崒锔惧惞濞戞挾绮晶锔藉緞閳哄啫濮ч柟瀛樺姇閸ㄥ酣鎯冮崟顔肩亰闁谎勫劤閻g偟鐥€圭姷婀哥紒淇卞灪濞叉悂鎳楃捄鐑樻妱濞存粌妫滆濞戞搫鎷�鐠猴拷闁哄嫬妫滈崥妯荤▔椤撶偞绂囬悹褍鍚€缁楁繂鈽夊☉宕囩獥缁惧彞绀侀悽顐﹀及椤栨艾鏋庨柡浣哄瀹撲線鎯冮崟顒佷粯濞达絽鍟块悺銊╁磼閵娿倗鐭欓悹鎰舵嫹鐠猴拷濠碘€冲€风紞宥嗘櫠閻愭彃绻侀柛蹇撶Ф閺屽懘宕濆☉宕囧惞婵箍鍊涢崵鏇㈠磹瀹ュ懍娣柧鏂款儑濞呇呭垝婢跺ǹ鍋ㄩ柦鈧妷銉ユ倠闁哄鍎埀顒佺矊婵亪寮ㄩ悜鈹惧亾閿燂拷鐠猴拷Canalys閻犲鍟伴悥娲晬濮橆偉鍘柛銉﹀灊缁辨帗绋夊顒夊殸濞存粌绨肩粭鍌涚閹寸姵鐣遍梻鍥e亾婵懓鍊风划娑㈡倿閺堢數绉甸弶鈺嬫嫹鐠猴拷濠⒀呭仜缁犳瑧鎼鹃敓锟�30% 闁告绨肩拹鐔哥▔婵犲懐娈�2023闁归潧顑嗗┃鈧柛鎴︾細閹伙綁鏌岃箛姘4000濞戞挸娲崕锟�
您现在的位置:首页 > 滚动 > 正文
这家硅谷初创公司的声音模拟技术 可能会让配音演员失业
发表时间:2016年10月8日 08:00 来源:新浪网 责任编辑:麒麟

新浪科技 李根

百度在今年4月1日用张国荣的国语声音语料,完成了这位已逝明星的声音“再现”。这项技术背后主要依托机器对自然语言的理解和处理,只要让机器通过对声音语料的学习,就能生成语言模型,实现指定人物的发音模仿。

这种声音模拟技术目前进展迅速,而且早已不是巨头的游戏。

新浪科技了解到,位于美国加州的初创企业ObEN,能够提供迅速、准确的电音模拟技术。用户只需要念上两分钟由ObEN指定的文字,他们的电音就能被模拟出来,并且被用在唱歌、朗诵、用一切可以想象到的语言做一切可能的事情。

ObEN团队的另一项三维图像重建技术,还能够迅速地通过一张自拍照片为消费者建立三维人脸模型,让虚拟世界与现实世界之间的距离,更进一步。

ObEN联合创始人Nikhil Jain及Adam Zheng

模拟技术给声音带来新可能

这项声音模拟技术,有着许多动人的未来蓝图。

比如将家里小朋友的声音记录下来,而这个声音模型,可以一直保留到他长大成人,还可以说新的内容;比如电影在国外放映时,可以使用由明星原声而制作的外文配音,让他们本人的声音也能顺利“出口”;而对时尚博主们来说,别说采访韩国、欧美明星了,就算时尚博主们进军印度、土耳其、甚至非洲,也可以轻松用当地语言进行采访。另外,人们与家人分隔两地时,也可以通过这项技术,在各类智能设备中听到亲人熟悉的声音。天涯若比邻,不再是一种想象。

这些蓝图,让ObEN已经成功和各个行业企业达成了合作意向,其中包括与美国最大的玩具公司合作开发智能玩具,跟好莱坞最大的配音公司以及电影公司合作等等。

虽然有了以上各类可预见的蓝图,电音模拟技术,听起来还是有些抽象。具体来说,ObEN是这样做到给消费者的声音提供各种使用方案的。

首先,这项业界领先的技术大大缩短了发声模型的训练时间。也就是说,消费者们只需要花上2-3分钟念出指定的文字,ObEN就能通过人工智能领域的机器学习技术,制作出消费者的专属电音模型。这就像每个人有着独特的指纹一样,ObEN能够通过深度学习,获取每个用户的“声纹” 。要知道,如今市面上所有的专属发声模型都只有少数人可以体验,并且需要好几天、甚至几周的时间录入数据。

再者,有了这个电音模型,ObEN可以做到让消费者本人的电音,用中文、日语、韩语、乃至世界上任何一种已经存在的语言说话、唱歌、朗诵等等,而非局限于源声音的语言种类及用法。试想,一个完全不懂中文的美国白人,可以用他的自己的电音唱秦腔;一个中国人,也可以听到自己唱出的宝莱坞歌曲了。

除了精进算法以外,使用这个技术的消费者们越多,ObEN的电音模型就会越逼真。

ObEN的声音模拟技术背后,有着UCLA(加州大学洛杉矶分校)以及CalTech(加州理工学院)两所重量级院校的计算机人才们。在决定开发这个技术后,ObEN的两位Co-founder Adam Zheng与Nikhil Jain 邀请到了UCLA的声学研究所所长Abeer Alwan以及CalTech的高级计算机科学家Julian Bunn合作开发。这两位教授,以及他们的其他合作伙伴与博士生们,都为ObEN在自主研发声音模拟技术的过程中提供了重要帮助。

声音模拟x新锐科技

更重要的是,如今科技行业里的许多主要方向,也将因为这个技术而更进一步。

首先,各类机器人的拟人化,将因为能够接入真实、可控的声音模型而更加成功。一个具体的例子就是在今年的CES期间,ObEN和凯撒娱乐集团以及微信进行合作,在凯撒娱乐旗下酒店里,提供名为“Ben”的虚拟客服。住在凯撒娱乐集团旗下的LINQ酒店的客人可以通过关注凯撒娱乐集团的微信号,在手机上跟Ben互动——他能够以任何声音或语言来进行回复。

而且,哈工大机器人集团与ObEN合作也在LINQ酒店大堂里提供了迎宾机器人,让虚拟客服Ben“实体化”成了一个看得见摸得着的机器人,客人们可以通过与迎宾机器人的沟通,直接感受到多语言、多声音的机器人提供的便捷服务。

ObEN与哈工大机器人集团合作,在LINQ酒店提供的迎宾机器人

再次,声音模拟技术,将在虚拟现实领域有着极多发展机会。比如在虚拟教育领域,当声音来自真实的老师、同学时,孩子们会更容易沉浸其中;再比如在虚拟医疗领域,更真实的声音也会让患者更加轻松。

结合三维图像重建,重新定义虚拟世界

早在1946年,美国学者埃德加·戴尔提出的“学习金字塔”(Cone of Learning),以及多年来认知科学界的研究,都证明了当听觉与视觉结合时,人类的理解、学习能力更强,远远超过只有听觉、或只有视觉。

也正是因此,为了进一步缩短虚拟世界与真实世界之间的距离,ObEN团队还开发了基于手机的写真级的三维人脸重建技术。声音与图像紧密配合,未来的想象空间极大。

在过去十几年间,对未来游戏的一个常见想象就是,玩家以几近真实的相貌及声音,在游戏世界里闯荡。

而ObEN提供的声音模拟及三维图像重建技术,很可能在现实里第一次实现这种想象。

其实,三维人脸重建技术并非ObEN首创。在准确度上,使用深度摄像头进行较长时间的扫描,建立的模型也必定更加真实。然而这种耗时长、需要深度摄像头的三维重建技术,想要在消费者端普及使用,极为困难。

因此,ObEN选择了开发只需使用手机拍摄一张照片,就能由平面照片生成三维人脸模型的技术。这项技术基于机器学习,通过大量学习二维照片与相应三维模型的关系而最终成型。当然,假如消费者们愿意多提供几张照片,比如侧面照等,也会让ObEN最终呈现的三维模型更为准确。

通过ObEN技术,用创始人之一Nikhil Jain的2D照片完成的3D模型

正如上文中提到的,这项技术在虚拟现实/增强现实领域,有着极多可能性,包括教育、医疗、游戏、设计、音乐等。几乎可以说,只要是需要人物的地方,都可能需要。这也意味着ObEN与许多虚拟现实行业内的企业都有着合作可能。

比如在医院中,相比一个卡通形象的虚拟医生,患者自己的医生的虚拟形象必定更受患者青睐。在VR教育领域,假如小朋友们能看见、听见真实的同学、老师,教育效果也会好不少。最重要的是,只要消费者们使用ObEN提供的这种三维图像重建技术,就能轻松地把社会关系导入到虚拟世界里。

这一特点,是当年QQ、微信大火的基础,而有了ObEN,在虚拟现实领域的杀手级应用,我们也能有所期待了。

虚拟现实元年,发展空间极大

2016年是虚拟现实/增强现实(VR/AR)的元年,而ObEN的声音模拟技术与三维图像重建技术,很有可能成为VR/AR发展的重要助力。

近几年,业界一致强调虚拟现实中3D音频的重要性。而可以提供不同声音、语言的ObEN,则是在3D音频技术之外,补足了虚拟世界里声音的“内容”这一部分,让虚拟世界里的声音,更具有吸引力。

而声音与图像技术的结合,也是ObEN乃至VR/AR界可预见的重要方向。ObEN已经开始自行开发应用,尝试将两项技术结合。他们即将推出的全新的VR/AR交友App,就是希望能够“复制”出每个用户的虚拟形象与声音,这意味着不论你在线与否,都可以跟有着真实虚拟形象的其他用户进行交流。

“我们认为在未来,每个人都需要一个与自己形象相符的虚拟世界助手,”ObEN的COO Adam Zheng说道。在VR/AR领域,这样的虚拟世界助手可以在各方面为自己的主人服务。

据了解,ObEN已入选HTC的Vive X加速器项目, 在一千多个项目中脱颖而出,与其他32家创业公司共同探索虚拟现实领域的未来可能。据Adam透露,加速器项目中不少虚拟游戏公司已经对ObEN的这两项技术表达了兴趣。

ObEN成立于2014年,主要创始人分别为COO Adam Zheng以及CEO Nikhil Jain。其中,Adam是清华大学环境工程硕士、伯克利金融工程硕士、UC Davis交通工程博士,他也是百合网的联合创始人以及光速创投的投资合伙人。Nikhil Jain 拥有南加大的MBA学位,是加州地区的连续创业者。ObEN的首席工程师Dr. Mark Harvilla是卡耐基梅隆的电子工程学博士,曾师从Richard Stern(Apple Siri的负责人Alex Acero的导师,李开复的博士毕业论文指导教授之一)。

高层访谈
用友董事长兼CEO王文京:全面数智商业创新时代到来
用友网络董事长兼CEO王文京认为,随着AI成为全球IT技术与产业创新的中心,商业创新也进入全面数..
华为汪涛:深耕价值客户、商业和分销三类市场
5月8日,在华为中国合作伙伴大会2023上,华为常务董事、ICT基础设施业务管理委员会主任、企业BG..
观点态度
12岁即显现商业头脑 IT巨头公司戴尔的发展简史
从1984成立到今天,戴尔已成长为全球知名的电脑、服务器、数据储存设备和网络设备厂商。
5G毫米波网速优势显现,少了高速路的5G不完整
随着5G网络目前在全球各地的开通,5G毫米波在峰值速率上已经展现出了巨大优势。同时,工信部在..
移动互联
手机
智能设备
汽车科技
通信
IT
家电
办公打印
企业
滚动
相关新闻
关于我们 | 联系我们 | 友情链接 | 版权声明
新科技网络【京ICP备18031908号-1
Copyright © 2020 Hnetn.com, All Right Reserved
版权所有 新科技网络
本站郑重声明:本站所载文章、数据仅供参考,使用前请核实,风险自负。