歡迎來到合肥浪訊網(wǎng)絡(luò)科技有限公司官網(wǎng)
  咨詢服務(wù)熱線:400-099-8848

中國電信公布國際專利申請:“3D數(shù)字人唇形驅(qū)動辦法、裝置、電子設(shè)備及存儲介質(zhì)”

發(fā)布時間:2024-06-29 文章來源:本站  瀏覽次數(shù):1295
證券之星消息,根據(jù)企查查數(shù)據(jù)顯示,中國電信(601728)公布了一項(xiàng)國際專利申請,專利名為“3D 數(shù)字人唇形驅(qū)動方法、裝置、電子設(shè)備及存儲介質(zhì)”,專利申請?zhí)枮?PCT/CN2023/140585,國際公布日為 2024 年 6 月 27 日。


該專利方法包括:獲取輸入的文本信息;基于從文本到語音 TTS 技術(shù),將文本信息轉(zhuǎn)化為音素序列、音頻數(shù)據(jù)和時間戳信息(其中時間戳信息包含音素序列中各個元素的時間戳);根據(jù)時間戳信息,對音素序列中相應(yīng)的靜音音素進(jìn)行刪除處理,對刪除處理后的音素序列進(jìn)行預(yù)設(shè)倍數(shù)采樣,得到 bs 動畫系數(shù)序列;根據(jù) bs 動畫系數(shù)序列、音頻數(shù)據(jù)、預(yù)設(shè)音素唇形映射表以及特殊音素的預(yù)設(shè)優(yōu)化,渲染生成 3D 數(shù)字人的唇形動畫。其中預(yù)設(shè)音素唇形映射表包含多種音素與 3D 數(shù)字人唇形之間的映射關(guān)系,特殊音素包括雙唇音、唇齒音和齒擦音。


今年以來中國電信已公布的國際專利申請 116 個,較去年同期增加了 87.1%。結(jié)合公司 2023 年年報財務(wù)數(shù)據(jù),2023 年公司在研發(fā)方面投入了 130.52 億元,同比增 23.59%。


這種 3D 數(shù)字人唇形驅(qū)動方法提高了 3D 數(shù)字人唇形驅(qū)動的魯棒性與流暢度,具體來說,通過構(gòu)建預(yù)設(shè)音素唇形映射表、對音素序列進(jìn)行處理和特殊音素優(yōu)化等操作,可以使生成的 3D 數(shù)字人唇形動畫更加自然和準(zhǔn)確,減少對大量訓(xùn)練數(shù)據(jù)的依賴,并且能夠更好地應(yīng)對各種情況,提高唇形驅(qū)動的效果和穩(wěn)定性。


特殊音素的預(yù)設(shè)優(yōu)化方式舉例如下:設(shè)置 3D 數(shù)字人在雙唇音(如 b、p、m 等)發(fā)音前,上嘴唇與下嘴唇接觸;在唇齒音(如 f、v 等)發(fā)音前,下嘴唇觸碰上牙齒;在齒擦音(如 z、c、s、j、q、x、zh、ch、sh 等)發(fā)音時,上下牙齒之間的距離滿足預(yù)設(shè)距離。


在渲染生成唇形動畫之前,可能還會對 bs 動畫系數(shù)序列進(jìn)行三次樣條差值采樣、衰減、平滑處理,或者在其預(yù)設(shè)位置添加靜音音素后再進(jìn)行平滑處理等操作。


該技術(shù)在虛擬數(shù)字人、人機(jī)交互、影視娛樂等領(lǐng)域可能具有廣泛的應(yīng)用前景,例如可以為虛擬客服、虛擬主播等提供更加自然和逼真的唇形表現(xiàn),提升用戶體驗(yàn)。同時,也有助于推動相關(guān)產(chǎn)業(yè)的發(fā)展和創(chuàng)新。具體的應(yīng)用方式和效果可能還需要根據(jù)實(shí)際情況進(jìn)行進(jìn)一步的開發(fā)和優(yōu)化。

上一條:在英中資企業(yè)代表探討如何...

下一條:“紅衣教主”周鴻祎談AI...