B站虛擬歌手洛天依與AI語(yǔ)音的交響

2023年7月12日下午7點(diǎn)12分，在B站20多萬(wàn)觀眾粉絲的見(jiàn)證和祝福下，這位來(lái)自嗶哩嗶哩的世界首位中文虛擬歌手洛天依迎來(lái)了自己十一周年的生日會(huì)。除了一如既往溫暖治愈的歌聲外，此次洛天依與觀眾互動(dòng)交流時(shí)音色活潑的流暢語(yǔ)音也受到粉絲們的特別關(guān)注。

自洛天依出道至今，她的說(shuō)話交流均是通過(guò)歌聲合成引擎語(yǔ)調(diào)或是真人配音來(lái)完成制作。而生日會(huì)直播里高度流暢的語(yǔ)音，也被觀眾們普遍認(rèn)為是高水平的AI語(yǔ)調(diào)校。其實(shí)大家有所不知的是，今年生日會(huì)洛天依的說(shuō)話發(fā)聲是由全新的方式——人工智能語(yǔ)音技術(shù)創(chuàng)造而成。接下來(lái)，一起探秘天依背后的“幕后團(tuán)隊(duì)”是如何幫助虛擬歌手進(jìn)化出更自然的說(shuō)話能力！

作為首位中文虛擬歌手，洛天依獨(dú)特的治愈歌聲音色受到了粉絲和大眾的廣泛喜愛(ài)。今年，Vsinger和嗶哩嗶哩鳴實(shí)驗(yàn)室聯(lián)手為洛天依定制打造AI語(yǔ)音聲庫(kù)。與業(yè)界標(biāo)準(zhǔn)化AI語(yǔ)音不同的是，天依AI語(yǔ)音不僅在音色上高度還原了她標(biāo)志性的歌聲音色，也在合成效果上平衡了電子機(jī)械感和擬人自然感。這樣極具突破挑戰(zhàn)的設(shè)計(jì)，幫助天依延續(xù)了她獨(dú)樹(shù)一幟的音色，也讓她的AI發(fā)聲效果更吻合虛擬歌手的設(shè)定。

嗶哩嗶哩鳴實(shí)驗(yàn)室的方案與通用AI聲庫(kù)制作流程不同的是，洛天依的聲音本身也是由技術(shù)生成的，而非人類自然產(chǎn)生的聲音，所以不能像大多數(shù)聲音定制的方案一樣，簡(jiǎn)簡(jiǎn)單單通過(guò)數(shù)據(jù)采集來(lái)定制聲線。

想要得到洛天依說(shuō)話音頻，可以利用洛天依歌聲聲庫(kù)，使用Vocaloid等音頻合成軟件，按照真人說(shuō)話的韻律規(guī)則，手動(dòng)調(diào)出洛天依說(shuō)話音頻，俗稱語(yǔ)調(diào)。這個(gè)方法雖然能還原音色，但是會(huì)有很多局限性。這個(gè)方案需要調(diào)教師有較高水平的語(yǔ)調(diào)校的經(jīng)驗(yàn)，即使這樣也通常很難調(diào)教出自然流利的語(yǔ)音內(nèi)容，而且也很難量產(chǎn)。

為了保持說(shuō)話音色和唱歌音色的高度一致，并使說(shuō)話顯得自然流暢，采取了一系列優(yōu)化。首先，在對(duì)洛天依歌聲聲庫(kù)進(jìn)行深入研究和分析的基礎(chǔ)上，定制了一版專門(mén)的AI語(yǔ)音模型。該方案在保證內(nèi)容完整性和音頻自然度的同時(shí)，能更好地解耦音色、音高和語(yǔ)義等信息。通過(guò)將這些要素分開(kāi)，能更好地捕捉到洛天依獨(dú)特的音色特征，從而高度還原了洛天依的音色。

在模型訓(xùn)練過(guò)程中，嗶哩嗶哩鳴實(shí)驗(yàn)室以洛天依歌聲聲庫(kù)作為主要的數(shù)據(jù)源，為了增加模型的泛化能力和適應(yīng)性，通過(guò)使用多個(gè)音色的說(shuō)話、唱歌數(shù)據(jù)，讓模型學(xué)習(xí)到不同發(fā)音人之間學(xué)習(xí)到音色、語(yǔ)義、唱腔等差異和關(guān)聯(lián)，從而提高模型對(duì)于說(shuō)話和唱歌聲音的理解和轉(zhuǎn)換能力。使得在保留洛天依唱歌聲線的前提下，可以流利自如的進(jìn)行語(yǔ)言表達(dá)。

在基礎(chǔ)特征上使用了嗶哩嗶哩自研語(yǔ)音識(shí)別大模型來(lái)提供語(yǔ)義信息，同時(shí)也加入了諸如呼吸音的非語(yǔ)義信息來(lái)豐富效果。在保證說(shuō)話與唱歌音色保持高度一致的前提下，也實(shí)現(xiàn)了能靈活按需調(diào)整語(yǔ)調(diào)、語(yǔ)速、語(yǔ)氣等效果，從而使得聲音更加自然生動(dòng)。此外，為了輸出更高質(zhì)量的洛天依語(yǔ)音，也引入兩類不同的判別器，進(jìn)一步提高了合成音頻與目標(biāo)音頻音色的相似度以及合成音頻的音質(zhì)。

同樣，在2023年舉辦的BML和BW洛天依線下展演中，也使用了AI語(yǔ)音聲庫(kù)。除了洛天依，另一位Vsinger虛擬歌手言和也因嗶哩嗶哩鳴實(shí)驗(yàn)室的技術(shù)支持，而首次在今年十周年生日會(huì)直播上通過(guò)AI語(yǔ)音發(fā)聲交流，相信未來(lái)會(huì)有更多內(nèi)容與大家互動(dòng)。

以洛天依AI語(yǔ)音為契機(jī)，看到了人工智能語(yǔ)音技術(shù)為虛擬歌手賦予真實(shí)的發(fā)聲能力。在未來(lái)，或許能見(jiàn)證AI語(yǔ)音為創(chuàng)作開(kāi)啟更多無(wú)限可能，為觀眾帶來(lái)更多聽(tīng)覺(jué)震撼，更多的感動(dòng)與共鳴！