阿里云AI視頻進化：可一鍵讓照片開口說話 媲美真人
【資料圖】
快科技8月16日消息， 阿里云推出數字人視頻生成工具Live Portait，上傳一張照片和一段文本或語音即可生成一段開口說話的數字人視頻。
該功能可應用于視頻直播、聊天機器人、企業營銷等場景。目前，該工具已在魔搭社區創空間開放體驗。
自對話大模型和AI繪畫模型相繼火熱后，業界對生成式AI的研究逐步朝更多模態的方向演進，AI視頻生成便是熱門技術之一。該技術可將文本或音頻等信息轉換為面部運動信息，進而驅動生成照片人物形象的動畫，能有效降低視頻拍攝和制作門檻。
此次上線的Live Portait工具由運動模塊和生成模塊組成，其 采用阿里云自研的口型預測算法，生成的口型準確度相比傳統方法大幅提高 ；在訓練階段，增加了姿態的顯式控制，無需底板視頻也可以生成任意動作的視頻，大幅提升數字人說話的真實感。
此外，通過眼神主動控制技術， Live Portait可以為眼球增加一些自然運動，使得生成結果在觀感上更接近真人效果。 據介紹，Live Portait相關技術已被CVPR、ICCV等國際AI頂會收錄。
根據魔搭社區上的信息顯示，在Live Portait上傳照片后，用戶可選擇文本驅動和音頻驅動兩種方式，文本驅動模式下， 該工具提供了普通話、英語、粵語、童聲等28種聲音。 此外，Live Portait還提供了輕量模型選擇，幫助用戶更快速生成視頻。
該工具算法負責人張邦表示：“ Live Portait集成了團隊多項自研創新技術，例如僅需單張圖片就能生成逼真的面部動畫，突破了傳統對抗生成網絡的局限。隨著技術的進一步迭代，圖生視頻有巨大的應用空間，有望成為企業降本增效的生產工具。”
據悉，該團隊研究方向涵蓋數字人、3D模型AI生成、高真實感渲染、自然人機交互等領域，目前已發表50多篇國際頂會論文。
關鍵詞：
相關文章
精彩推送
