微軟 推出 VASA-1 AI 框架，可即時生成逼真對口型視頻
人工智能AI2024-04-22
浭深2024年4月22日消息，微軟推出VASA-1 AI框架，使用一張真人照片和個人語音音頻即可生成逼真對口型視頻。該技術克服了以往面部生成技術的局限性，利用擴散Transformer模型訓練，將面部動態和頭部運動視為單一潛在變量，可即時生成高分辨率、高幀率的視頻。微軟還利用3D技術輔助標記面部特征，設計損失函數，有效捕捉和重現面部3D結構。...
浭深2024年4月22日消息，微軟推出VASA-1 AI框架，使用一張真人照片和個人語音音頻即可生成逼真對口型視頻。
該技術克服了以往面部生成技術的局限性，利用擴散Transformer模型訓練，將面部動態和頭部運動視為單一潛在變量，可即時生成高分辨率、高幀率的視頻。
微軟還利用3D技術輔助標記面部特征，設計損失函數，有效捕捉和重現面部3D結構。
標簽微軟
clarke
