有了AI這個神隊友,再也不用擔心線上開會形象太邋遢了!(上)
目錄
1. 視訊會議邋遢怎辦？AI 讓正式照片中的你「動起來」當替身！
2. Vid2Vid Cameo：AI 讓人像照跟著你擠眉弄眼！
2-1. 真人視角調整方向
2-2. 虛擬角色逼真動態
2-3. AI演算法節省頻寬，保留絕佳視訊通話品質
3. Vid2Vid Cameo：完美結合 2D 照片與 3D 動態
視訊會議邋遢怎辦？AI 讓正式照片中的你「動起來」當替身！
COVID-19 疫情從去年開始持續影響我們的工作與生活，視訊會議讓我們的房間取代了原本的會議室，大家也希望自己能在鏡頭前體面的呈現。繪圖晶片大廠 NVIDIA 於去年 10 月在 GPU 技術大會（GTC）上發表了全新雲端的視訊串流平台「Maxine」，整合各種人工智慧輔助功能，能即時美化鏡頭前「太過真實」的畫面、或優化不佳的音訊。
大家都希望在每次的視訊會議中，都可以保持個人最佳狀態。但是辦公室移到家裡後，難免會因為剛睡醒、或是小孩、寵物吵鬧等，導致自己蓬頭亂髮，無法在會議平台中顯現出體面的打扮。針對此問題，NVIDIA 研究團隊在 2021 年的 CVPR 會議發表論文中，提出全新的解決方案——Vid2Vid Cameo，如以下影片所示：
Vid2Vid Cameo：AI 讓人像照跟著你擠眉弄眼！
這個區塊包含未預期或無效的內容。解析轉換成 HTML「Vid2Vid Cameo」是新的深度學習模型，利用生成對抗網路 (GAN) ，只需一張使用者的臉部照片以及一段視訊串流內容，就能利用這兩種素材建立出可動的、用於視訊的擬真對話頭像。這意味著我們只需在會議前上傳一張體面、正式的個人照片，平台系統就會自動抓取照片中的幾個關鍵點，開會時AI 模型再抓取個人在鏡頭前的即時動作，再將這些動作直接套用在先前上傳的靜態圖片上。
如此一來，鏡頭前的你不管是多麼蓬頭垢面，在視訊中都可以如同照片中的你一樣衣冠楚楚的參與會議！也藉著Vid2Vid Cameo 的 AI 把你的臉部動作與即時動作轉移到照片上，你就像是如同照片中體面地參加會議！
Vid2Vid Cameo 的功能如下：
真人視角調整方向
透過 Vid2Vid Cameo，使用者能自由調整所生成的人臉視角
透過 Vid2Vid Cameo，使用者能自由調整所生成的人臉視角，人臉的角度可選側面（上圖左）或正面（上圖右）、或是透過調整攝影機的的角度高低來顯示對話時的頭像視角。
虛擬角色逼真動態
透過 Vid2Vid Cameo，使用者能將將自己與卡通人物即時合成
在視訊通話越來越普遍的當下，親和力高的卡通人物有助於緩解網絡社交的壓力。Vid2Vid Cameo 亦可將卡通形象與真人進行即時合成。
AI演算法節省頻寬，保留絕佳視訊通話品質
透過 Vid2Vid Cameo 的新 AI 演算法 ，視訊會議只需傳送用戶的臉部關鍵點的動作資料，接著在所有與會者的視訊中即時模擬出立體頭像即可，而不需像以往的視訊會議中，每個與會者之間都要互相發送龐大的即時視訊串流內容。
這樣的人工智慧技術可將視訓通話的流量需求減少十倍，讓通話品質更流暢、同時也不影響視訊畫質。
本文為該系列的上篇，下篇請點此連結
留言列表
