有了AI這個神隊友,再也不用擔心線上開會形象太邋遢了!(下)
本文為該系列的下篇，上篇（Vid2Vid Cameo 的完美功能）請點此連結
Vid2Vid Cameo：完美結合 2D 照片與 3D 動態
Vid2Vid Cameo 是 NVIDIA Maxine AI 視訊串流平台背後、以生成對抗網絡（Generative Adversarial Network，GAN）為基礎的人工智慧深度學習模型之一。
根據相關論文的解釋，該模型在 NVIDIA DGX 系統上使用 18 萬高品質的對話頭像資料集來進行訓練，學習辨識20 個關鍵點（用來建模「臉部表情」與「頭部運動」所必備的關鍵點），以便在沒有人類加以標註的情況下，可以針對臉部動作建立模型。關鍵點中，包含針對眼睛、嘴巴、鼻子等特徵位置進行編碼。
下圖展示了 20 個關鍵點當中，前 5 個關鍵點的計算流程，給來源圖像及預測模型來規範關鍵點。
NVIDIA 的研究人員表示：從用戶的參考圖片中抓取這些關鍵點，用戶的參考圖片可以事先發給其他的視訊與會者，或是從過往的視訊會議中擷取並重複使用。如此一來，視訊會議平台只需傳送用戶臉部特徵的動作數據，而且不需要在每一個與會者間傳送龐大的即時視訊資料。對接收者來說，GAN 模型使用這些資料，在接收端合成一個模擬參考圖片外觀的視訊畫面。
整體來說，NVIDIA 去年推出的「會議神器」Maxine 平台就使用 AI 驅動來實現高解析度、背景噪音消除、眼神校正等功能，讓你不需升級電腦效能也能輕鬆擁有高品質的視訊會議。近期新推出的 Maxine 平台的深度學習模型 Vid2Vid Cameo 更是能夠讓你體面開會，AI 技術完美掩蓋鏡頭前的蓬頭亂髮！Vid2Vid Cameo 目前已可在 NVIDIA AI Playground 上測試使用，其開發套件也將在不久後推出，讓開發人員可以運用優化後的人工智慧訓練模型，為視訊、直播串流強化效果。
留言列表
