波新聞─陶泰山/台北
全球智慧型手機與虛擬實境平台和生態系統創新設計領導者HTC(宏達國際電子股份有限公司,簡稱「HTC」),旗下沉浸式XR開放平台VIVERSE,今(31)日於美國丹佛舉行的全球頂尖電腦繪圖大會-SIGGRAPH 2024上宣布與NVIDIA合作展示 將NVIDIA ACE技術整合至VIVERSE Avatar中,增強用戶在XR延展實境中的互動真實感,推動全新XR虛擬化身相關應用。
VIVERSE Avatar是一個開放式的虛擬化身創建系統,不僅提供多種全身虛擬形象風格,還支援VRM標準,允許用戶導入VRM 3D模型虛擬形象,在VIVERSE中創建自己的身份。
NVIDIA ACE(Avatar Cloud Engine)則是一套可以將虛擬化身變得栩栩如生,賦予數位人類充滿生命力的技術。其中一項技術NVIDIA Audio2Face NIM 微服務,可根據語音語調搭配出豐富的臉部表情。在本次SIGGRAPH 2024大會的 NVIDIA新創企業創新展區( Inception Startups Innovation Zone),參觀者透過VIVE XR Elite體驗ACE NIM與VIVERSE Avatar即時整合展示。
Audio2Face NIM微服務支援多種語言,可應用於從卡通到寫實等各種虛擬形象風格。這種多樣靈活性與VIVERSE的開放平台方法相契合,允許用戶使用開放的VRM標準導入虛擬化身,或者從頭創建自己的卡通虛擬人物。透過Audio2Face NIM集成至VIVERSE Avatar中,團隊可以更自然地協作互動,減少遠程工作中的溝通問題。根據《富比士》雜誌報導,超過50%的遠距員工都面臨遠距溝通及孤立問題。NVIDIA ACE的整合展示彰顯了VIVERSE對不斷提升協作和生產力功能的承諾。
VIVERSE總經理林俊吳表示:「整合NVIDIA ACE NIM微服務為我們的虛擬化身技術帶來了更大的細膩度,我們雙方聯手克服了在XR協作中的一個重大挑戰。我們很高興參加今年的創新區展示HTC和NVIDIA技術結合所帶來的關鍵影響力。」
此外,HTC在大會上展示另一項突破性技術-獨家3D渲染技術VIVERSE Polygon Streaming。這項技術結合多項尖端技術,為用戶提供低延遲、高保真3D渲染串流體驗,即使在大型3D場景中,也能享有精緻流暢的虛擬互動體驗。
VIVERSE Polygon Streaming服務技術可高效渲染及快速拆解高品質3D模型,在不損失細節的情況下自動優化圖像,協助在電腦、平板、手機和XR等跨裝置上進行即時3D渲染。日本知名虛擬活動平台Cluster,日前宣布平台下載次數突破兩百萬,累積活動參與人數更超過3500萬人次。為提供使用者更流暢細緻的體驗,Cluster亦整合VIVERSE Polygon Streaming服務與技術。這一合作不僅提升用戶的沉浸體驗,且無需顧慮用戶端設備性能,每位用戶皆能輕鬆獲得次世代沉浸式圖形物件和交互體驗。
Polygon Streaming能夠在不同裝置上無縫渲染高解析度的3D模型,降低了對硬體的依賴,即使是手機使用者也能享受絕佳體驗。經過實際測試,Polygon Streaming能夠達到*:
-
物件載入時間最多減少 8 倍
-
平均每秒幀數(FPS)最多增加 2 倍,讓畫面更加生動逼真
-
讓專案的檔案大小最多減少 81%
NVIDIA數位人類產品管理總監Seth Schneider表示:「在XR中釋放更多動態互動的潛力一直是我們的關鍵追求,NVIDIA Audio2Face NIM與VIVERSE Avatar的整合實現了動態口型同步,增強了XR世界中虛擬化身的互動溝通體驗。」
林俊吳進一步表示:「開發3D模型物件絕非難事,但分享這些高細節圖像卻仍面臨挑戰。Polygon Streaming 為未來虛擬體驗開創了新的可能性,可以將任何設備轉變為互動式產品展示、協作和沉浸式虛擬環境的載體。」
透過創造更具吸引力的虛擬環境,提供先進的XR培訓,促進更好的協作等方式,VIVERSE沉浸式XR開放平台為組織提供了巨大的價值。例如,遠端團隊可以在虛擬會議中互動,增強溝通和生產力。此外,XR訓練可以模擬真實場景,提供員工安全有效的技能培養方式。
HTC 之前曾與NVIDIA合作,將 NVIDIA CloudXR 整合至VIVE Focus 3頭戴裝置中。此整合允許XR應用程式的遠端渲染,使用者可以在沉浸環境中設計、修改和協作處理大型資產。
HTC 將持續為全球用戶提供最有效且最前衛的沉浸式解決方案。欲了解更多訊息,請參閱VIVERSE網站,並試用NVIDIA Audio2Face預覽。
VIVERSE Polygon Streaming 的實際展示範例可透過此查看:Model Preview (viverse.com)
附註:*性能改進可能因設備、內容和網絡限制而異。