近日,由首都在線舉辦的“澎湃算力 渲出視界”泛渲染業務新品發布會在蘇州圓滿舉行。作為3D可視化領域的知名品牌,老子云CTO夏宇翔受邀出席,并做了《3D數字人全自動化解決方案和實踐》的主題分享。
以下內容根據夏宇翔分享內容整理。
老子云作為眸瑞科技的技術平臺,致力于全球的3D可視化技術,專注于讓一切3D模型在全網多端輕量化處理與展示,為行業數字化轉型升級與數字孿生應用提供成套的3D可視化應用方案。眸瑞科技在提供SaaS服務能力的同時,也提供PaaS的能力,它具有私有化部署或直接云上調用的方式,能夠全自動的處理模型。迄今為止,注冊用戶達到100,000,并深耕于100多個細分行業,是目前市場上應用廣泛普及的3D可視化綜合服務平臺。
現今互聯網行業里最熱的話題,元宇宙,元宇宙大家通常提到很多,3D數字人作為元宇宙非常核心的部分之一,具有以下幾個特點:
1. 擁有人的外觀,特定的容貌、性別、性格等特征;
2. 擁有人的行為、語言、表情和肢體表達能力;
3. 擁有人的思想、具有識別外界環境,并且能與自然人進行交流的能力
實現以上的展望,通常也需要五大模塊支持,一個是人物形象,現在時下以搜狗為主有基于2D、3D的方式;二是語音生成;三是動畫生成,四是交互(AI驅動、真人驅動),通過面部和捕捉系統做交互驅動;五是音視頻合成的方向。老子云結合自己的技術能力,梳理出要完成數字人項目的三大類:
第一階段:人體采集,圍繞自動化,通過矩陣化采集方案,快速掃描實體任務模型,輸出高精準度模型,通過拓撲到低模,基于這些資源進行二次編輯。
第二階段:基于頭發的二次編輯以及對模型進行深化,通過AMRI展示框架,集成材質體系、燈光體系后進行渲染、解析程序的動作解析,包括TTS語義的信息,從而實現資源到展示的開發。
第三階段:虛擬演播廳,主要是在幾個方向:一是定義數字人展示框架標準;二是支持信創適配;三是輸出SDK,提供多行業接口調用;四是支持場景二次編輯,因為我們定義的是虛擬演播廳;同時在底層渲染器同步多種材質體系,包括Unity、UEE等這些,可以基于跨平臺以后編輯完一個模型,可以選擇基本的Stand(音)材質都是可以解析的;也支持多種面捕系統動作腳本解析。
傳統的數字人系統是DCC建模、結構光掃描儀、和激光掃描儀、無法實現自動化,無法擺脫人工,需要大量的二次修復,老子云推出的框架擁有較大的優勢,是一個全自動化建模,自動化修復的系統,它擁有復合式照片采集系統,在搭載錄像機、攝像機和攝像頭的同時在板載系統搭載,實現控制功能。
同時,老子云數字人平臺擁有智能化捏臉擬合編輯系統,通過定義了360個全身動作骨骼點的動作綁定,通過API的方式,已經TDS語義訓練出動作腳本,就可以使整個模型做任何一個動作。
老子云在首都在線云平臺SaaS服務搭載的硬件框架上部署的這一套合成方案,集合華為數字人的3D擬合器以及長城信息的虛擬演播廳,用戶可以通過自由選擇拍攝框架的硬件搭載方案進行拍攝后,直接上傳云進行自動合成。
目前,老子云的3D數字人技術解決方案已經成功應用于金融、泛娛樂等領域。未來,老子云也將與首都在線共同聯合打造更多的部署環境及方案,為教育、文旅、零售等的發展提供更有力的技術支持。
版權聲明