加速推動中國 AI 軟件設計及使用實作發展
NVIDIA 24 日於中國深圳舉行了「RTX AI」媒體分享會,展示了大量與中國 AI 發展的相關內容,包括 NVIDIA 與中國「火星時代教育」聯合出版了《NVIDIA TensorRT Stable Diffusion 創作加速指南》與使用案例,同時亦與中國 AI 社群吐司/Tensor.Art 聯合發佈《個人使用者玩轉 Stable Diffusion 的 GPU 配置推薦》報告,讓用家更易理解 NVIDIA RTX 40 系列顯示卡在 Stable Diffusion 推理、LoRA 模型訓練的表現及 Stable Diffusion 性能,現場亦展示了大量 AI 技術示範,包括 NVIDIA ACE、ChatRTX、Stable Diffusion、DLSS 3.5、NVIDIA app 及多個透過 AI 運算創作的 AICG 實作。
據 NVIDIA 指出,自 2018 年推出首張 GeForce RTX 消費級 GPU,加速改變了 AI 運算市場的發展,RTX GPU 具備了 Tensor Core 運算單元能夠顯著加速 AI 運算性能,衡量 AI 性能的一種方法是以teraops 即「萬億次運算/秒」(TOPS),TOPS 可作為單一指標讓使用者瞭解 PC 的 AI 性能,GeForce RTX 40 系列 GPU 可提供的算力,涵蓋從 200 AI TOPS 到 1,300 AI TOPS,與目前標榜具備巿 NPU 的輕量級 AI PC 算力僅為 10 至 45 TOPS,有著明顯的性能優勢。
此外,NVIDIA 為開發者提供了 TensorRT 軟體開發套件,將 Tensor Core 與 TensorRT 結合後,能加速非常熱門的生成式 AI 模型,如 Stable Diffusion 1.5和 SDXL 等,RTX AI PC 目前已成為擁有超過 1 億使用者及 500 款 AI 應用的生態。
《NVIDIA TensorRT Stable Diffusion 創作加速指南》
NVIDIA 在發布會上宣布與中國「火星時代教育」聯合出版了《NVIDIA TensorRT Stable Diffusion創作加速指南》與使用案例,為 AI 設計愛好者和創作者基 於RTX 40 系 GPU 提升 Stable Diffusion 創作效率的實操性教程,教程內容包括裝與設置,加速引擎構建,加速效果對比以及NVIDIA TensorRT在實際商業創作場景的應用(海報設計、電商設計、室內效果圖設計、插畫設計)。
▲ 吳大吉 - 火星時代教育 AI 設計教研總監
消費者在創作過程中藉助詳細教程和加速工具實現商業創意落地,提升創作效率。指南由火星時代教育AI設計教研團隊主要研發,NVIDIA 技術團隊提供技術支援,未來將根據應用軟體版本優化並反覆運算升級。
火星時代教育創辦人王琦表示:「火星時代是 NVIDIA Studio 中國區生態合作夥伴,雙方共同探索 AI 軟體在設計流程中的輔助作用,並在火星影視學院部分專業引入 NVIDIA Studio AI 應用做教學試點,在2023 年共同開發 AI 設計方向創作加速的公開課,此次聯合發佈《NVIDIA TensorRT 加速 Stable Diffusion 創作加速指南》是火星時代和 NVIDIA 在『科技+教育』的設計領域的積極實踐,協助學習者熟習 AI 軟件的設計技巧。
《個人使用者玩轉 Stable Diffusion 的 GPU 配置推薦》
為加速中國 AIGC 生產力的普及,NVIDIA 與中國 AI 模型社群「吐司/Tensor.Art」聯合發佈《個人使用者玩轉 Stable Diffusion 的 GPU 配置推薦》報告,採用 SD 1.5 、SDXL 1.0 及UL Procyon AI 基準測試完整測試整個 RTX 40 系列多款型號的顯示卡、筆記型電腦 GPU 在 Stable Diffusion 的推理性能表現,其中在 UL Benchmark SD1.5 TRT vs. OpenVINO 的對比測試中 RTX 4090 筆記型電腦 GPU 相對於 iGPU(Arc Graphics)有超過 27 倍的性能提升。
▲ AI 模型平臺吐司/Tensor.Art 創始人沈振宇
使用吐司基準測試完整 LoRA 模型在 Stable Diffusio n的訓練性能,還對不同型號 RTX 40 系顯卡和筆記型電腦 GPU 在 Stable Diffusion 任務中的性能進行全面評估,旨在為 AIGC 愛好者在後期 LoRA 模型訓練和設備選擇時給予參考。
AI 模型平臺吐司/Tensor.Art 創始人沈振宇表示:「目前吐司和 Tensor.Art 上已經有超過16w+的模型數量。此次與英偉達聯合發佈《個人使用者玩轉 Stable Diffusion 的 GPU 配置推薦》旨在讓關注 AIGC領域的入門使用者以及不同垂類場景的使用者在選擇 RTX AI PC 設備進行模型訓練和應用時提供客觀、公正的配置參考,提升使用者使用 AIGC 的生產效率。」
PC 遊戲亦進入了 AI 新時代
「RTX AI」媒體分享會上同時亦展出了大量與遊戲相關的 AI 應用,包括了 NVIDIA DLSS、NVIDIA RTX Remix、NVIDIA Freestyle、NVIDIA Broadcast 應用及 NVIDIA ACE 技術等 Demo 示範。
▲ NVIDIA DLSS 3.5 Demo 展示了啟用後對畫質的提升
NVIDIA DLSS 3.5 利用 AI 提高幀率並改善圖像品質,通過AI增強光線追蹤表現,備受期待的《黑神話:悟空》(Black Myth: Wukong)和《永劫無間》(NARAKA: BLADEPOINT)即將支援DLSS 3.5光線重建(Ray Reconstruction)和全景光線追蹤技術,實現畫質和性能的大幅提升,為 GeForce 玩家帶來更極致的遊戲體驗。
▲ NVIDIA RTX Remix Demo 示範
在現場演示基於 NVIDIA RTX Remix 製作的《Portal》RTX版,可讓 Modder 輕鬆截取遊戲素材,使用生成式 AI 工具自動增強材質,以及藉助全景光線追蹤和 DLSS 快速創建令人驚豔的 RTX 重製版遊戲。
NVIDIA Freestyle 將通過全新的 NVIDIA app Beta版提供,可讓使用者通過實時後處理濾鏡個人化定製超過 1200 款遊戲的視覺美學效果,並具有 RTX HDR、RTX Dynamic Vibrance(RTX 數位自然飽和度)等功能。
▲ NVIDIA ACE 技術示範
當日亦展示了 NVIDIA 與 Inword AI 公司合作的「Covert Protocol」全新技術 Demo,採用了 NVIDIA ACE 技術為遊戲帶來栩栩如生的 NPC 角色,破了遊戲中角色互動的界限,該 Demo 中集成了 NVIDIA Riva 和 NVIDIA Audio2Face 技術,前者可實現精確的語音轉換文字,後者可提供逼真的面部表情。
玩家可以透過語音與 NPC 角色交談,Inword AI 引擎可以透過 AI 大型模型為 NPC 角色提供了迫真的人性化,將認知、感知和行為系統集成在一起,令玩家能體驗身臨其境的敘事效果。
ChatRTX Demo 演示
此外,「RTX AI」媒體分享會示範了 ChatRTX 本地生成式 AI 聊天機器人 Demo,用檢索增強生成、NVIDIA TensorRT-LLM 軟體和 NVIDIA RTX 加速,將本地生成式AI功能引入到支援 RTX 的 Windows系統中。使用者可快速、輕鬆地將本地檔作為數據集連接到開放式大語言模型(例如:智譜 AI 的 ChatGLM3),快速查詢與上下文相關的答案。
創作 AIGC 的應用示範
「RTX AI」媒體分享會當日請來了來自伍凡 (剪映 AI 產品負責人)、九月 (SD Anything 模型作者) 及海辛 (Morph Studio 產品經理、上海國際電影節創投評委)等 AI 藝術家,分享基於 RTX 40 系列 GPU 進行 AI 創作的經驗,會上亦展了個 AI 創作應用 Demo。
SD 專業工作流 Demo:使用 RTX 4090 D GPU 在複雜的控制工作流和出圖品質中表現出真正的生產力,通過人像生成控制模型 InstantID,讓使用者足不出戶就能快速通過搭載 RTX 4090 D 的 RTX AI PC 上由普通攝像頭的自拍照生成高品質影棚基本的肖像照。而目前,RTX GPU 能為 Stable Diffusion 用戶帶來生產力級別的體驗。
實時建築渲染 Demo:在建築設計領域,即致AI基於擴散模型和蒸餾技術,通過 RTX GPU 的加速,實現了秒級的 AI 實時繪畫。結合即致 AI 自研的全網下載量超 50W 國內建築行業大模型,説明建築設計師享受 AI 即時渲染劃時代的快捷、便利的同時,依然可以保證極高的出圖效果。
聲音克隆 Demo:基於 RTX GPU 加速的聲音克隆可僅用5秒錄音來克隆聲音,實現無需訓練的個人化聲音生成。基於開源的 GPT-SoVITS 專案,聲音克隆快速使用 5 秒聲音樣本,根據其發音特徵由文本生成個人化語音片段,實現高質量的聲音克隆在 RTX AI 的加速下,僅僅五分鐘就能完成;而基於更多樣本(1分鐘)的微調訓練實現更高品質接近 1:1 複刻的聲音克隆。