AMD嗰ROCm嘅HIP組件係會做CUDA轉ROCm A卡都行到大路AI野

Okt04175

FB群組嘅內容搬過嚟：
「第一個Post：
幫部份冇追貼AMD發展嘅人更新下認知，而家ROCm係對應CUDA，最新版本已經去到6.1.2版，之前5.6/5.7版出埋Windows版已經係上年年尾嘅事。

ROCm嗰HIP Runtime係可以對應返CUDA Runtime，喺用CUDA同埋幾個主流AI Framework嘅情況下唔使專登改Code就可以直接Call嗰AMD GPU做嘢。
次旗艦/旗艦級RDNA2架構同埋全部RDNA3架構嘅GPU喺Windows上面除咗支援ROCm嘅Runtime亦支援埋SDK。

Detail部份有興趣就自己慢慢睇ROCm嘅說明啦。
https://rocm.docs.amd.com/projects/install-on-windows/en/latest
.」

「第二個Post：
AMD 發佈 #ROCm 6.2，有新組件同改善PyTorch以及TensorFlow嘅支援
https://www.phoronix.com/news/AMD-ROCm-6.2-Released
.
//除了新的軟體元件之外，ROCm 6.2 的數學函式庫現在預設使用 Clang 編譯器而不是 HIPCC。還提供了更好的 PyTorch 支持，啟用了 v2.2/v2.3，並且 TensorFlow 整合現在適用於 TensorFlow 2.16。 ROCm PyTorch 支援現在還包括對 Autocast 作為自動混合精確度模式的支援。也為 OpenCLX 引入了最佳化的本機框架支援。

ROCm 6.2 進一步為「bitsandbytes」模型量化提供記憶體節省，改進 vLLM 支援並增強 AMD Instinct 加速器的效能調整。在 vLLM 方面，大型語言模型現在有 FP16 和 BF16 精度，並且 Llama 也支援 FP8。還有關於多 GPU 執行的額外工作以及 vLLM 支援的其他改進。//」

s84292

如果只係要推理唔洗訓練, amd可以考慮
有訓練lora 或微調模型, 就唔洗諗選amd家用卡
一來amd cut 左算力,二來好多現成野行唔到,
而你好難搵到討論或者現成的解決方案

如果打算只係平時windows 內行下,都唔建議amd, windows支持好差
唔似nv咁有咁多gui 工具已經有支持

行到  唔會出錯 快唔快 係三件事

加上下一代amd講明唔會出高階家用卡, vram 20gb 應該係盡頭
除非真係打算買amd 專業卡,唔係真係冇理由依家入坑amd

usei

我相信大部分軟件會更新支援 A 卡 / NPU

特別是 NPU 普及後

s84292

我相信大部分軟件會更新支援 A 卡 / NPU

特別是 NPU 普及後
usei 發表於 2024-9-15 16:34

應該都要好耐

畢竟桌面機RYZEN 9000系都冇NPU，恐怕都要等到2026 zen6先有
apu又只有最頂兩粒有，入門中階都冇

raylee

NPU seems only for resources constrained...even after years of 2026

usei

回覆 4# s84292

如果 Lunar lake 普及度高
更新支援 NPU 機會就會增加

做得 intel NPU 支援唔差在再做 AMD

cngaiyin

確實係有呢回事既ROCm可以行到CUDA
不過都係果句啦
用緊AMD就當係額外既驚喜囉
如果真係要買就買翻Nvda
唔好成日有咩"戰未來"既想法
簡卡係簡當下佢可以做到D咩而唔係期待佢未來可以做D咩

(利申:用緊7800XT)

chunkymunkey

應該都要好耐

畢竟桌面機RYZEN 9000系都冇NPU，恐怕都要等到2026 zen6先有
apu又只有最頂兩粒 ...
s84292 發表於 2024-9-16 10:08

AI 唔同10幾年前integrated graphic硬解video, 唔係就咁到達主流解像度+格數就可以基本上收工,真係用起上嚟所要嘅運算能力基本上無上限咁濟
個人覺得,NPU幫到手嘅地方其實好有限下,去返desktop基本上無用咁滯,因為GPU快幾十條街
就算laptop 都好,unless 你真係覺得privcy 好緊要,用internet 叫對面幫手搞應該仍然係最慳皮嘅方案

010

乜AMD仲有得玩?
之前唔係N出招要封殺死A唔可以用乜乜code/編譯器去行CUDA咩?

Okt04175

乜AMD仲有得玩?
之前唔係N出招要封殺死A唔可以用乜乜code/編譯器去行CUDA咩? ...
010 發表於 2024-9-17 20:42

被封殺嘅係ZLUDA，因為開發過程用咗CUDA SDK。但係ROCm嗰HIP開發過程冇用到CUDA SDK ，所以NVIDIA咬唔到AMD嘅ROCm。