作者: Okt04175 時間: 2024-9-11 14:38 標題: AMD嗰ROCm嘅HIP組件係會做CUDA轉ROCm A卡都行到大路AI野
FB群組嘅內容搬過嚟：
「第一個Post：
幫部份冇追貼AMD發展嘅人更新下認知，而家ROCm係對應CUDA，最新版本已經去到6.1.2版，之前5.6/5.7版出埋Windows版已經係上年年尾嘅事。
ROCm嗰HIP Runtime係可以對應返CUDA Runtime，喺用CUDA同埋幾個主流AI Framework嘅情況下唔使專登改Code就可以直接Call嗰AMD GPU做嘢。
次旗艦/旗艦級RDNA2架構同埋全部RDNA3架構嘅GPU喺Windows上面除咗支援ROCm嘅Runtime亦支援埋SDK。
Detail部份有興趣就自己慢慢睇ROCm嘅說明啦。
https://rocm.docs.amd.com/projects/install-on-windows/en/latest
.」
「第二個Post：
AMD 發佈 #ROCm 6.2，有新組件同改善PyTorch以及TensorFlow嘅支援
https://www.phoronix.com/news/AMD-ROCm-6.2-Released
.
//除了新的軟體元件之外，ROCm 6.2 的數學函式庫現在預設使用 Clang 編譯器而不是 HIPCC。還提供了更好的 PyTorch 支持，啟用了 v2.2/v2.3，並且 TensorFlow 整合現在適用於 TensorFlow 2.16。 ROCm PyTorch 支援現在還包括對 Autocast 作為自動混合精確度模式的支援。也為 OpenCLX 引入了最佳化的本機框架支援。
ROCm 6.2 進一步為「bitsandbytes」模型量化提供記憶體節省，改進 vLLM 支援並增強 AMD Instinct 加速器的效能調整。在 vLLM 方面，大型語言模型現在有 FP16 和 BF16 精度，並且 Llama 也支援 FP8。還有關於多 GPU 執行的額外工作以及 vLLM 支援的其他改進。//」
作者: s84292 時間: 2024-9-15 15:20
本帖最後由 s84292 於 2024-9-15 07:26 編輯
如果只係要推理唔洗訓練, amd可以考慮
有訓練lora 或微調模型, 就唔洗諗選amd家用卡
一來amd cut 左算力,二來好多現成野行唔到,
而你好難搵到討論或者現成的解決方案
如果打算只係平時windows 內行下,都唔建議amd, windows支持好差
唔似nv咁有咁多gui 工具已經有支持
行到 唔會出錯 快唔快 係三件事
加上下一代amd講明唔會出高階家用卡, vram 20gb 應該係盡頭
除非真係打算買amd 專業卡,唔係真係冇理由依家入坑amd
作者: usei 時間: 2024-9-16 00:34
我相信大部分軟件會更新支援 A 卡 / NPU
特別是 NPU 普及後
作者: s84292 時間: 2024-9-16 10:08
我相信大部分軟件會更新支援 A 卡 / NPU
特別是 NPU 普及後
usei 發表於 2024-9-15 16:34
應該都要好耐
畢竟桌面機RYZEN 9000系都冇NPU，恐怕都要等到2026 zen6先有
apu又只有最頂兩粒有，入門中階都冇
作者: raylee 時間: 2024-9-16 11:35
NPU seems only for resources constrained...even after years of 2026
作者: usei 時間: 2024-9-16 12:30
回覆 4# s84292
如果 Lunar lake 普及度高
更新支援 NPU 機會就會增加
做得 intel NPU 支援唔差在再做 AMD
作者: cngaiyin 時間: 2024-9-16 18:13
確實係有呢回事既ROCm可以行到CUDA
不過都係果句啦
用緊AMD就當係額外既驚喜囉
如果真係要買就買翻Nvda
唔好成日有咩"戰未來"既想法
簡卡係簡當下佢可以做到D咩而唔係期待佢未來可以做D咩
(利申:用緊7800XT)
作者: chunkymunkey 時間: 2024-9-16 23:24
應該都要好耐
畢竟桌面機RYZEN 9000系都冇NPU，恐怕都要等到2026 zen6先有
apu又只有最頂兩粒 ...
s84292 發表於 2024-9-16 10:08
AI 唔同10幾年前integrated graphic硬解video, 唔係就咁到達主流解像度+格數就可以基本上收工,真係用起上嚟所要嘅運算能力基本上無上限咁濟
個人覺得,NPU幫到手嘅地方其實好有限下,去返desktop基本上無用咁滯,因為GPU快幾十條街
就算laptop 都好,unless 你真係覺得privcy 好緊要,用internet 叫對面幫手搞應該仍然係最慳皮嘅方案
作者: 010 時間: 2024-9-17 20:42
乜AMD仲有得玩?
之前唔係N出招要封殺死A唔可以用乜乜code/編譯器去行CUDA咩?
作者: Okt04175 時間: 2024-9-18 11:12
乜AMD仲有得玩?
之前唔係N出招要封殺死A唔可以用乜乜code/編譯器去行CUDA咩? ...
010 發表於 2024-9-17 20:42
被封殺嘅係ZLUDA，因為開發過程用咗CUDA SDK。但係ROCm嗰HIP開發過程冇用到CUDA SDK ，所以NVIDIA咬唔到AMD嘅ROCm。
作者: Okt04175 時間: 2024-9-24 20:13
本帖最後由 Okt04175 於 2024-9-24 20:16 編輯
回覆 2# s84292
我用Linux系統，所以首選係A卡行ROCm，相容到CUDA已經收貨，反正我唔會練丹(訓練AI模型)只係想用AI程式，可以慳返唔使畀老黃劏荷包。
而家啲AI程式唔係用PyTorch就係用TensorFlow，兩大AI程式Framework都已經支援晒ROCm。
作者: s84292 時間: 2024-9-26 09:19
回覆 s84292
我用Linux系統，所以首選係A卡行ROCm，相容到CUDA已經收貨，反正我唔會練丹(訓練AI模型)只係 ...
Okt04175 發表於 2024-9-24 12:13
我一半以上時間係訓練，訓練完再用
基本上都係硬食
anyway如果只係使用現有模型，我多數cloud平台算數，唔洗搞咁多野
作者: leaf_chan 時間: 2024-9-29 19:07
本帖最後由 leaf_chan 於 2024-9-29 19:09 編輯
可否請有AMD6000或7000系顯示卡的師兄幫忙測試下，AMD顯示卡，能否推動Whisper Desktop和Faster Whisper的語音轉文字AI軟件正常運作？
Whisper Desktop (只可以用larger v2模型)
Whisper Desktop
Faster Whisper (可以用larger v3模型)
Faster Whisper
此軟件對聽障人士幫助極大，曾有同路人向小弟查詢AMD顯示卡能否run上述的軟件，但小弟沒有AMD顯示卡無法回答。
希望師兄幫忙，功德無量
via HKEPC IR 5.1.14 - Android(5.1.2F)
作者: ming94816 時間: 2024-11-1 09:40
回復 13 #leaf_chan
用過780M ok
via HKEPC Reader for Android
作者: leaf_chan 時間: 2024-11-4 09:07
本帖最後由 leaf_chan 於 2024-11-4 09:10 編輯
回復 leaf_chan
用過780M ok
via HKEPC Reader for Android
ming94816 發表於 2024-11-1 09:40
謝謝你的幫忙，麻煩請回答以下問題，讓我的朋友知道全面的資料：
1）用緊whisper desktop定Faster whisper?抑或二者都有試過？
2）AMD 780M，是否指AMD Radeon 780M內顯？
3）請提供一下你的電腦specification？
4）本身無字幕的影片，是甚麼語言？
5）影片時間有多長？
6）利用軟件生成srt字幕檔，要多長時間？
7）生成srt字幕前，有甚麼特別設定？
好多問題，煩請師兄幫忙解答，謝謝
PS: 因Budget所限，我朋友偏向性價比高的AMD顯示卡，但求能運行字幕軟件就OK，So需要全面的資料。
via HKEPC IR 5.1.14 - Android(5.1.2F)
作者: mlyu 時間: 2024-11-4 11:55
Faster Wisper GUI 入面淨係俾 CPU/GPU/AUTO 你揀
唔似用到粒 780m 喎
作者: aswdv 時間: 2024-11-5 22:30
本帖最後由 aswdv 於 2024-11-6 00:12 編輯
Tomshardware 有做過Whisper GPU benchmark可以參考
https://www.tomshardware.com/new ... on-gpus-benchmarked
作者: leaf_chan 時間: 2024-11-7 21:11
本帖最後由 leaf_chan 於 2024-11-7 21:14 編輯
Tomshardware 有做過Whisper GPU benchmark可以參考
aswdv 發表於 2024-11-5 22:30
謝謝師兄的資訊
原來AMD和Intel ARC顯示卡，能run到whisper desktop，但某些軟件eg. whisper OpenAI軟件，就只有Nvidia顯示卡才能run。
看來我的friend無得揀了，只能用whisper desktop。
via HKEPC IR 5.1.14 - Android(5.1.2F)