標題: [電腦組合] AI computer config/acceleration card [打印本頁]

---

作者: raywan    時間: 2025-1-7 01:03     標題: AI computer config/acceleration card

本帖最後由 raywan 於 2025-1-6 17:11 編輯

想請問下有無人玩/自己屋企host AI server比自己用?
近排因為工作需要,經常要用AI model問/答問題,於是用家中電腦/laptop行一的比較簡單AI model,大部份小型AI model回答速度都好快/好滿意, AI model大約是3~8b token,當轉用比較大型AI model 30b~80b以上AI model,回答速度等同一個90歲老人家一樣,答一篇文章大約要5~10分鐘,可能我部電腦config比較差,5600x, 80GB ram,RTX3050 8GB vram...
想請問下大家除左增加CUDA數量/換RTX 4090以上display card之外,有咩方法可以直接加速AI 生成速度?
打算換9950x 192GB ram,display card,display card考慮轉用radeon display,問過AI model話AMD ROCm 等同CUDA加速效果....
有無其他師兄玩過display card以外AI model accelerator e.g Halio,TPU......
我主要想試下不同AI model相同問題,會有不同方法/技巧回答方式,所以我唔會比錢POE之類買AI service達到相同目的,主要想run下不同ai model學習回答技巧/增長知識
我試過相同AI model響不同cpu上跑,32核的確比16核要快,有沒有cuda display card加速對於小ai model的確有大幫助,但對於超大型ai model >100b token model cuda不算是線性加速,可能個model本身對cuda無做優化,我感覺唔到cuda對超大型ai model有強大加速,y還有,有些ai model 永遠都用唔盡cpu和CUDA 做運算,就算個model 一直運行緊,cpu同cuda都只係load緊一半power做運算,浪費時間同電力去完成一個無優化AI運算,所以先考慮另類ai accelerator

---

作者: 性情中人@yahoo    時間: 2025-1-7 09:58

你似係要做 research 咁去玩個 AI，咁會唔會諗下用返啲真係用黎做 AI 既野？
https://www.nvidia.com/en-in/ai-data-science/workstations/

---

作者: vinsai    時間: 2025-1-7 10:06

本帖最後由 vinsai 於 2025-1-7 10:07 編輯

加cpu ram冇用
要買多vram GPU
暫時呢張平
NVIDIA L20 GPU PCIe 48GB  ~$35K

---

作者: ppkkkp    時間: 2025-1-8 20:21



呢張無風扇，RTX a6000好啲

---

作者: ppkkkp    時間: 2025-1-8 21:31


你個問題唔係cuda唔夠，係vram唔夠搞到GPU要用cpu既ram所以慢左好多，而70b model最少要35GB vram, 所以nvidia單卡應該除左a6000就無其他選擇，之後就係2x4090/3090, 你可以參考下面既網
https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference
https://blog.hjc.im/apple-uma-for-llms-problems.html

---

作者: vinsai    時間: 2025-1-9 08:57



Release Date
A6000 Oct 2020
L20 Nov 2023

CUDA cores       
A6000  10752       
L20  11776
   

A6000 點樣好D

---

作者: ppkkkp    時間: 2025-1-9 23:47



無散熱風扇，要自己DIY散熱

---

作者: Q-Q    時間: 2025-1-20 11:11     標題: 帳號異常, 請聯絡管理員或版主查詢.

提示: 作者被禁止或刪除 內容自動屏蔽

---

作者: s84292    時間: 2025-1-20 11:16

本帖最後由 s84292 於 2025-1-20 05:38 編輯


認真，去買部MAC MINI
M4PRO加到64GB RAM ，乜都唔洗升級
或者等NV 部新機仔

但唔打算訓練，純行大模型，都係比月費好過
試唔同模型一樣有CLOUD 服務可以買

另外我諗唔到買AMD 卡做AI的理由
大模型要快NV，要平 APPLE
(APPLE加RAM雖然貴，但佢可以當VRAM用，
NV超過24GB VRAM,唔係1500蚊16GB⋯⋯係每16GB 15000，mini pro 64GB 教育價先14000）

AMD卡除左超算真係冇乜人會AMD消費卡玩AI
（7000系的AI加速器有個花名叫電阻，因為冇用⋯⋯連AMD FSR4都唔支持用7系的AI加速器），
少人用你要搵資料同CONF少好多參考

---

作者: raylee    時間: 2025-1-23 14:31



Wait Nvidia gb10 supercomputer 2025-5 usd3k

---

作者: raywan    時間: 2025-1-23 22:22


64GB ram實在太少了,我現在都用緊80GB ram行llama3.3都差唔多用曬O的RAM
考慮AMD RADEON主要都係便同NV差唔多效能,用到就算,我見坊間都有好多人講zluda代替真正CUDA,仲有未來AMD會出到同RTX差唔多效能既radaeon display card,所以先考慮玩下radeon
https://ollama.com/blog/amd-preview
如果對比spec, MI100 vs A100 MI100又真係又便又快過Nvidia

---

作者: s84292    時間: 2025-1-24 09:15

本帖最後由 s84292 於 2025-1-24 01:38 編輯


睇SPEC 華為果個仲快呢，錯誤率佢冇寫出黎比你睇
唔好為戰未來比錢，AMD 成日轉陣又唔係咩新鮮事
之前夠話FSR4會支持舊卡同其他廠，結果依家連7系同岩岩出一批APU都冇FSR4支持
到時同你講zluda 2.0要新卡先支持

今年就得9070XT 16GB 一張卡，仲岩岩DELAY到3月後（傳定價太高，但打唔過5070）
最快都2027年先叫有可能返旗艦市場

https://github.com/exo-explore/exo
或者可以試下將幾部機、幾張卡或幾部MAC MINI的RAM合併行llama的開源方案
單台64GB M4PRO MINI其實可以跑Q6的所有llama3.3，Q6 70B set 返上限50GB VRAM就OK

---

作者: ppkkkp    時間: 2025-1-25 21:19



radeon你識用linux先好考慮，而家rocm係windows都要經wsl底層行linux先用到，mac機就你自己唔抗拒用mac先好買，如果唔係突然出樣新野好岩行ai，堆mac機就唔知係度做乜，不過mac機都叫做保值既。

---

作者: ppkkkp    時間: 2025-1-25 21:21

本帖最後由 ppkkkp 於 2025-1-25 22:49 編輯

同埋mac mini你唔可以見佢64ram就當佢用得晒64GB做vram，頂盡得48GB，佢要保留一部分做system ram。
不過你需求大過80gb，以性價比黎講，的確2-3部64gb m4pro macmini係暫時最平既選擇。

---

作者: winfred_chan    時間: 2025-2-5 10:46     標題: 帳號異常, 請聯絡管理員或版主查詢.

提示: 作者被禁止或刪除 內容自動屏蔽

---

作者: hkocx    時間: 2025-2-10 15:24

想問下如果行細model, 唔特別買card, 純用內建display card, 係咪mac mini 係最好選擇？ 普通pc 可以買？

via HKEPC IR 5.1.14 - iOS(5.1.1F)

---

作者: raylee    時間: 2025-2-10 15:34



"細model" eg ?

---

作者: hkocx    時間: 2025-2-11 17:43


32B?

我用手機都行到1.5B model

via HKEPC IR 5.1.14 - iOS(5.1.1F)

---

作者: tiger2003    時間: 2025-2-14 09:44     標題: 帳號異常, 請聯絡管理員或版主查詢.

提示: 作者被禁止或刪除 內容自動屏蔽

---

作者: s84292    時間: 2025-2-14 10:40



如果真係單純RUN，咁黎緊有部AMD APU都可以考慮下
至少加RAM比較便宜，同可以打到128GB （96GB VRAM）