作者: gl5900as 時間: 2023-5-26 00:46 標題: 想玩私人AI模型訓練，有咩配置和報價？
問GPT家用AI訓練配置:
要在家中建立一個高性能的電腦來支援 GPT AI 的訓練，你需要考慮以下硬體要求：
處理器（CPU）：選擇一款強大的多核心處理器，比如英特爾的 Core i9 或 AMD 的 Ryzen 9 系列。GPT AI 的訓練過程對處理器性能要求較高，因為其中包含大量的平行計算任務。
圖形處理器（GPU）：選擇一款具備強大計算能力的 GPU。NVIDIA 的 GeForce RTX 系列或 Quadro 系列都是常見的選擇，因為它們支援深度學習框架（如 TensorFlow 和 PyTorch）的加速計算。GPT AI 的訓練過程可以受益於使用 GPU 進行平行計算，加快訓練速度。
記憶體（RAM）：確保你的電腦具備足夠的記憶體來處理大規模的訓練任務。對於 GPT AI 的訓練，建議至少具備 32GB 或更多的記憶體，以確保能夠載入和處理大型模型和資料集。
儲存：準備足夠的儲存空間來儲存訓練所需的資料集和模型。考慮使用大容量的固態硬碟（SSD）或者高性能的硬碟陣列（RAID）來提供快速的讀寫速度。
散熱和電源：由於訓練過程會產生大量的熱量和功耗，確保你的電腦具備良好的散熱系統和高品質的電源供應，以保持穩定和安全運行。
作者: raylee 時間: 2023-5-26 01:23
睇餸食飯
作者: gl5900as 時間: 2023-5-26 06:22
本帖最後由 gl5900as 於 2023-5-26 07:41 編輯
睇餸食飯
raylee 發表於 2023-5-26 01:23
俾list睇睇，SSD可以用翻舊機
12000~16000內買5樣野
處理器（CPU）：?
圖形處理器（GPU）：nvidia GPU顯卡
記憶體（RAM）：?
主機板：?
電源：?
作者: raylee 時間: 2023-5-26 09:39
本帖最後由 raylee 於 2023-5-26 10:17 編輯
俾list睇睇，SSD可以用翻舊機
12000~16000內買5樣野
處理器（CPU）：?
圖形處理器（GPU）：nvidia GPU顯 ...
gl5900as 發表於 2023-5-26 06:22
已有咩case ?
$15,919
[attach]2374194[/attach]
option :
ASUS TUF-RTX4080-O16G-GAMING RTX 4080 OC Edition 16GB GDDR6X (DI-E4080Y1) HK$9999
作者: gl5900as 時間: 2023-5-26 11:40
本帖最後由 gl5900as 於 2023-5-26 11:46 編輯
已有咩case ?
$15,919
option :
ASUS TUF-RTX4080-O16G-GAMING RTX 4080 OC Edition 16GB GDDR6X (DI ...
raylee 發表於 2023-5-26 09:39
case已經有
4080太誇張
4070 OK有冇風冷架，水冷唔放心好驚漏野
作者: raylee 時間: 2023-5-26 12:03
本帖最後由 raylee 於 2023-5-26 12:07 編輯
case已經有
4080太誇張4070 OK
有冇風冷架，水冷唔放心好驚漏野 ...
gl5900as 發表於 2023-5-26 11:40
AI training 關鍵速度在gpu
13700+fc140+b760+4070 tuf
仲有咩要求？
作者: gl5900as 時間: 2023-5-26 12:20
本帖最後由 gl5900as 於 2023-5-26 12:22 編輯
AI training 關鍵速度在gpu
13700+fc140+b760+4070 tuf
仲有咩要求？
raylee 發表於 2023-5-26 12:03
GALAX GeForce RTX 4080 SG (1-Click OC Feature) 16GB GDDR6X RTX4080-SG-1CLICKOC-16G GDDR6X HK$8799
Intel Core i7-13700K Processor 16C 24T 30M Cache, up to 5.40 GHz, FCLGA1700 HK$3170
MSI PRO Z790-A WIFI DDR4 INTEL Z790,DDR4,ATX M/B HK$1890
Corsair 64GB Kit CMK64GX4M2D3600C18 Vengeance LPX DDR4 3600MHz (2x32GB) HK$1300
GIGABYTE 850W AORUS 80Plus GOLD Full Modular 電源 (GP-AP850GM) HK$750
total=15,909
換左隻牛，改左display睇睇得唔得
作者: raylee 時間: 2023-5-26 12:31
本帖最後由 raylee 於 2023-5-26 12:39 編輯
GALAX GeForce RTX 4080 SG (1-Click OC Feature) 16GB GDDR6X RTX4080-SG-1CLICKOC-16G GDDR6X HK$8799 ...
gl5900as 發表於 2023-5-26 12:20
4080冇信仰ok
放得落箱？箱可裝底扇 ？
13700k 要水冷, 轉13700+b760 tuf
作者: gl5900as 時間: 2023-5-26 12:41
本帖最後由 gl5900as 於 2023-5-26 12:49 編輯
4080冇信仰ok
放得落箱？箱可裝底扇 ？
13700k 要水冷, 轉13700+b760
raylee 發表於 2023-5-26 12:31
其實我放天花架上，已有大機箱唔冚蓋半裸跑，開關駁WIFI開關制，唔駁顯示器，服務器、雲端AI用途
作者: raylee 時間: 2023-5-26 12:50
本帖最後由 raylee 於 2023-5-26 13:04 編輯
其實我放天花架上，已有大機箱唔冚蓋半裸跑，開關駁WIFI開關制，唔駁顯示器，服務器、雲端AI用途
...
gl5900as 發表於 2023-5-26 12:41
裸机注意塵, 曱甴
雲端ai 做server 定client ?
作者: gl5900as 時間: 2023-5-26 13:03
雲端ai 做server 定client ?
raylee 發表於 2023-5-26 12:50
做server
部機行緊windows server
作者: gl5900as 時間: 2023-5-26 13:06
裸机注意塵, 曱甴
雲端ai 做server 定client ?
raylee 發表於 2023-5-26 12:50
無曱甴，塵會兩年清一次塵，長開
作者: raylee 時間: 2023-5-26 14:04
做server
部機行緊windows server
gl5900as 發表於 2023-5-26 13:03
我不知z790, b760 有冇wdw server driver ？不能行win11 ?
作者: gl5900as 時間: 2023-5-26 14:08
我不知z790, b760 有冇wdw server driver ？不能行win11 ?
raylee 發表於 2023-5-26 14:04
可以轉WIN11
反正個WIN SERVER版本太舊了，有D程式又有限制
作者: 314315316 時間: 2023-5-30 00:33
本帖最後由 314315316 於 2023-5-30 00:49 編輯
如果local玩GPT,目前效果最好的model是Vicuna-13B (有GPT4 90%質素)
玩AI GPU一定要夠多VRAM, 就算4090都只係勉强用到Vicuna-13B model 。4070Ti 12GB VRAM, 估計可以用細D的model 6-7B Parameters，效果會差D。
以上都係講緊用現有的LLM model, 想train LLM 無幾百萬買 A100 cluster 基本上唔洗唸。另外有對華出口限制，有錢都未必買得到。
如果真係有心玩，考慮用Serverless 服務，例如Runpod。 A100 80GB 每小時收費大概 1.8USD。
作者: gl5900as 時間: 2023-5-31 09:51
如果local玩GPT,目前效果最好的model是Vicuna-13B (有GPT4 90%質素)
玩AI GPU一定要夠多VRAM, 就算4090都只 ...
314315316 發表於 2023-5-30 00:33
咁我改買24GB的版本
作者: raylee 時間: 2023-5-31 10:54
咁我改買24GB的版本
gl5900as 發表於 2023-5-31 09:51
1kw psu
作者: FabreKC 時間: 2023-6-3 20:15
A100/H100 就話，普通GPU OK?
