M4 MacMini cluster AI modelling

javacomhk

用thunderbolt bridge 連起佢做 AI modelling



結論：買 M4 Max 128G RAM 好啲！

M4 Max 擁有多達40 核心GPU，相比M1 Max 最快可達1.9 倍，與最新的AI PC 晶片相比，更最快可達4 倍。 M4 Max 支援高達128GB 快速統一記憶體和546GB/s 記憶體頻寬，是最新AI PC 晶片頻寬的4 倍3。 這讓開發人員可輕鬆與擁有近2000 億參數的大型語言模型(LLM) 互動。

我諗Apple 都係會用佢自家嘅 M4 Ultra 80-GPU 256GB RAM thunderbolt 5 bridge Cluster 行佢自己新嘅 LLM Siri Model。
所以 LLM Siri 會 2026年先有，因為 M4 Ultra 下年先量產。

javacomhk

Using VS Code, Continue, and Ollama + Qwen2.5-Coder on Mac to set up a free local AI programming assistant
參考
https://www.liuxiao.org/en/2024/ ... gramming-assistant/

M4Pro Mac Mini 配置去運行Ollama + Qwen2.5-Coder，以下片中使用 24GB RAM 運行 32b 模型時發現唔夠 RAM 結果要改行14b 模型，所以如果要運行大型模型時建議要加錢 HK$3000 買夠 48GB RAM 版本或以上。 情願慳的錢唔加 Internal SSD 而用 External USB4 SSD，依家 WD Black SN850x M.2 SSD 4TB 賣緊 HK$18xx 都有 7000 MB/s。

javacomhk

最佳 config for running AI model Macbook Pro  教育價 HK$25,249
Apple Care + 3年 價格為 HK$2,699

教育價平咗的錢可以用來買 Apple Care+

點解要買 36G Ram 同 32GPU？ 因為要行大型模型
點解要買 16 寸？ 16寸散熱好，Screen 大可以開2至3個  windows 唔使加 external monitors。電量大、GPU 多、screen 大玩 games 都用得。

sosing

回覆 3# javacomhk


    到手用感覺如何?

javacomhk

回覆  javacomhk


    到手用感覺如何?
sosing 發表於 2024-12-17 10:11

    其實我仲搵緊個學生幫我定。

sosing

回覆 5# javacomhk


    明白明白