作者: javacomhk 時間: 2024-11-26 12:57 標題: M4 MacMini cluster AI modelling
本帖最後由 javacomhk 於 2024-11-28 09:34 編輯
用thunderbolt bridge 連起佢做 AI modelling
[youtube]GBR6pHZ68Ho[/youtube]
結論：買 M4 Max 128G RAM 好啲！
M4 Max 擁有多達40 核心GPU，相比M1 Max 最快可達1.9 倍，與最新的AI PC 晶片相比，更最快可達4 倍。 M4 Max 支援高達128GB 快速統一記憶體和546GB/s 記憶體頻寬，是最新AI PC 晶片頻寬的4 倍3。 這讓開發人員可輕鬆與擁有近2000 億參數的大型語言模型(LLM) 互動。
我諗Apple 都係會用佢自家嘅 M4 Ultra 80-GPU 256GB RAM thunderbolt 5 bridge Cluster 行佢自己新嘅 LLM Siri Model。
所以 LLM Siri 會 2026年先有，因為 M4 Ultra 下年先量產。
作者: javacomhk 時間: 2024-12-1 20:26
本帖最後由 javacomhk 於 2024-12-2 05:38 編輯
Using VS Code, Continue, and Ollama + Qwen2.5-Coder on Mac to set up a free local AI programming assistant
參考
https://www.liuxiao.org/en/2024/ ... gramming-assistant/
M4Pro Mac Mini 配置去運行Ollama + Qwen2.5-Coder，以下片中使用 24GB RAM 運行 32b 模型時發現唔夠 RAM 結果要改行14b 模型，所以如果要運行大型模型時建議要加錢 HK$3000 買夠 48GB RAM 版本或以上。 情願慳的錢唔加 Internal SSD 而用 External USB4 SSD，依家 WD Black SN850x M.2 SSD 4TB 賣緊 HK$18xx 都有 7000 MB/s。
[youtube]cGhHG5VacRg[/youtube]
作者: javacomhk 時間: 2024-12-15 12:27
本帖最後由 javacomhk 於 2024-12-17 10:17 編輯
最佳 config for running AI model Macbook Pro 教育價 HK$25,249
Apple Care + 3年 價格為 HK$2,699
教育價平咗的錢可以用來買 Apple Care+
點解要買 36G Ram 同 32GPU？ 因為要行大型模型
點解要買 16 寸？ 16寸散熱好，Screen 大可以開2至3個 windows 唔使加 external monitors。電量大、GPU 多、screen 大玩 games 都用得。
[attach]2456283[/attach]
作者: sosing 時間: 2024-12-17 18:11
回覆 3# javacomhk
到手用感覺如何?
作者: javacomhk 時間: 2024-12-17 20:08
回覆 javacomhk
到手用感覺如何?
sosing 發表於 2024-12-17 10:11
其實我仲搵緊個學生幫我定。
作者: sosing 時間: 2024-12-17 21:12
回覆 5# javacomhk
明白明白