本帖最後由 javacomhk 於 2025-2-7 22:32 編輯
如果係 Mac M系列 用戶有 16GB RAM 或以上就可以用 LM studio 下載 models 試玩, Mac 機用 LM studio 有個好處係可以搜尋及運行 GGUF 或 MLX 版本 (MLX 係 Mac M系列機GPU加速專用版本),呢的版本RAM要求細的或快的。
搜尋 abliterated deepseek,都可以試吓呢個 32B model 試玩吓 (實測 16G RAM 都得)
bartowski/DeepSeek-R1-Distill-Qwen-32B-abliterated-GGUF 9.03GB
當然如果你部Mac 機是新的M4晶片,或有多的 GPU Cores,多的 RAM 及 GPU offload 開大的就會快的。
如果 Mac M系列機想試玩 MLX 版本 可以咁樣只剔選 MLX 去搜尋
16G RAM Mac 機就可以試呢個 14B model MLX 版本,Q4 意思係 quantization level 4 : lower precision 4-bit integers
CuckmeisterFuller/DeepSeek-R1-Distill-Qwen-14B-abliterated-Q4-mlx 8.32B
大家注意:Mac 機 M 系列的 GPU 並不適合開發或訓練模型,因為現時用於開發或訓練的python library 並不支援 Mac 的 GPU 作加速運算。如果有意作開發或訓練模型,現在還是要用 Nvidia 的 GPU 例如 A100 或 Dual RTX4090 或以上級別。 |