作者: javacomhk 時間: 2025-2-7 08:36 標題: 越獄版的DeepSeek R1
本帖最後由 javacomhk 於 2025-2-7 05:47 編輯
https://huggingface.co/huihui-ai
越獄版的DeepSeek R1 (DeepSeek-R1-abliterated 即是去掉審查)現已托管在Hugging face上，支持8B、14B、32B
DeepSeek R1 成功越獄！無審查、無思想鋼印，無政治傾向，突破道德枷鎖！AI 真的自由了
Ollama 安裝介紹
[youtube]L1QkuWK4U9g[/youtube]
作者: javacomhk 時間: 2025-2-7 11:37
本帖最後由 javacomhk 於 2025-2-7 22:32 編輯
如果係 Mac M系列 用戶有 16GB RAM 或以上就可以用 LM studio 下載 models 試玩, Mac 機用 LM studio 有個好處係可以搜尋及運行 GGUF 或 MLX 版本 (MLX 係 Mac M系列機GPU加速專用版本)，呢的版本RAM要求細的或快的。
[attach]2463869[/attach]
搜尋 abliterated deepseek，都可以試吓呢個 32B model 試玩吓 (實測 16G RAM 都得)
bartowski/DeepSeek-R1-Distill-Qwen-32B-abliterated-GGUF 9.03GB
當然如果你部Mac 機是新的M4晶片，或有多的 GPU Cores，多的 RAM 及 GPU offload 開大的就會快的。
[attach]2463845[/attach]
如果 Mac M系列機想試玩 MLX 版本 可以咁樣只剔選 MLX 去搜尋
[attach]2463873[/attach]
16G RAM Mac 機就可以試呢個 14B model MLX 版本，Q4 意思係 quantization level 4 : lower precision 4-bit integers
CuckmeisterFuller/DeepSeek-R1-Distill-Qwen-14B-abliterated-Q4-mlx 8.32B
大家注意：Mac 機 M 系列的 GPU 並不適合開發或訓練模型，因為現時用於開發或訓練的python library 並不支援 Mac 的 GPU 作加速運算。如果有意作開發或訓練模型，現在還是要用 Nvidia 的 GPU 例如 A100 或 Dual RTX4090 或以上級別。
作者: kirafung 時間: 2025-2-8 11:07
新手試玩, 其實4060 laptop 都可以勉強玩下? 定係都係垃圾唔駛試
作者: javacomhk 時間: 2025-2-9 03:55
本帖最後由 javacomhk 於 2025-2-9 01:41 編輯
新手試玩, 其實4060 laptop 都可以勉強玩下? 定係都係垃圾唔駛試
kirafung 發表於 2025-2-8 03:07
運行的細 model 例如7B/8B 玩吓應該沒問題，開發/訓練就唔掂。
作者: PC147 時間: 2025-2-9 13:23
如果係 Mac M系列 用戶有 16GB RAM 或以上就可以用 下載 models 試玩, Mac 機用 有個好處係可以搜尋及運 ...
javacomhk 發表於 2025-2-7 11:37
係唔係 mini 就ok 唔洗mini pro? Thx
作者: javacomhk 時間: 2025-2-9 17:39
本帖最後由 javacomhk 於 2025-2-10 01:45 編輯
係唔係 mini 就ok 唔洗mini pro? Thx
PC147 發表於 2025-2-9 05:23
最少16G RAM Mini 就得，Pro 晶片多的GPU 就快的， RAM 再多的就可以 Load 的大的嘅 Model。
作者: PC147 時間: 2025-2-10 11:43
最少16G RAM Mini 就得，Pro 晶片多的GPU 就快的， RAM 再多的就可以 Load 的大的嘅 Model。 ...
javacomhk 發表於 2025-2-9 17:39
THX , 放隻係屋企都好喎
