越獄版的DeepSeek R1

本帖最後由 javacomhk 於 2025-2-7 05:47 編輯

https://huggingface.co/huihui-ai


越獄版的DeepSeek R1 (DeepSeek-R1-abliterated 即是去掉審查)現已托管在Hugging face上,支持8B、14B、32B

DeepSeek R1 成功越獄!無審查、無思想鋼印,無政治傾向,突破道德枷鎖!AI 真的自由了

Ollama 安裝介紹

本帖最後由 javacomhk 於 2025-2-7 22:32 編輯

如果係 Mac M系列 用戶有 16GB RAM 或以上就可以用 LM studio 下載 models 試玩, Mac 機用  LM studio 有個好處係可以搜尋及運行 GGUF 或 MLX 版本 (MLX 係 Mac M系列機GPU加速專用版本),呢的版本RAM要求細的或快的。


搜尋 abliterated deepseek,都可以試吓呢個 32B model 試玩吓 (實測 16G RAM 都得)
bartowski/DeepSeek-R1-Distill-Qwen-32B-abliterated-GGUF 9.03GB

當然如果你部Mac 機是新的M4晶片,或有多的 GPU Cores,多的 RAM 及 GPU offload 開大的就會快的。




如果 Mac M系列機想試玩 MLX 版本 可以咁樣只剔選 MLX 去搜尋


16G RAM Mac 機就可以試呢個 14B model MLX 版本,Q4 意思係 quantization level 4 : lower precision 4-bit integers
CuckmeisterFuller/DeepSeek-R1-Distill-Qwen-14B-abliterated-Q4-mlx 8.32B

大家注意:Mac 機 M 系列的 GPU 並不適合開發或訓練模型,因為現時用於開發或訓練的python library 並不支援 Mac 的 GPU 作加速運算。如果有意作開發或訓練模型,現在還是要用 Nvidia 的 GPU 例如 A100 或 Dual RTX4090 或以上級別。
附件: 您需要登錄才可以下載或查看附件。沒有帳號?註冊

TOP

新手試玩, 其實4060 laptop 都可以勉強玩下? 定係都係垃圾唔駛試

TOP

本帖最後由 javacomhk 於 2025-2-9 01:41 編輯
新手試玩, 其實4060 laptop 都可以勉強玩下? 定係都係垃圾唔駛試
kirafung 發表於 2025-2-8 03:07



    運行的細 model 例如7B/8B 玩吓應該沒問題,開發/訓練就唔掂。

TOP

如果係 Mac M系列 用戶有 16GB RAM 或以上就可以用  下載 models 試玩, Mac 機用   有個好處係可以搜尋及運 ...
javacomhk 發表於 2025-2-7 11:37



    係唔係 mini 就ok 唔洗mini pro? Thx

TOP

本帖最後由 javacomhk 於 2025-2-10 01:45 編輯
係唔係 mini 就ok 唔洗mini pro? Thx
PC147 發表於 2025-2-9 05:23



    最少16G RAM Mini 就得,Pro 晶片多的GPU 就快的, RAM 再多的就可以 Load 的大的嘅 Model。

TOP

最少16G RAM Mini 就得,Pro 晶片多的GPU 就快的, RAM 再多的就可以 Load 的大的嘅 Model。 ...
javacomhk 發表於 2025-2-9 17:39



    THX , 放隻係屋企都好喎

TOP