作者: umvue 時間: 2024-12-26 21:01 標題: 貢獻左code令llama.cpp支持Llama-3_1-Nemotron-51B
最近自學llm,學學下貢獻左code去最多人用的LLM壓縮軟件llama.cpp
https://github.com/ggerganov/llama.cpp/pull/10669
而家llama.cpp可以壓縮埋Llama-3_1-Nemotron-51B
呢個LLM係Llama-3.1-70B抽走一啲WEIGHT,再FINE TUNE的LLM,號稱同70B表現差不多
下面URL可以下載唔同壓縮度的LLM,記住要下載llama.cpp b4380或更新，先行到
https://huggingface.co/ymcki/Lla ... -51B-Instruct-GGUF/
得一張3090,都可以行IQ3_M,窮人也可以玩得起中型LLM
大家可以試下，然後俾 啲意見我，謝謝
作者: umvue 時間: 2025-3-20 19:42
原來我的改動也能跑nvidia/Llama-3_3-Nemotron-Super-49B-v1
https://huggingface.co/bartowski ... n-Super-49B-v1-GGUF
作者: umvue 時間: 2025-5-6 15:10
更新了而家可支持埋Llama-3_1-Nemotron-Ultra-253B-v1
https://huggingface.co/bartowski ... B-v1-GGUF/tree/main
號稱在不少方面比Deepseek R1勁，但只要38%的VRAM.有多RAM的可試試
https://hk.finance.yahoo.com/new ... k-r1-090003188.html