[實用軟件] 貢獻左code令llama.cpp支持Llama-3_1-Nemotron-51B

umvue

最近自學llm,學學下貢獻左code去最多人用的LLM壓縮軟件llama.cpp

https://github.com/ggerganov/llama.cpp/pull/10669

而家llama.cpp可以壓縮埋Llama-3_1-Nemotron-51B

呢個LLM係Llama-3.1-70B抽走一啲WEIGHT,再FINE TUNE的LLM,號稱同70B表現差不多

下面URL可以下載唔同壓縮度的LLM,記住要下載llama.cpp b4380或更新，先行到

https://huggingface.co/ymcki/Lla ... -51B-Instruct-GGUF/

得一張3090,都可以行IQ3_M,窮人也可以玩得起中型LLM

大家可以試下，然後俾 啲意見我，謝謝

umvue

原來我的改動也能跑nvidia/Llama-3_3-Nemotron-Super-49B-v1

https://huggingface.co/bartowski ... n-Super-49B-v1-GGUF

umvue

更新了而家可支持埋Llama-3_1-Nemotron-Ultra-253B-v1

https://huggingface.co/bartowski ... B-v1-GGUF/tree/main

號稱在不少方面比Deepseek R1勁，但只要38%的VRAM.有多RAM的可試試

https://hk.finance.yahoo.com/new ... k-r1-090003188.html