作者: cyberyeah 時間: 2026-5-24 16:07 標題: 有無人自己跑LM Studio
咩硬件配置？
via HKEPC IRF 5.1.14 - Android(5.1.2)
作者: MirageKnight 時間: 2026-5-24 17:42
本帖最後由 MirageKnight 於 2026-5-24 17:46 編輯
直接跑llamacpp好過. lm studio 只不過是一個front end interface. 背後都係llamacpp. 想pro D就跑vllm. 不過只有Linux 或docker.
作者: kcthomlau 時間: 2026-5-27 13:14
主要睇跑咩LLM
RAM容量決定跑唔跑到
CPU GPU NPU CUDA決定快唔快
作者: kennylam777 時間: 前天 11:48
本帖最後由 kennylam777 於 2026-6-9 11:54 編輯
我有部home lab有兩張RTX3090+NVLink, 之前就用vllm嘅, 而家換咗用llama.cpp因為Q8慳VRAM過FP8, 主要係用黎試48GB先行到嘅solution
另外我desktop用RTX5090, 平時試新model都會用LMStudio快速試同download, 但認真嘅話起碼用llama.cpp因為可以仔細校parameters, vllm雖然可以用docker行到但起動太慢, 係試vllm deployment先會用, 平時llama.cpp大把quant揀好用啲
我會用Qwen3.6 27B Q5/Gemma4 31B Q4配llama.cpp響5090上面幫手寫吓code, agent係Github Copilot或者Claude Code, 因為Codex/Antigravity subscriptions都係有機會用爆, 如果debug到中間爭少少響度罰企就冇癮, Local係呢啲時候係幫到少少手
Gemma4 26B好少用因為唔夠31B叻, Qwen3.6 35B會用多少少純粹係快, 但始終智力同Q 27B/G 31B有差距
作者: GoldLand 時間: 前天 12:18
本帖最後由 GoldLand 於 2026-6-9 12:34 編輯
Del ...
作者: GoldLand 時間: 前天 12:27
本帖最後由 GoldLand 於 2026-6-9 12:34 編輯
DEL .....
作者: GoldLand 時間: 前天 12:28
本帖最後由 GoldLand 於 2026-6-9 12:34 編輯
DEL ....
作者: kennylam777 時間: 前天 12:29
乜料呀一黎就又長又臭嘅program, 又唔用[code]死都要出晒佢, 洗板柱呀?
作者: GoldLand 時間: 前天 12:29
本帖最後由 GoldLand 於 2026-6-9 12:34 編輯
DEL......
作者: kennylam777 時間: 前天 12:30
How to Enable Private Memory in Open WebUI
import os
import time
import json
import sqlite3
import ...
GoldLand 發表於 2026-6-9 12:27
又唔用[code]死都要出晒佢, 咪又係用llama.cpp, 重點? 長就咪夾硬貼啦