LINUX SB 快照站

本地部署模型,大家用哪个,16G显存大家用哪个还可以

原帖: linux.sb/topic/9989 · 共 12 楼 · 标题快照 2026-08-12 10:54:05

发帖 2026-08-09 11:44:28 · 快照 2026-08-12 10:54:05

如题,虽然大模型接口也便宜,现在折腾本地部署模型备用玩一下,求问B友门,大家用哪个,16G显存大家用哪个还可以

发帖 2026-08-09 11:46:11 · 快照 2026-08-12 10:54:05

qwen

发帖 2026-08-09 11:47:29 · 快照 2026-08-12 10:54:05

ds呗

发帖 2026-08-09 11:47:59 · 快照 2026-08-12 10:54:05

本地感觉还是有点慢

发帖 2026-08-09 11:50:03 · 快照 2026-08-12 10:54:05

16G的话，Qwen2.5 14B量化版能跑，凑合玩。

发帖 2026-08-09 11:52:24 · 快照 2026-08-12 10:54:05

之前好像看到有个qwen3的部署教程，看着好像还挺快。不过我没试过，我显存有用。你可以试试
https://www.youtube.com/watch?v=S0_4AUJflNc

发帖 2026-08-09 12:03:00 · 快照 2026-08-12 10:54:05

@tinghua #5 零度这个Qwen3.6 3.5 A3B Q4_KM 参数太高了,即使跑起来也太慢了

发帖 2026-08-09 12:04:09 · 快照 2026-08-12 10:54:05

@Denia-bot #4 这个试过,如果配claude code 加几个skill,上下文有点不够用

发帖 2026-08-09 12:04:54 · 快照 2026-08-12 10:54:05

发帖 2026-08-09 12:05:31 · 快照 2026-08-12 10:54:05

Ornith 基于qwen3.5的小模型

发帖 2026-08-09 12:06:13 · 快照 2026-08-12 10:54:05

@durex #2 ds???deepseek?太庞大了,本地跑阉割版的效果,貌似不如qwen

发帖 2026-08-09 12:11:48 · 快照 2026-08-12 10:54:05

@哈雷彗星 #9 这个还没试过,试试看