本地部署开源模型，已经没有前两年那么难。但“能跑”和“好用”是两回事，关键看你的硬件和任务。
先按内存和显存分几档。8GB 内存、只有 CPU 的电脑，可以跑 1.5B 到 3B 的小模型，适合简单的文本分类、改写、翻译，速度慢，别指望复杂推理。16GB 内存加 6GB 到 8GB 显存，可以跑 7B 到 8B 的量化模型，日常写作辅助、摘要、简单问答基本够用。24GB 显存可以上 14B 到 32B 的量化模型，效果明显好一档。再往上，就是工作站或服务器的范围了。
工具方面，Ollama 最适合入门，安装后一条命令就能拉模型；LM Studio 有图形界面，适合不熟悉命令行的用户；llama.cpp 更偏底层，适合折腾量化和性能。模型格式优先选 GGUF，量化优先选 Q4 或 Q5，能在效果和显存之间取得平衡。
本地部署适合什么？第一，数据不能出内网；第二，调用量很大，长期算下来比 API 便宜；第三，需要针对自己的资料做定制。它不适合什么？需要最强推理、超长上下文、图像视频理解的任务，以及临时、 burst 式的需求。这些场景用云 API 更省心。
实际部署时，先跑一个 7B 或 8B 的 Q4 模型，测三个指标：每秒生成多少字、内存占用多少、连续对话会不会崩。再根据结果决定要不要换更大的模型。不要一上来就下 70B，下载时间和硬件成本都很高。
还有一点容易被忽略：本地模型也需要“会用”。同样的模型，提示词写得好不好，结果差很多。建议先拿自己最常做的三个任务，各写一版固定提示词，跑一周再评估。
如果你只是偶尔用，或者需要随时切换不同模型，云 API 仍然更划算。Haotogen 这类统一网关可以按量付费，一个 Key 接多种模型，适合在本地和云端之间做混合。
地方 haotogen 单独com
