DeepSeek-R1 发布一年后，我重新整理了一版本地量化部署笔记

先说明时间线：DeepSeek-R1 是 2025 年 1 月发布的模型。本文写在 2025 年 11 月，记录的是发布一段时间后，本地部署工具链更稳定时的实践，不是某个新产品当天发布的新闻。这个提醒看似多余，但技术教程最怕把时间锚点写错。

1. 先选模型，不先选参数

我给 HR 场景做本地实验时，优先考虑三个问题：机器能不能跑、输出是否稳定、是否方便换模型。不要一上来追最大参数。制度解释、访谈材料拆解、招聘问题草稿，大多数时候先用蒸馏或量化版本验证流程即可。

如果你已经有 Ollama，最快路径是：

ollama pull deepseek-r1:7b
ollama run deepseek-r1:7b

测试 prompt：

请把下面这段员工访谈记录拆成：事实、感受、待确认问题。不要提出没有证据的结论。

我会先看它是否能克制推断，而不是看回答有多长。

2. Ollama 路线

Ollama 的优点是省心，适合团队里非工程同事试用。常用命令：

ollama list
ollama ps
ollama stop deepseek-r1:7b

如果响应慢，可以先确认是否真的跑在 GPU 上。Linux 下用：

nvidia-smi

如果显存不够，优先换更小量化版本，不要硬扛。HR 文本任务对“能稳定完成格式化输出”的要求，经常高于模型大小。

3. llama.cpp 路线

如果你需要更细的参数控制，可以用 llama.cpp。示意流程：

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build -j

下载 GGUF 量化模型后运行：

./build/bin/llama-cli -m models/deepseek-r1-distill-qwen-7b-q4_k_m.gguf -p "请用三点总结这段入职反馈" -n 512

q4_k_m 是我常用的折中选择：体积和速度都比较友好。若输出质量明显不够，再考虑更高精度量化，而不是直接换超大模型。

4. HR 场景的安全提示词

我会给 R1 类模型加一个系统约束：

你是 HR 分析助理，只能基于输入文本做结构化整理。涉及绩效、薪酬、辞退、疾病、家庭情况时，不做结论，只列待人工确认问题。

这不是为了让模型变“合规专家”，而是提醒使用者：敏感判断不能被顺滑的回答接管。

5. 常见报错

端口占用：Ollama 默认 11434，如果被占用，先查进程：

lsof -i :11434

上下文太短：长制度文档不要整篇塞进去，先分段，再让模型只处理当前段落。回答太发散：把输出格式写死，例如 facts、risks、questions 三个数组。

6. 复盘

R1 类模型的价值在于推理草稿和结构化拆解，但 HR 场景里的结论必须慢一点。我的做法是把它放在“整理层”，不放在“决策层”：它可以帮我把材料拆开，不能替我决定一个员工是不是有问题，也不能替我判断一个候选人是否该被淘汰。