Yingc站点

在 2 核 8G 上跑 1.7B 模型:从源码编译到 MCP 工具链

把大模型放在一台 2 核 8G、没有 GPU 的云主机上跑,听起来像是个玩具项目。但如果你只需要一个能读懂文档、能调用搜索工具、能在内网回答问题的助手,1.7B 级别的模型配合量化,实际可用性比想象中高得多。

这篇文章记录完整的搭建过程:为什么放弃 Ollama、怎么编译 llama.cpp、量化怎么选、MCP 工具怎么接、以及一路上踩到的坑。

先看清楚机器的底牌

动手之前先把硬件摸清,后面的所有取舍都由这几个数字决定。

项目 实际值 影响
CPU Xeon Platinum 8255C,2 vCPU 并行度上限低,线程数必须压到 2
内存 7.7 GB,无 swap 7B 以上基本不可行,1.7B 是安全区
磁盘 92 GB 可用 放得下多个量化版本
指令集 AVX512 / VNNI / FMA 能吃到量化加速,这点很关键

有 AVX512 和 VNNI 意味着 INT8 推理有硬件加速,这让 1.7B 模型的 Q4 量化跑出 10 tok/s 以上成为可能。

为什么不用 Ollama

Ollama 是最省事的选择,一行命令就能跑起来。但它要求 glibc 2.27 以上,而这台机器装的是 CentOS 7,glibc 停在 2.17。

升级 glibc 是典型的「动一次可能整机起不来」的操作,风险远大于收益。于是只能走源码编译老路。

如果你的系统是 Ubuntu 22.04 以上,直接装 Ollama 就好。本文的编译流程只适合被老系统绑住的情况。

编译 llama.cpp

编译本身不复杂,复杂的是工具链版本。CentOS 7 自带的 gcc 4.8 不支持 C++17,需要先装 devtoolset。

# 装高版本工具链
yum install -y centos-release-scl
yum install -y devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-make
scl enable devtoolset-9 bash

# cmake 也要单独装,yum 源里的版本太老
curl -LO https://github.com/Kitware/CMake/releases/download/v3.31.6/cmake-3.31.6-linux-x86_64.tar.gz
tar xf cmake-3.31.6-linux-x86_64.tar.gz -C /opt
ln -s /opt/cmake-3.31.6-linux-x86_64/bin/cmake /usr/local/bin/cmake

# 编译服务端
cd /opt/llama.cpp
cmake -B build -DGGML_NATIVE=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -j2 --target llama-server

-DGGML_NATIVE=ON 会让编译器针对本机 CPU 生成指令,AVX512 能不能用上就看这个开关。虽然生成的二进制不能拷到别的机器跑,但这台机器只跑这一个服务,无所谓。

量化怎么选

官方仓库通常只放 Q8_0,体积大、内存吃得多。1.7B 的 Q8 约 1.8 GB,Q4_K_M 只要 1.1 GB,在这台 7.7G 的机器上差别明显。

  • Q4_K_M:体积和质量的平衡点,1.7B 级别几乎感知不到质量下降
  • Q5_K_M:稍微好一点点,多占 150 MB
  • Q8_0:官方默认,但对小模型来说性价比很低

最后选了第三方量化的 Q4_K_M,1074 MB,加载后常驻内存约 1.7 GB。

实测性能

关掉思考链之后,短问题的响应速度是可以接受的。

指标 数值
生成速度 10–12 tok/s
提示词处理 39–48 tok/s
首字延迟 约 1 秒
常驻内存 约 1.74 GB

这个速度写不了长文,但用来做「给定一段日志,告诉我可能的原因」这类任务完全够用。

接入 MCP 工具

llama.cpp 的服务端支持 MCP,可以用 stdio 协议挂载外部工具服务。我写了一个纯标准库的搜索服务,暴露两个工具:

  • web_search:搜索关键词,返回标题和摘要
  • web_fetch:抓取指定 URL 的正文,剥离导航和脚本

启动时通过参数挂上去:

llama-server 
  -m /opt/models/Qwen3-1.7B-Q4_K_M.gguf 
  -c 8192 -t 2 --host 127.0.0.1 --port 8080 
  --mcp-servers-config /opt/mcp-websearch/mcp.json

工具调用不会自动执行

这里有个容易踩的坑:OpenAI 兼容接口不会替你执行工具。调用返回的 finish_reason 是 tool_calls,需要调用方自己去执行工具、再把结果以 role=tool 回填。

resp = client.chat.completions.create(
    model="local", messages=msgs, tools=tools
)
if resp.choices[0].finish_reason == "tool_calls":
    for call in resp.choices[0].message.tool_calls:
        result = run_tool(call.function.name, call.function.arguments)
        msgs.append({"role": "tool", "tool_call_id": call.id, "content": result})
    # 再请求一次

踩过的坑

搜索源被反爬

数据中心 IP 会被免费搜索接口普遍拉黑。DuckDuckGo 返回 202,搜狗返回 JS 校验页,Bing 返回无关兜底结果。现在的降级顺序是 DDG → 搜狗 → DDG Instant Answer,但成功率仍然不稳定。

正规解法是用带 Key 的搜索 API,免费额度通常够个人使用。

上下文不够

最初设成 4096,抓一个长页面就直接 400。调到 8192 后解决,代价是内存多占几百 MB。

思考链吃掉所有时间

Qwen3 默认开启思考链,一个简单问题能思考 30 秒。传 chat_template_kwargs.enable_thinking=false 关闭后,同样的回答只要 2 秒。

什么时候不该这么做

如果你需要的是稳定可用的 AI 助手,直接用 API 更划算。本地推理的价值在于三点:数据不出机器、没有调用成本、可以深度定制工具链。

一旦这三条对你都不重要,就别折腾了。

发表评论