llama.cpp 可以在不编译源码的情况下直接在 Linux 上运行。项目会为每次构建发布 CPU 压缩包;在无 GPU 的 4 vCPU 虚拟机上,下载几分钟后即可用 1B 模型生成约每秒 13 个令牌。
仍有两个常见问题需要注意:全新的 Ubuntu 云镜像缺少一项运行时库;使用空 API 密钥文件启动服务时,能访问端口的任何人都可以调用全部 API。
本文覆盖预编译包和源码构建两种安装方式,使用 llama-cli 运行首次推理,通过 systemd 部署兼容 OpenAI 的 llama-server,并使用 llama-quantize 与 llama-bench 完成量化和基准测试。所有命令均在 2026 年 11 月于 Ubuntu 26.04、Ubuntu 24.04 和 Rocky Linux 10 上,对 llama.cpp v0.9.0(预编译构建 b12110)进行测试。
选择预编译包还是源码构建
如果没有项目未提供的特殊后端需求,优先使用预编译 CPU 包。包内针对不同 CPU 代际提供多个动态库,启动时自动加载匹配版本。在测试虚拟机上加载的是 libggml-cpu-haswell.so,因此源码构建不再像过去那样必然获得更快的 CPU 二进制。
只在需要额外后端,或需要审查并固定具体代码时从源码构建。
| 预编译压缩包 | 源码构建 | |
|---|---|---|
| 得到可用二进制的时间 | 不到 1 分钟(下载约 22 MB) | Ubuntu 26.04 去掉测试和示例后 9 分 8 秒;保留时 11 分 32 秒 |
| 额外软件包 | 全新 Ubuntu 镜像需安装 libgomp1 |
编译器、CMake、Git、OpenSSL 头文件 |
| 版本字符串 | 0.9.0-dev (build 12110, commit cd959bae9) |
0.9.0-dev (build 1, commit cd959ba) |
| Rocky Linux 10 | 可以,Ubuntu 压缩包兼容 glibc 2.39 | 可以,需增加 ldconfig 配置 |
| GPU 构建 | CUDA 12.8、CUDA 13.4、ROCm、Vulkan、SYCL | 安装对应 SDK 后可构建任意后端 |
预编译包和源码构建来自同一提交。源码构建显示 build 1,是因为浅克隆没有 nightly 构建计数。
llama.cpp 同时提供 v0.9.0 这类版本化发布和 bNNNNN nightly 构建。GitHub 的 latest release 是版本化版本,其中的 nightly-tag.txt 指向对应 nightly 构建,b12110 就是本次使用的构建号。
安装预编译二进制
先读取 latest release 指向的 nightly 构建号:
LLAMA_BUILD=$(curl -sL https://github.com/ggml-org/llama.cpp/releases/latest/download/nightly-tag.txt)
echo "$LLAMA_BUILD"
输出:
b12110
下载 CPU 压缩包并解压到 /opt/llama.cpp:
curl -LO "https://github.com/ggml-org/llama.cpp/releases/download/${LLAMA_BUILD}/llama-${LLAMA_BUILD}-bin-ubuntu-x64.tar.gz"
sudo mkdir -p /opt/llama.cpp
sudo tar xzf "llama-${LLAMA_BUILD}-bin-ubuntu-x64.tar.gz" -C /opt/llama.cpp --strip-components=1
echo 'export PATH=/opt/llama.cpp:$PATH' | sudo tee /etc/profile.d/llama-cpp.sh
source /etc/profile.d/llama-cpp.sh
全新的 Ubuntu 26.04 云镜像首次执行 llama-cli --version 时可能报错:
libgomp.so.1: cannot open shared object file
这是 GCC OpenMP 运行库缺失造成的。安装:
sudo apt install -y libgomp1
Rocky Linux 10 云镜像通常已包含 libgomp。如缺失,执行:
sudo dnf install -y libgomp

安装后可以使用四个主要工具:
llama-cli:单轮提示词和交互式聊天。llama-server:兼容 OpenAI 的 API 与内置 Web UI。llama-quantize:转换和压缩 GGUF 模型。llama-bench:可重复的性能测试。
压缩包还包含一个统一的 llama 包装命令,把上述工具作为子命令提供。本文继续使用独立二进制,以便与现有脚本和 systemd 单元兼容。
从源码构建 llama.cpp
源码构建需要 C++ 编译器、CMake、Git 和 OpenSSL 开发包。-hf 下载器依赖 OpenSSL;Rocky 最小镜像还需要 openssl 命令本身。
Ubuntu 26.04 / 24.04:
sudo apt update
sudo apt install -y build-essential cmake git libssl-dev
Rocky Linux 10:
sudo dnf install -y gcc-c++ cmake git openssl-devel openssl
获取 latest release 标签并进行浅克隆:
LLAMA_TAG=$(curl -s https://api.github.com/repos/ggml-org/llama.cpp/releases/latest | grep -m1 "\"tag_name\"" | cut -d "\"" -f 4)
echo "$LLAMA_TAG"
git clone --branch "$LLAMA_TAG" --depth 1 https://github.com/ggml-org/llama.cpp
cd llama.cpp
关闭测试与示例后编译:
cmake -B build -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -j"$(nproc)"
安装到 /usr/local:
sudo cmake --install build --prefix /usr/local
Ubuntu 上刷新动态库缓存:
sudo ldconfig
Rocky Linux 10 的库位于 /usr/local/lib64,需要显式加入加载器:
echo /usr/local/lib64 | sudo tee /etc/ld.so.conf.d/llama-cpp.conf
sudo ldconfig

测试环境中的编译器分别为 Ubuntu 26.04 的 GCC 15.2、Ubuntu 24.04 的 GCC 13.3 和 Rocky Linux 10 的 GCC 14.3。
使用 llama-cli 运行第一次提示
-hf 会从 Hugging Face 下载 GGUF 模型,之后使用缓存。没有指定量化类型时优先选择 Q4_K_M。
以下命令使用无访问限制的 Gemma 3 1B:
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF -st -p "In two sentences, what does a reverse proxy do?" -n 120
-st 表示回答一次后退出,-n 限制输出长度。该测试从下载到完成约 12 秒,提示处理速度约 32.2 token/s,生成速度约 13.2 token/s。

模型缓存位于 ~/.cache/huggingface/hub。去掉 -st 可进入交互模式,输入 /exit 或按 Ctrl+C 退出。
使用 llama-server 提供 OpenAI 兼容 API
llama-server 默认监听 127.0.0.1:9931。旧脚本常使用 8080,需要时显式传入 --port。
API 密钥应放入文件并通过 --api-key-file 加载,不要直接在命令行传 --api-key,否则密钥会出现在 ps、shell 历史和 systemctl status 中。
mkdir -p ~/.config/llama
openssl rand -hex 32 > ~/.config/llama/api-keys
chmod 600 ~/.config/llama/api-keys
以前台方式启动:
llama-server -hf ggml-org/gemma-3-1b-it-GGUF -c 8192 --host 127.0.0.1 --port 9931 --api-key-file ~/.config/llama/api-keys
/health 不需要密钥,便于负载均衡器和健康检查;/v1/models 及错误密钥请求应返回 401。

发送聊天请求:
API_KEY=$(head -1 ~/.config/llama/api-keys)
curl -s http://127.0.0.1:9931/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $API_KEY" \
-d '{"model":"ggml-org/gemma-3-1b-it-GGUF","messages":[{"role":"user","content":"Name three Linux init systems, one line."}],"max_tokens":60}' \
| python3 -m json.tool
返回结构兼容 OpenAI,并额外包含 timings 与 system_fingerprint:
{
"choices": [
{
"finish_reason": "stop",
"index": 0,
"message": {
"role": "assistant",
"content": "systemd, OpenRC, SysVinit"
}
}
],
"created": 1794379905,
"model": "ggml-org/gemma-3-1b-it-GGUF",
"system_fingerprint": "b12110-cd959bae9",
"object": "chat.completion",
"usage": {
"completion_tokens": 10,
"prompt_tokens": 18,
"total_tokens": 28,
"prompt_tokens_details": {
"cached_tokens": 0
}
},
"id": "chatcmpl-yq6VKITIpkQSwkq6FdjePHHLq8fbeWSJ",
"timings": {
"cache_n": 0,
"prompt_n": 18,
"prompt_ms": 599.551,
"prompt_per_second": 30.02246681266481,
"predicted_n": 10,
"predicted_ms": 696.595,
"predicted_per_second": 12.919989376897624
}
}
任何 OpenAI 客户端都可以把基础 URL 设为 http://<主机>:9931/v1,并把文件中的密钥作为 API key。
使用内置 Web UI
浏览器打开 http://127.0.0.1:9931/。远程服务器可使用 SSH 隧道:
ssh -L 9931:127.0.0.1:9931 user@server
配置密钥后,页面会提示访问被拒绝。点击“Enter API Key”,粘贴密钥后选择“Save & Retry”。

验证成功后可在页面中聊天并查看 token 数与速度。

继续前按 Ctrl+C 停止前台服务,因为下一步的 systemd 服务会绑定同一端口。
使用 systemd 运行 llama-server
创建无登录 shell 的系统用户、固定模型路径和 API 密钥文件:
sudo useradd --system --home-dir /var/lib/llama --create-home --shell /usr/sbin/nologin llama
sudo mkdir -p /var/lib/llama/models /etc/llama
sudo curl -L -o /var/lib/llama/models/gemma-3-1b-it-Q4_K_M.gguf https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-Q4_K_M.gguf
sudo chown -R llama:llama /var/lib/llama
openssl rand -hex 32 | sudo tee /etc/llama/api-keys >/dev/null
sudo chown root:llama /etc/llama/api-keys && sudo chmod 640 /etc/llama/api-keys
检查密钥文件:
sudo wc -c /etc/llama/api-keys
正常值为 65 字节,即 64 个十六进制字符和一个换行。如果为 0,说明 openssl 未安装,应安装后重新生成。
创建 /etc/systemd/system/llama-server.service:
sudo vim /etc/systemd/system/llama-server.service
内容:
[Unit]
Description=llama.cpp server (OpenAI-compatible API)
After=network-online.target
Wants=network-online.target
[Service]
User=llama
Group=llama
ExecStart=/opt/llama.cpp/llama-server \
-m /var/lib/llama/models/gemma-3-1b-it-Q4_K_M.gguf \
-c 8192 \
--host 0.0.0.0 --port 9931 \
--api-key-file /etc/llama/api-keys
Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target
源码安装时,把 ExecStart 改为 /usr/local/bin/llama-server。
服务绑定 0.0.0.0,因此必须由防火墙限制访问范围。Ubuntu 上先允许 SSH,再只开放局域网网段:
sudo ufw allow OpenSSH
sudo ufw allow from 10.0.1.0/24 to any port 9931 proto tcp
sudo ufw --force enable
Rocky Linux 10:
sudo firewall-cmd --permanent --add-rich-rule="rule family=ipv4 source address=10.0.1.0/24 port port=9931 protocol=tcp accept"
sudo firewall-cmd --reload
启动服务:
sudo systemctl daemon-reload
sudo systemctl enable --now llama-server
systemctl status llama-server --no-pager

测试服务启动约 1 秒,769 MB 的模型使进程使用约 217 MB 内存,因为 llama.cpp 默认通过 mmap 映射 GGUF 文件。
Rocky Linux 10 的 SELinux enforcing 环境中,/usr/local/bin 下的服务以 unconfined_service_t 运行,没有 AVC 拒绝。
安全警告:空密钥会让 API 对所有请求开放
即使传入 --api-key-file,文件为空时服务仍会启动,只写一条警告并允许所有请求。测试中,Rocky 虚拟机上的 /v1/models 在无密钥时返回 200;生成真实密钥并重启后才恢复 401。

把下面的检查加入每次部署:
curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:9931/v1/models
结果必须是 401,绝不能是 200。
使用 llama-quantize 量化模型
只有官方未提供目标量化格式,或自行转换模型时才需要量化。必须从 F16 或 BF16 全精度文件开始,工具拒绝再次量化已量化文件。
mkdir -p ~/models && cd ~/models
curl -sL -o gemma-3-1b-it-f16.gguf https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-f16.gguf
转换为 Q4_K_M 和 Q8_0:
llama-quantize gemma-3-1b-it-f16.gguf gemma-3-1b-it-Q4_K_M.gguf Q4_K_M
llama-quantize gemma-3-1b-it-f16.gguf gemma-3-1b-it-Q8_0.gguf Q8_0
ls -lh *.gguf
Q4_K_M 用时约 21.6 秒,把 1.9 GB 文件缩小到 769 MB。部分张量会回退到兼容量化类型,这是正常警告。

常用量化类型:
15 or Q4_K : alias for Q4_K_M
15 or Q4_K_M : 4.58G, +0.1754 ppl @ Llama-3-8B
17 or Q5_K : alias for Q5_K_M
17 or Q5_K_M : 5.33G, +0.0569 ppl @ Llama-3-8B
18 or Q6_K : 6.14G, +0.0217 ppl @ Llama-3-8B
7 or Q8_0 : 7.96G, +0.0026 ppl @ Llama-3-8B
内存有限时,Q4_K_M 是聊天场景的合理起点;模型能轻松容纳且更重视精度时,可选择 Q6_K 或 Q8_0。
再次量化被拒绝
执行:
llama-quantize gemma-3-1b-it-Q8_0.gguf gemma-3-1b-it-Q4_0.gguf Q4_0
会得到“禁止从 q8_0 再次量化”的错误。二次量化会叠加两轮舍入误差,除非确无全精度源,否则不要使用 --allow-requantize。
使用 llama-bench 基准测试
llama-bench 固定运行 pp512 提示处理和 tg128 生成,重复多次并报告标准差。可以同时传入多个 -m 比较模型,或在 -t 中传入逗号分隔的线程数。
llama-bench \
-m gemma-3-1b-it-f16.gguf \
-m gemma-3-1b-it-Q8_0.gguf \
-m gemma-3-1b-it-Q4_K_M.gguf
llama-bench -m gemma-3-1b-it-Q4_K_M.gguf -t 2,4
如果 systemd 服务在同一台主机运行,先停止服务,避免争抢 CPU。

在该 4 vCPU 虚拟机上,生成速度分别为 F16 7.99 token/s、Q8_0 11.98 token/s、Q4_K_M 13.74 token/s。llama.cpp 默认选择 2 个线程,但强制 -t 4 后 Q4_K_M 从 13.62 提升到 17.17 token/s,提示处理从 42.48 提升到 49.54。在带超线程的云虚拟机上应测试后把最佳线程数写入 systemd 单元。
将推理卸载到 NVIDIA GPU
本节的 GPU 数据来自 2026 年 7 月使用 RTX 4090、旧构建 b10077 和 Qwen2.5-3B Q4_K_M 的测试;本次更新没有重新运行 GPU 路径,但参数已按当前版本核对。
安装 NVIDIA 驱动和 CUDA Toolkit 后,从源码构建时增加:
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j"$(nproc)"
旧指南常用 -ngl 99 将所有层推到 GPU。当前默认是 --fit 自动分配显存,通常不必手动指定;只有需要给显卡上的其他进程保留显存时才限制层数。
将相同模型文件的 CPU 与 GPU 结果比较:
| 后端(Qwen2.5-3B Q4_K_M,2026 年 7 月) | 提示处理 pp512 | 生成 tg128 |
|---|---|---|
| CPU,Intel i7-6700,4 线程 | 43 token/s | 11.8 token/s |
| GPU,NVIDIA RTX 4090 | 22,279 token/s | 327.7 token/s |
生成速度约快 28 倍,提示处理约快 500 倍。GPU 更适合处理长文档和并行计算;高并发多用户服务则应考虑 vLLM。
选择 llama.cpp 还是 Ollama
Ollama 自身也使用 llama.cpp 作为后端,区别主要在于希望管理多少底层参数。
| llama.cpp | Ollama | |
|---|---|---|
| 安装 | 压缩包或源码构建 | 一行安装脚本 |
| 模型 | GGUF 文件或 -hf 仓库 |
通过 ollama pull 使用注册表 |
| RTX 4090 生成速度(2026 年 7 月) | 294~328 token/s | 263 token/s |
| API | OpenAI 兼容,9931 端口,密钥文件 | 原生 REST API,11434 端口 |
| 调优 | 可控制线程、上下文、卸载、缓存等全部参数 | 默认值合理,可调参数较少 |
经常切换模型、希望开箱即用时选择 Ollama。需要固定构建、自行管理 systemd 服务,并通过 -t 等参数调优时选择 llama.cpp。
无论选择哪种方案,都应设置 API 密钥、用防火墙限制来源,并在每次重启后验证未授权请求确实返回 401。










