在 Rocky Linux 10 安装 llama.cpp:从 CPU 推理到 systemd API 服务

llama.cpp 可以在不编译源码的情况下直接在 Linux 上运行。项目会为每次构建发布 CPU 压缩包;在无 GPU 的 4 vCPU 虚拟机上,下载几分钟后即可用 1B 模型生成约每秒 13 个令牌。

仍有两个常见问题需要注意:全新的 Ubuntu 云镜像缺少一项运行时库;使用空 API 密钥文件启动服务时,能访问端口的任何人都可以调用全部 API。

本文覆盖预编译包和源码构建两种安装方式,使用 llama-cli 运行首次推理,通过 systemd 部署兼容 OpenAI 的 llama-server,并使用 llama-quantize 与 llama-bench 完成量化和基准测试。所有命令均在 2026 年 11 月于 Ubuntu 26.04、Ubuntu 24.04 和 Rocky Linux 10 上,对 llama.cpp v0.9.0(预编译构建 b12110)进行测试。

选择预编译包还是源码构建

如果没有项目未提供的特殊后端需求,优先使用预编译 CPU 包。包内针对不同 CPU 代际提供多个动态库,启动时自动加载匹配版本。在测试虚拟机上加载的是 libggml-cpu-haswell.so,因此源码构建不再像过去那样必然获得更快的 CPU 二进制。

只在需要额外后端,或需要审查并固定具体代码时从源码构建。

预编译压缩包 源码构建
得到可用二进制的时间 不到 1 分钟(下载约 22 MB) Ubuntu 26.04 去掉测试和示例后 9 分 8 秒;保留时 11 分 32 秒
额外软件包 全新 Ubuntu 镜像需安装 libgomp1 编译器、CMake、Git、OpenSSL 头文件
版本字符串 0.9.0-dev (build 12110, commit cd959bae9) 0.9.0-dev (build 1, commit cd959ba)
Rocky Linux 10 可以,Ubuntu 压缩包兼容 glibc 2.39 可以,需增加 ldconfig 配置
GPU 构建 CUDA 12.8、CUDA 13.4、ROCm、Vulkan、SYCL 安装对应 SDK 后可构建任意后端

预编译包和源码构建来自同一提交。源码构建显示 build 1,是因为浅克隆没有 nightly 构建计数。

llama.cpp 同时提供 v0.9.0 这类版本化发布和 bNNNNN nightly 构建。GitHub 的 latest release 是版本化版本,其中的 nightly-tag.txt 指向对应 nightly 构建,b12110 就是本次使用的构建号。

安装预编译二进制

先读取 latest release 指向的 nightly 构建号:

LLAMA_BUILD=$(curl -sL https://github.com/ggml-org/llama.cpp/releases/latest/download/nightly-tag.txt)
echo "$LLAMA_BUILD"

输出:

b12110

下载 CPU 压缩包并解压到 /opt/llama.cpp:

curl -LO "https://github.com/ggml-org/llama.cpp/releases/download/${LLAMA_BUILD}/llama-${LLAMA_BUILD}-bin-ubuntu-x64.tar.gz"
sudo mkdir -p /opt/llama.cpp
sudo tar xzf "llama-${LLAMA_BUILD}-bin-ubuntu-x64.tar.gz" -C /opt/llama.cpp --strip-components=1
echo 'export PATH=/opt/llama.cpp:$PATH' | sudo tee /etc/profile.d/llama-cpp.sh
source /etc/profile.d/llama-cpp.sh

全新的 Ubuntu 26.04 云镜像首次执行 llama-cli --version 时可能报错:

libgomp.so.1: cannot open shared object file

这是 GCC OpenMP 运行库缺失造成的。安装:

sudo apt install -y libgomp1

Rocky Linux 10 云镜像通常已包含 libgomp。如缺失,执行:

sudo dnf install -y libgomp

Ubuntu 26.04 安装预编译 llama.cpp 时先缺少 libgomp.so.1,安装 libgomp1 后显示 build 12110

安装后可以使用四个主要工具:

  • llama-cli:单轮提示词和交互式聊天。
  • llama-server:兼容 OpenAI 的 API 与内置 Web UI。
  • llama-quantize:转换和压缩 GGUF 模型。
  • llama-bench:可重复的性能测试。

压缩包还包含一个统一的 llama 包装命令,把上述工具作为子命令提供。本文继续使用独立二进制,以便与现有脚本和 systemd 单元兼容。

从源码构建 llama.cpp

源码构建需要 C++ 编译器、CMake、Git 和 OpenSSL 开发包。-hf 下载器依赖 OpenSSL;Rocky 最小镜像还需要 openssl 命令本身。

Ubuntu 26.04 / 24.04:

sudo apt update
sudo apt install -y build-essential cmake git libssl-dev

Rocky Linux 10:

sudo dnf install -y gcc-c++ cmake git openssl-devel openssl

获取 latest release 标签并进行浅克隆:

LLAMA_TAG=$(curl -s https://api.github.com/repos/ggml-org/llama.cpp/releases/latest | grep -m1 "\"tag_name\"" | cut -d "\"" -f 4)
echo "$LLAMA_TAG"
git clone --branch "$LLAMA_TAG" --depth 1 https://github.com/ggml-org/llama.cpp
cd llama.cpp

关闭测试与示例后编译:

cmake -B build -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -j"$(nproc)"

安装到 /usr/local:

sudo cmake --install build --prefix /usr/local

Ubuntu 上刷新动态库缓存:

sudo ldconfig

Rocky Linux 10 的库位于 /usr/local/lib64,需要显式加入加载器:

echo /usr/local/lib64 | sudo tee /etc/ld.so.conf.d/llama-cpp.conf
sudo ldconfig

llama.cpp 在 Rocky Linux 10 上源码构建,修正 libllama-server-impl.so 加载错误

测试环境中的编译器分别为 Ubuntu 26.04 的 GCC 15.2、Ubuntu 24.04 的 GCC 13.3 和 Rocky Linux 10 的 GCC 14.3。

使用 llama-cli 运行第一次提示

-hf 会从 Hugging Face 下载 GGUF 模型,之后使用缓存。没有指定量化类型时优先选择 Q4_K_M。

以下命令使用无访问限制的 Gemma 3 1B:

llama-cli -hf ggml-org/gemma-3-1b-it-GGUF -st -p "In two sentences, what does a reverse proxy do?" -n 120

-st 表示回答一次后退出,-n 限制输出长度。该测试从下载到完成约 12 秒,提示处理速度约 32.2 token/s,生成速度约 13.2 token/s。

llama-cli 下载 Gemma 3 1B 并在 CPU 上完成单轮推理

模型缓存位于 ~/.cache/huggingface/hub。去掉 -st 可进入交互模式,输入 /exit 或按 Ctrl+C 退出。

使用 llama-server 提供 OpenAI 兼容 API

llama-server 默认监听 127.0.0.1:9931。旧脚本常使用 8080,需要时显式传入 --port。

API 密钥应放入文件并通过 --api-key-file 加载,不要直接在命令行传 --api-key,否则密钥会出现在 ps、shell 历史和 systemctl status 中。

mkdir -p ~/.config/llama
openssl rand -hex 32 > ~/.config/llama/api-keys
chmod 600 ~/.config/llama/api-keys

以前台方式启动:

llama-server -hf ggml-org/gemma-3-1b-it-GGUF -c 8192 --host 127.0.0.1 --port 9931 --api-key-file ~/.config/llama/api-keys

/health 不需要密钥,便于负载均衡器和健康检查;/v1/models 及错误密钥请求应返回 401。

llama-server 使用 API 密钥文件后,健康检查正常而模型接口返回 401

发送聊天请求:

API_KEY=$(head -1 ~/.config/llama/api-keys)
curl -s http://127.0.0.1:9931/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $API_KEY" \
  -d '{"model":"ggml-org/gemma-3-1b-it-GGUF","messages":[{"role":"user","content":"Name three Linux init systems, one line."}],"max_tokens":60}' \
  | python3 -m json.tool

返回结构兼容 OpenAI,并额外包含 timings 与 system_fingerprint:

{
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "systemd, OpenRC, SysVinit"
      }
    }
  ],
  "created": 1794379905,
  "model": "ggml-org/gemma-3-1b-it-GGUF",
  "system_fingerprint": "b12110-cd959bae9",
  "object": "chat.completion",
  "usage": {
    "completion_tokens": 10,
    "prompt_tokens": 18,
    "total_tokens": 28,
    "prompt_tokens_details": {
      "cached_tokens": 0
    }
  },
  "id": "chatcmpl-yq6VKITIpkQSwkq6FdjePHHLq8fbeWSJ",
  "timings": {
    "cache_n": 0,
    "prompt_n": 18,
    "prompt_ms": 599.551,
    "prompt_per_second": 30.02246681266481,
    "predicted_n": 10,
    "predicted_ms": 696.595,
    "predicted_per_second": 12.919989376897624
  }
}

任何 OpenAI 客户端都可以把基础 URL 设为 http://<主机>:9931/v1,并把文件中的密钥作为 API key。

使用内置 Web UI

浏览器打开 http://127.0.0.1:9931/。远程服务器可使用 SSH 隧道:

ssh -L 9931:127.0.0.1:9931 user@server

配置密钥后,页面会提示访问被拒绝。点击“Enter API Key”,粘贴密钥后选择“Save & Retry”。

llama-server Web UI 要求输入 API 密钥

验证成功后可在页面中聊天并查看 token 数与速度。

llama-server 内置 Web UI 使用 Gemma 3 1B 回答提示

继续前按 Ctrl+C 停止前台服务,因为下一步的 systemd 服务会绑定同一端口。

使用 systemd 运行 llama-server

创建无登录 shell 的系统用户、固定模型路径和 API 密钥文件:

sudo useradd --system --home-dir /var/lib/llama --create-home --shell /usr/sbin/nologin llama
sudo mkdir -p /var/lib/llama/models /etc/llama
sudo curl -L -o /var/lib/llama/models/gemma-3-1b-it-Q4_K_M.gguf https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-Q4_K_M.gguf
sudo chown -R llama:llama /var/lib/llama
openssl rand -hex 32 | sudo tee /etc/llama/api-keys >/dev/null
sudo chown root:llama /etc/llama/api-keys && sudo chmod 640 /etc/llama/api-keys

检查密钥文件:

sudo wc -c /etc/llama/api-keys

正常值为 65 字节,即 64 个十六进制字符和一个换行。如果为 0,说明 openssl 未安装,应安装后重新生成。

创建 /etc/systemd/system/llama-server.service:

sudo vim /etc/systemd/system/llama-server.service

内容:

[Unit]
Description=llama.cpp server (OpenAI-compatible API)
After=network-online.target
Wants=network-online.target

[Service]
User=llama
Group=llama
ExecStart=/opt/llama.cpp/llama-server \
  -m /var/lib/llama/models/gemma-3-1b-it-Q4_K_M.gguf \
  -c 8192 \
  --host 0.0.0.0 --port 9931 \
  --api-key-file /etc/llama/api-keys
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

源码安装时,把 ExecStart 改为 /usr/local/bin/llama-server。

服务绑定 0.0.0.0,因此必须由防火墙限制访问范围。Ubuntu 上先允许 SSH,再只开放局域网网段:

sudo ufw allow OpenSSH
sudo ufw allow from 10.0.1.0/24 to any port 9931 proto tcp
sudo ufw --force enable

Rocky Linux 10:

sudo firewall-cmd --permanent --add-rich-rule="rule family=ipv4 source address=10.0.1.0/24 port port=9931 protocol=tcp accept"
sudo firewall-cmd --reload

启动服务:

sudo systemctl daemon-reload
sudo systemctl enable --now llama-server
systemctl status llama-server --no-pager

llama-server systemd 服务运行在 9931 端口,ufw 仅允许局域网访问

测试服务启动约 1 秒,769 MB 的模型使进程使用约 217 MB 内存,因为 llama.cpp 默认通过 mmap 映射 GGUF 文件。

Rocky Linux 10 的 SELinux enforcing 环境中,/usr/local/bin 下的服务以 unconfined_service_t 运行,没有 AVC 拒绝。

安全警告:空密钥会让 API 对所有请求开放

即使传入 --api-key-file,文件为空时服务仍会启动,只写一条警告并允许所有请求。测试中,Rocky 虚拟机上的 /v1/models 在无密钥时返回 200;生成真实密钥并重启后才恢复 401。

Rocky Linux 10 使用空 API 密钥文件时接口开放,修复后返回 401

把下面的检查加入每次部署:

curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:9931/v1/models

结果必须是 401,绝不能是 200。

使用 llama-quantize 量化模型

只有官方未提供目标量化格式,或自行转换模型时才需要量化。必须从 F16 或 BF16 全精度文件开始,工具拒绝再次量化已量化文件。

mkdir -p ~/models && cd ~/models
curl -sL -o gemma-3-1b-it-f16.gguf https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-f16.gguf

转换为 Q4_K_M 和 Q8_0:

llama-quantize gemma-3-1b-it-f16.gguf gemma-3-1b-it-Q4_K_M.gguf Q4_K_M
llama-quantize gemma-3-1b-it-f16.gguf gemma-3-1b-it-Q8_0.gguf Q8_0
ls -lh *.gguf

Q4_K_M 用时约 21.6 秒,把 1.9 GB 文件缩小到 769 MB。部分张量会回退到兼容量化类型,这是正常警告。

llama-quantize 将 1.9 GB F16 模型转换为 769 MB Q4_K_M

常用量化类型:

15  or  Q4_K    : alias for Q4_K_M
15  or  Q4_K_M  :  4.58G, +0.1754 ppl @ Llama-3-8B
17  or  Q5_K    : alias for Q5_K_M
17  or  Q5_K_M  :  5.33G, +0.0569 ppl @ Llama-3-8B
18  or  Q6_K    :  6.14G, +0.0217 ppl @ Llama-3-8B
 7  or  Q8_0    :  7.96G, +0.0026 ppl @ Llama-3-8B

内存有限时,Q4_K_M 是聊天场景的合理起点;模型能轻松容纳且更重视精度时,可选择 Q6_K 或 Q8_0。

再次量化被拒绝

执行:

llama-quantize gemma-3-1b-it-Q8_0.gguf gemma-3-1b-it-Q4_0.gguf Q4_0

会得到“禁止从 q8_0 再次量化”的错误。二次量化会叠加两轮舍入误差,除非确无全精度源,否则不要使用 --allow-requantize。

使用 llama-bench 基准测试

llama-bench 固定运行 pp512 提示处理和 tg128 生成,重复多次并报告标准差。可以同时传入多个 -m 比较模型,或在 -t 中传入逗号分隔的线程数。

llama-bench \
  -m gemma-3-1b-it-f16.gguf \
  -m gemma-3-1b-it-Q8_0.gguf \
  -m gemma-3-1b-it-Q4_K_M.gguf

llama-bench -m gemma-3-1b-it-Q4_K_M.gguf -t 2,4

如果 systemd 服务在同一台主机运行,先停止服务,避免争抢 CPU。

Gemma 3 1B 不同量化格式与 2/4 线程的 llama-bench 结果

在该 4 vCPU 虚拟机上,生成速度分别为 F16 7.99 token/s、Q8_0 11.98 token/s、Q4_K_M 13.74 token/s。llama.cpp 默认选择 2 个线程,但强制 -t 4 后 Q4_K_M 从 13.62 提升到 17.17 token/s,提示处理从 42.48 提升到 49.54。在带超线程的云虚拟机上应测试后把最佳线程数写入 systemd 单元。

将推理卸载到 NVIDIA GPU

本节的 GPU 数据来自 2026 年 7 月使用 RTX 4090、旧构建 b10077 和 Qwen2.5-3B Q4_K_M 的测试;本次更新没有重新运行 GPU 路径,但参数已按当前版本核对。

安装 NVIDIA 驱动和 CUDA Toolkit 后,从源码构建时增加:

cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j"$(nproc)"

旧指南常用 -ngl 99 将所有层推到 GPU。当前默认是 --fit 自动分配显存,通常不必手动指定;只有需要给显卡上的其他进程保留显存时才限制层数。

将相同模型文件的 CPU 与 GPU 结果比较:

后端(Qwen2.5-3B Q4_K_M,2026 年 7 月) 提示处理 pp512 生成 tg128
CPU,Intel i7-6700,4 线程 43 token/s 11.8 token/s
GPU,NVIDIA RTX 4090 22,279 token/s 327.7 token/s

生成速度约快 28 倍,提示处理约快 500 倍。GPU 更适合处理长文档和并行计算;高并发多用户服务则应考虑 vLLM。

选择 llama.cpp 还是 Ollama

Ollama 自身也使用 llama.cpp 作为后端,区别主要在于希望管理多少底层参数。

llama.cpp Ollama
安装 压缩包或源码构建 一行安装脚本
模型 GGUF 文件或 -hf 仓库 通过 ollama pull 使用注册表
RTX 4090 生成速度(2026 年 7 月) 294~328 token/s 263 token/s
API OpenAI 兼容,9931 端口,密钥文件 原生 REST API,11434 端口
调优 可控制线程、上下文、卸载、缓存等全部参数 默认值合理,可调参数较少

经常切换模型、希望开箱即用时选择 Ollama。需要固定构建、自行管理 systemd 服务,并通过 -t 等参数调优时选择 llama.cpp。

无论选择哪种方案,都应设置 API 密钥、用防火墙限制来源,并在每次重启后验证未授权请求确实返回 401。

Avatar photo

关于 木子

Email: muzi@vip.rockylinux.cn 微信:VebinLee QQ: 2306867585
Founder of the Rocky Linux Chinese community, MVP、VMware vExpert、TVP, advocate for cloud native technologies, with over ten years of experience in site reliability engineering (SRE) and the DevOps field. Passionate about Cloud Computing、Microservices、CI&CD、DevOps、Kubernetes, currently dedicated to promoting and implementing Rocky Linux in Chinese-speaking regions.
用一杯咖啡支持我们,我们的每一篇[文档]都经过实际操作和精心打磨,而不是简单地从网上复制粘贴。期间投入了大量心血,只为能够真正帮助到您。
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇