cuDNN 简介
cuDNN（CUDA Deep Neural Network library）是由 NVIDIA 提供的一个 GPU 加速库，专门用于深度学习中的神经网络操作。cuDNN 提供了高度优化的实现，支持卷积、池化、归一化、激活函数以及 RNN（循环神经网络）等常见的神经网络操作。
cuDNN 的作用
加速深度学习：cuDNN...
当同事反馈 Docker 容器无法正常上网时，我们通过分析发现这是由于 IPv4 转发被关闭引起的。最终我们发现，在 Red Hat 系列系统中，使用 /etc/rc.d/init.d/network 来管理网络时，重启网络服务实际上执行的是 stop 和 start 命令的组合。而在执行 stop 命令时，会运行 sysctl -w net.ip...
在 DockerHub 上，Rocky Linux Docker 镜像有多种类型，包括 rockylinux/rockylinux:9、rockylinux/rockylinux:9-minimal、rockylinux/rockylinux:9-ubi-init 和 rockylinux/rockylinux:9-ubi-micro。那么这些镜像...
CUDA Toolkit 是为了利用 NVIDIA GPU 实现高性能并行计算和图形处理而设计的完整开发环境。本文详细介绍了 CUDA Toolkit 的组成部分和关键功能，包括 CUDA 驱动程序、运行时库、开发工具和数学库的作用。此外，提供了具体的安装指南，包括如何选择合适版本、离线安装和在线安装步骤，以及在不同操作系统和硬件环境中的配置方法。通过遵循本指南，用户将在 Rocky Linux 9 系统上成功安装并配置 CUDA Toolkit，结合 NVIDIA 驱动程序，以充分发挥 GPU 的计算能力。本文还介绍了如何验证安装结果和使用 Docker 镜像运行 CUDA 应用程序，确保无缝对接和兼容性。无论您是进行科学计算、图像处理还是机器学习，利用 CUDA Toolkit 都能够显著提升计算性能，并释放 GPU 的潜能，让您的计算任务更加轻松！
在前文中提到，大部分 Linux 发行版默认使用开源的 NVIDIA 驱动程序。然而，出于性能或功能需求，有时需要安装闭源（也称专有）驱动。例如，木子需要使用 CUDA 功能，因此需要安装 NVIDIA 的闭源驱动。
安装 NVIDIA 闭源驱动的步骤如下：
配置 BIOS 安全引导启动设置。
禁用系统默认的开源驱动。
确认显卡型号。
从 NVI...
木子最近一直在思考如何保持一个技术类社区站点的持续更新。通过阅读知乎上大量关于此类问题的文章和提问，包括“个人技术类博客为什么搞着搞着就没有更新了？”和“为什么个人技术类博客在国内难以生存？”等，木子总结了以下几个主要原因：
成年后的生活压力增加：有了家庭后，责任更重，难以抽出时间更新博客。
缺乏读者反馈：文章无人阅读，创作动力不足。
没...
基于 Rocky Linux 9 AI 大模型系列上线
自 2023 年 OpenAI 推出以来，人工智能领域迎来了爆发性增长。经过一年多的周期性优化和完善，大模型及其相关产品已经日趋成熟。木子认为现在是时候撰写一些关于大模型应用的文章了。在接下来的系列文章中，我们将基于 Rocky Linux 9 进行部署。文章内容包括：
系统配置
- Rocky Linux 物理服务器上的 NVIDIA 显卡驱动安装与配置
- CUDA Toolkit 的安装与配置
- cuDNN 的安装与配置
- NVIDIA Container Toolkit 的安装与配置
- Docker GPU 调度配置
生产力工具
- Ollama
- ComfyUI
- Open-WebUI
- LiteLLM
- RAGFlow
- STT
本地大模型构建
- llama 3.1
- llama2-chinese
- qwen2:7b
- qwen2:32b
- codegeex4:9b
- glm4:9b
公有云大模型应用
- Azure OpenAI
- Claude
- IBM Watsonx
我们热烈欢迎对人工智能和大模型感兴趣的朋友加入我们的撰写团队，共同探讨和分享创新应用。
前述
自 2023 年 OpenAI 推出以来，人工智能领域迎来了爆发性增长。经过一年多的周期性优化和完善，大模型及其相关产品已经日趋成熟。木子认为现在是时候撰写一些关于大模型应用的文章了。在接下来的系列文章中，我们将基于 Rocky Linux 9 进行部署。文章内容包括：
系统配置
Rocky Linux 物理服务器上的 NVIDIA 显...
概述
redis-benchmark 命令是一个用于测试 redis 性能的基准测试工具。在我们的源代码编译安装环境中，它位于这个路径位置：
Shell > ls -lhS /usr/local/redis/bin/
-rwxr-xr-x 1 root root 19M 10月 11 11:39 redis-server
-rwxr-xr-...
sort set (zset) 简述
前面提到，set 这种数据类型具有 无序性 和 不可重复性（或者称 唯一性） ，即在 set 数据类型的底层中，其仅存储 key（string 类型），不存储 value（因为都是 nil）
sort set （有序集合）的说明：
会对集合中的每一个成员进行排序。因为 sort set 中的每一个成员都关联一...