thumbnail
如何正确选择 Rocky Linux Docker 镜像
在 DockerHub 上,Rocky Linux Docker 镜像有多种类型,包括 rockylinux/rockylinux:9、rockylinux/rockylinux:9-minimal、rockylinux/rockylinux:9-ubi-init 和 rockylinux/rockylinux:9-ubi-micro。那么这些镜像...
thumbnail
密码保护:NVIDIA 显卡安装 CUDA Toolkit
CUDA Toolkit 是为了利用 NVIDIA GPU 实现高性能并行计算和图形处理而设计的完整开发环境。本文详细介绍了 CUDA Toolkit 的组成部分和关键功能,包括 CUDA 驱动程序、运行时库、开发工具和数学库的作用。此外,提供了具体的安装指南,包括如何选择合适版本、离线安装和在线安装步骤,以及在不同操作系统和硬件环境中的配置方法。通过遵循本指南,用户将在 Rocky Linux 9 系统上成功安装并配置 CUDA Toolkit,结合 NVIDIA 驱动程序,以充分发挥 GPU 的计算能力。本文还介绍了如何验证安装结果和使用 Docker 镜像运行 CUDA 应用程序,确保无缝对接和兼容性。无论您是进行科学计算、图像处理还是机器学习,利用 CUDA Toolkit 都能够显著提升计算性能,并释放 GPU 的潜能,让您的计算任务更加轻松!
thumbnail
离线安装 NVIDIA 显卡闭源驱动
在前文中提到,大部分 Linux 发行版默认使用开源的 NVIDIA 驱动程序。然而,出于性能或功能需求,有时需要安装闭源(也称专有)驱动。例如,木子需要使用 CUDA 功能,因此需要安装 NVIDIA 的闭源驱动。 安装 NVIDIA 闭源驱动的步骤如下: 配置 BIOS 安全引导启动设置。 禁用系统默认的开源驱动。 确认显卡型号。 从 NVI...
thumbnail
关于持续维护技术类社区博客的思考
木子最近一直在思考如何保持一个技术类社区站点的持续更新。通过阅读知乎上大量关于此类问题的文章和提问,包括“个人技术类博客为什么搞着搞着就没有更新了?”和“为什么个人技术类博客在国内难以生存?”等,木子总结了以下几个主要原因: 成年后的生活压力增加:有了家庭后,责任更重,难以抽出时间更新博客。 缺乏读者反馈:文章无人阅读,创作动力不足。 没...
基于 Rocky Linux 9 AI 大模型系列上线

自 2023 年 OpenAI 推出以来,人工智能领域迎来了爆发性增长。经过一年多的周期性优化和完善,大模型及其相关产品已经日趋成熟。木子认为现在是时候撰写一些关于大模型应用的文章了。在接下来的系列文章中,我们将基于 Rocky Linux 9 进行部署。文章内容包括:

系统配置

  • Rocky Linux 物理服务器上的 NVIDIA 显卡驱动安装与配置
  • CUDA Toolkit 的安装与配置
  • cuDNN 的安装与配置
  • NVIDIA Container Toolkit 的安装与配置
  • Docker GPU 调度配置

生产力工具

  • Ollama
  • ComfyUI
  • Open-WebUI
  • LiteLLM
  • RAGFlow
  • STT

本地大模型构建

  • llama 3.1
  • llama2-chinese
  • qwen2:7b
  • qwen2:32b
  • codegeex4:9b
  • glm4:9b

公有云大模型应用

  • Azure OpenAI
  • Claude
  • IBM Watsonx

我们热烈欢迎对人工智能和大模型感兴趣的朋友加入我们的撰写团队,共同探讨和分享创新应用。

902 日 , 2024 20:19
thumbnail
NVIDIA 显卡驱动安装介绍
前述 自 2023 年 OpenAI 推出以来,人工智能领域迎来了爆发性增长。经过一年多的周期性优化和完善,大模型及其相关产品已经日趋成熟。木子认为现在是时候撰写一些关于大模型应用的文章了。在接下来的系列文章中,我们将基于 Rocky Linux 9 进行部署。文章内容包括: 系统配置 Rocky Linux 物理服务器上的 NVIDIA 显...
thumbnail
Redis基础篇14 — 使用命令(六)对 value 的操作命令
sort set (zset) 简述 前面提到,set 这种数据类型具有 无序性 和 不可重复性(或者称 唯一性) ,即在 set 数据类型的底层中,其仅存储 key(string 类型),不存储 value(因为都是 nil) sort set (有序集合)的说明: 会对集合中的每一个成员进行排序。因为 sort set 中的每一个成员都关联一...
thumbnail
Redis基础篇13 — 使用命令(五)对 value 的操作命令
set 数据类型 前面我们提到了 list 链表数据类型,它本质是双向链表,这种数据类型拥有 有序性 和 可重复性 的特性。 set 数据类型与 list 数据类型大致相同,但它拥有 无序性 和 不可重复性(或称 唯一性)的特性,即在 set 数据类型的底层中,其仅存储 key,不存储 value(因为都是 nil)。 --------------…
thumbnail
Rocky Linux 9 从入门到精通007 — DNS管理(CoreDNS 集群部署篇)
CoreDNS 简介 CoreDNS 是一个灵活且可扩展的 DNS 服务器,它的设计目标是提供一种更现代化的 DNS 解决方案,用于服务发现和服务代理,特别是在云原生和容器化环境中。CoreDNS 是云原生计算基金会毕业的项目。CoreDNS 的主要特点包括: 插件架构:CoreDNS 采用模块化设计,所有功能都通过插件实现。用户可以根据需求...