基于 Rocky Linux 9 AI 大模型系列上线

自 2023 年 OpenAI 推出以来,人工智能领域迎来了爆发性增长。经过一年多的周期性优化和完善,大模型及其相关产品已经日趋成熟。木子认为现在是时候撰写一些关于大模型应用的文章了。在接下来的系列文章中,我们将基于 Rocky Linux 9 进行部署。文章内容包括:

系统配置

  • Rocky Linux 物理服务器上的 NVIDIA 显卡驱动安装与配置
  • CUDA Toolkit 的安装与配置
  • cuDNN 的安装与配置
  • NVIDIA Container Toolkit 的安装与配置
  • Docker GPU 调度配置

生产力工具

  • Ollama
  • ComfyUI
  • Open-WebUI
  • LiteLLM
  • RAGFlow
  • STT

本地大模型构建

  • llama 3.1
  • llama2-chinese
  • qwen2:7b
  • qwen2:32b
  • codegeex4:9b
  • glm4:9b

公有云大模型应用

  • Azure OpenAI
  • Claude
  • IBM Watsonx

我们热烈欢迎对人工智能和大模型感兴趣的朋友加入我们的撰写团队,共同探讨和分享创新应用。

9 月 02 日 , 2024 20:19
thumbnail
NVIDIA 显卡驱动安装介绍
前述 自 2023 年 OpenAI 推出以来,人工智能领域迎来了爆发性增长。经过一年多的周期性优化和完善,大模型及其相关产品已经日趋成熟。木子认为现在是时候撰写一些关于大模型应用的文章了。在接下来的系列文章中,我们将基于 Rocky Linux 9 进行部署。文章内容包括: 系统配置 Rocky Linux 物理服务器上的 NVIDIA 显...
thumbnail
Redis基础篇14 — 使用命令(六)对 value 的操作命令
sort set (zset) 简述 前面提到,set 这种数据类型具有 无序性 和 不可重复性(或者称 唯一性) ,即在 set 数据类型的底层中,其仅存储 key(string 类型),不存储 value(因为都是 nil) sort set (有序集合)的说明: 会对集合中的每一个成员进行排序。因为 sort set 中的每一个成员都关联一...
thumbnail
Redis基础篇13 — 使用命令(五)对 value 的操作命令
set 数据类型 前面我们提到了 list 链表数据类型,它本质是双向链表,这种数据类型拥有 有序性 和 可重复性 的特性。 set 数据类型与 list 数据类型大致相同,但它拥有 无序性 和 不可重复性(或称 唯一性)的特性,即在 set 数据类型的底层中,其仅存储 key,不存储 value(因为都是 nil)。 --------------…
thumbnail
Rocky Linux 9 从入门到精通007 — DNS管理(CoreDNS 集群部署篇)
CoreDNS 简介 CoreDNS 是一个灵活且可扩展的 DNS 服务器,它的设计目标是提供一种更现代化的 DNS 解决方案,用于服务发现和服务代理,特别是在云原生和容器化环境中。CoreDNS 是云原生计算基金会毕业的项目。CoreDNS 的主要特点包括: 插件架构:CoreDNS 采用模块化设计,所有功能都通过插件实现。用户可以根据需求...
thumbnail
DIY NAS系列32 — ZFS 存储池故障与恢复
说明 关于 ZFS 的内容,在 DIY NAS系列04 — ZFS 存储池管理 一文中已有详细介绍。然而,过去 ZFS 存储池一直运行在正常状态,尚未在实际生产环境中进行过存储池故障及恢复的操作。今天,恰巧木子使用了 3 年的 NAS 系统中的 ZFS 存储池发生了故障,借此机会我们记录了相关的恢复操作流程,也算是对于 ZFS 存储池管理的一个完整…
thumbnail
CentOS 7 终止生命周期后的 Linux 发行版选择:Rocky Linux 的多维度分析
背景说明 随着 CentOS Linux 7 在2024 年 6 月 30 日结束生命周期,许多群友开始讨论后续 Linux 发行版的选择问题。为了提供更全面的视角,我们从以下四个层面进行分析,希望能为大家提供有价值的参考: 高校支持 用户基数 云厂商支持 EPEL 数据统计分析 高校支持 目前,全国职业技能大赛的 Linux 部分选择的发行版为 …