本文首先介绍了RAGFlow，这是一款基于深度文档理解的开源检索增强生成（RAG）引擎，可为不同规模的企业和个人提供简化的RAG工作流程。接着，详细描述了RAGFlow的部署步骤，包括系统要求、Linux内核参数调整和Docker容器安装。文中还展示了如何配置Azure OpenAI模型提供商、知识库和数据集，并提供了基于个人笔记的实例进行测试验证，显示了RAGFlow在问答及引用方面的效果。此外，本文探讨了在企业环境中构建有效知识库所面临的挑战，以及不同大语言模型（LLM）在此过程中表现出的差异，尤其是嵌入模型与大语言模型的最佳组合。文章也提示了构建企业级知识库时需要重点考虑的诸多复杂问题，并对不同行业人员给出针对性的建议。最后，文中提供了一些主要参考文献，以便读者深入了解和进一步研究。

本文介绍了LiteLLM，这是一款专为大语言模型（LLM）服务提供代理网关的工具，能够代理包括OpenAI、Azure OpenAI等在内的多种LLM提供商，并支持统一的API调用方式。文中详细描述了如何通过LiteLLM代理Azure OpenAI，从而使Open-WebUI能够调用Azure OpenAI接口进行自然语言处理。具体内容包括LiteLLM和Open-WebUI的部署步骤与配置方法，以及如何在Open-WebUI中设置LiteLLM代理和默认模型。通过示例，本文展示了如何使用LiteLLM实现对话管理和模型切换功能。此外，文章还介绍了其他可选的开源产品，并提供了一些相关的参考文献供进一步研究。

在本文中，我们将带您一步一步完成 Open-WebUI 的全面部署，从基础设施配置到高级用户管理和模型下载。本文特别针对 Ollama 用户，详细介绍了如何通过 Docker Compose 将 Open-WebUI 与 Ollama 无缝集成，并利用 Open-WebUI 强大的管理和扩展功能实现对话权限控制、LDAP 用户认证以及负载均衡等高级功能。此外，我们还深入探讨如何通过不同版本的 Open-WebUI 来管理模型、设置默认模型以及启用网络搜索功能。通过这篇文章，您将学会如何有效、自定义地部署和配置 Open-WebUI，使其成为您本地大模型交互的最佳工具。

前述 自从 OpenAI 于 2022 年 11 月 30 日发布 ChatGPT 以来，经过 2023 年的不断发展，大语言模型的概念已经深入人心。基于大语言模型的各种周边产品和集成工具层出不穷，呈现出百花齐放的局面。在这一过程中，许多本地化的模型应用方案也应运而生。对于一些企业知识库问答的场景，模型本地化成为首要考虑的问题。因此，如何本地化调教...

如果想在容器中可以调用 NVIDIA GPU，还需要在宿主机需要安装 NVIDIA Container Toolkit，以便容器能够访问和使用 GPU。 # 配置仓库信息 [root@gpu-server-001 ~]# wget -O /etc/yum.repos.d/nvidia-container-to...

与安装 NVIDIA 显卡驱动相比，卸载驱动相对简单。然而，卸载驱动的方式会因安装方法的不同而有所变化。对于通过离线方式安装的 NVIDIA 显卡驱动，可以直接使用 /usr/bin/nvidia-uninstall 命令进行卸载。对于通过在线方式安装的 NVIDIA 显卡驱动，如果安装的是 nvidia-driver:560，可以采用与离线...

本文详细介绍了在 Rocky Linux 9 上在线安装 NVIDIA 闭源驱动的步骤和注意事项。相比于离线安装，在线安装较为复杂，需要了解不同类型驱动的差异和选择适合的选项。安装步骤包括启用 EPEL 源、配置 BIOS 安全引导和禁用开源驱动等。文章还详细说明了如何获取显卡信息、安装依赖包和驱动模块的具体操作。驱动模块分为标准版、DKMS 版和开源版，三者适用于不同的使用场景。标准版适合需要高性能和稳定性的用户，DKMS 版适合经常更新内核的用户，而开源版则适合倾向于开源软件的用户。文章通过实际操作步骤展示如何启用和安装合适的驱动模块，同时提供了验证驱动是否正确安装的方法。若使用场景仅限于普通图形处理，本文所述步骤已经足够。如果涉及高级需求如科学计算或 CUDA 应用，可以参考文末提供的相关文献。

cuDNN 简介 cuDNN（CUDA Deep Neural Network library）是由 NVIDIA 提供的一个 GPU 加速库，专门用于深度学习中的神经网络操作。cuDNN 提供了高度优化的实现，支持卷积、池化、归一化、激活函数以及 RNN（循环神经网络）等常见的神经网络操作。 cuDNN 的作用 加速深度学习：cuDNN...

CUDA Toolkit 是为了利用 NVIDIA GPU 实现高性能并行计算和图形处理而设计的完整开发环境。本文详细介绍了 CUDA Toolkit 的组成部分和关键功能，包括 CUDA 驱动程序、运行时库、开发工具和数学库的作用。此外，提供了具体的安装指南，包括如何选择合适版本、离线安装和在线安装步骤，以及在不同操作系统和硬件环境中的配置方法。通过遵循本指南，用户将在 Rocky Linux 9 系统上成功安装并配置 CUDA Toolkit，结合 NVIDIA 驱动程序，以充分发挥 GPU 的计算能力。本文还介绍了如何验证安装结果和使用 Docker 镜像运行 CUDA 应用程序，确保无缝对接和兼容性。无论您是进行科学计算、图像处理还是机器学习，利用 CUDA Toolkit 都能够显著提升计算性能，并释放 GPU 的潜能，让您的计算任务更加轻松！

在前文中提到，大部分 Linux 发行版默认使用开源的 NVIDIA 驱动程序。然而，出于性能或功能需求，有时需要安装闭源（也称专有）驱动。例如，木子需要使用 CUDA 功能，因此需要安装 NVIDIA 的闭源驱动。 安装 NVIDIA 闭源驱动的步骤如下： 配置 BIOS 安全引导启动设置。 禁用系统默认的开源驱动。 确认显卡型号。 从 NVI...