先看效果

An image to describe post

需要的工具（RAGFlow + Ollama）

  1. RAGFlow：用于 RAG 的前端操作平台，点击试用 RAGFlow，以下是选择它的理由；
    * 开源本地部署；
    * 认同 "Quality in, quality out" 的理念；
    * 基于深度文档理解，能够从各类复杂格式的非结构化数据中提取真知灼见。
    * 最主要的理由是它提供了一推文档解析方式，比如：通用文档、Q&A（键值对）、简历、说明书、表格、论文、电子书、法律文件、演示文档（PPT）、图片识别等，下面是其中几个比较有代表性的文档解析方式的说明图片；
    An image to describe post


    • 劣势：
      1. 不支持 MarkDown 格式的文件，但可以通过修改后缀名为 TXT 变相使用，后期可以给 MD 文件的解析单独写插件；
      2. 项目还处于早期，目前有些小 Bug（比如：解析图片有时会写入数据库失败，在推理的时候无法显示），但不影响简单使用；
  2. Ollama：用于后端模型服务；
  3. MobaXterm（非必须）：远程连接 Ubuntu 系统的工具，主要是用惯了比较顺手；

搭建流程

  1. 先说简单的 Ollama，可以直接官网 Download Ollama on Windows 下载安装使用。以下是个人选择的一些模型，由于我目前使用的是 i9 + 4090显卡 + 64G 内存，所以选择的推理模型较大，大家可以根据自己机子调整。官方要求是（CPU >= 2 核，RAM >= 8 GB，Docker >= 24.0.0 & Docker Compose >= v2.26.1）。写这篇文档的日期是 2024-4-14，排名来源：MTEB Leaderboard - a Hugging Face Space；
    • 中文 Embedding 模型个人选择：
      • chevalblanc/acge_text_embedding:latest 中文排名 8，模型大小 651M
      • milkey/gte:large-zh-f16 中文排名 11，模型大小 650M
      • znbang/bge:large-zh-v1.5-f32 中文排名 20，模型大小 1.3G
      • znbang/bge:large-zh-v1.5-q4_k_m 中文排名 20，模型大小 202M
    • 英文 Embedding 模型个人选择：
      • sammcj/sfr-embedding-mistral:Q4_K_M 英文排名 1，模型大小 4.4G
      • mxbai-embed-large:latest 英文排名 14，模型大小 669M
      • nomic-embed-text:latest 英文排名 19，模型大小 274M
      • all-minilm:latest 英文排名 ?，模型大小 45M，主要是小
    • 问答模型个人选择：
      • causallm_14b.Q8_0:latest 针对中文，无和谐，模型大小 15G，目前我本地这个版本经常自问自答
      • yi:34b-chat-q2_K 针对中文，和谐（有些问题拒绝回答），模型大小 14G
      • llama2:13b-chat-q6_K 针对英文，无和谐，模型大小 10G
  2. RAGFlow 搭建；
    1. 本地使用 VMware Workstation Pro 搭建一台 Linux 服务器，选择 Ubuntu-22.04.4-live-server-amd64，8 G 内存，1 处理器（24核），100 G 硬盘，安装好后需要手动安装 Docker 和 Docker Compose；
    2. 按照 infiniflow/ragflow 主页的提示，下载安装运行即可。国内的小伙伴请确保网络能自由访问 huggingface；

踩过的坑

  1. 不要用 Windows 的 Docker 运行 RAGFlow 的 docker compose 命令，由于总是启动不成功，也看不到日志，所以放弃；
  2. RAGFlow 的启动过程中间会遇到几个第三方模块没有安装，按照提示安装即可；
  3. Ollama 服务端需要把 IP 暴露给 RAGFlow，默认情况 Ollama 服务的访问地址是 localhost:11434 或 127.0.0.1:11434 ，由于 RAGFlow 在 Docker 中运行，所以是找不到 Ollama 服务的。可以通过在Windows上设置环境变量控制：
    1. 首先通过任务栏点击 Ollama 退出程序；
    2. 从控制面板编辑系统环境变量；
    3. 为您的用户账户编辑或新建变量，OLLAMA_HOST=0.0.0.0 ；
    4. 点击OK/应用保存；
    5. 在一个新的终端窗口运行 ollama ；

感谢您的耐心阅读！如果您发现了任何有趣的相关内容，欢迎随时通过私信或邮件与我分享。期待您的精彩投稿！
也请将这些信息传播给更多的朋友，让更多人有机会接触到这些有价值的内容。

你可以在这里找到我：
| 推特 | Quail订阅 |邮箱：[email protected]

An image to describe post