Linuxword Global
当前位置: 建站相关 > 手把手从零教你搭建大模型知识库

本项目从零开始实现了大模型外接知识库的流程:

  1. 中文数据集处理
  2. 词向量模型训练
  3. 文档向量化
  4. 向量数据库存储知识库
  5. 本地ChatGLM2-6B大模型部署
  6. 简单的知识库应用

3

项目结构

  • corpus:存放知识库文档的文件夹
  • data:词向量模型训练相关的数据(模型文件较大,请自行下载模型)
  • doc:词向量模型训练的源码、文档
  • llm_server:简单的知识库应用
  • vector_db:将corpus里的文档存入qdrant向量数据库
  • config.json:项目的一些配置
    • OPENAI_API_KEY:openai的api key
    • EMBEDDING_MODEL_TYPE:文本向量化的模型openai或word2vec
    • CHAT_MODEL_TYPE:对话大模型openai或chatglm
    • CHATGLM_PORT:ChatGLM本地部署的端口
    • **PATH:一些路径,以项目根目录为起点
    • COLLECTION_NAME:向量数据库Collection的名称

运行

生成持久化知识库

cd vector_db
pip install -r requirements.txt
python main.py
 

main.py会自动创建名为COLLECTION_NAME的向量数据库,并将corpus文件夹中的文档向量化存储到数据库中

运行应用

cd llm_server
pip install -r requirements.txt
python main.py
 

运行本地部署的ChatGLM2-6B

「梦想一旦被付诸行动,就会变得神圣,如果觉得我的文章对您有用,请帮助本站成长」

赞(0) *** 在线联系博主***
+1(323)529-5889

TeleGram联系

WhatsAPP联系

上一篇:

下一篇:

相关推荐

博客简介

本站CDN采用VmShell免费提供离中国大陆最近的香港CMI高速网络做支撑,ToToTel打造全球最快速的边沿网络支撑服务,具体详情请见 :https://vmshell.com/ 以及 https://tototel.com/,网站所有的文件和内容禁止大陆网站搬迁复制,谢谢,VPS营销投稿邮箱: admin@linuxxword.com,我们免费帮大家发布,不收取任何费用,请提供完整测试文稿!

精彩评论

关于VmShell INC

VMSHELL INC 是一家成立于2021年的美国云计算服务公司,总部位于怀俄明州谢里丹,专注于提供全球数据中心的虚拟机服务器租赁和全球金融服务。 公司旗下品牌包括VmShell 和ToToTel,业务覆盖亚洲和美洲以及欧洲,致力于为外贸企业提供高效、稳定的网络解决方案。购买CMI香港服务器

站点统计

  • 文章总数: 3140 篇
  • 草稿数目: 0 篇
  • 分类数目: 9 个
  • 独立页面: 0 个
  • 评论总数: 2 条
  • 链接总数: 0 个
  • 标签总数: 48026 个
  • 注册用户: 139 人
  • 访问总量: 8,657,152 次
  • 最近更新: 2025年12月5日