精彩评论
- 张麻子是杂种（2天前）
从有人以来就没有比张麻子更邪恶 张口闭口为人民，害死几千万人还为人民，为自己的皇位还差不多，...
评：深度解析《让子弹飞》 al2359（3年前 (2023-02-06)）
求科学离线插件，谢谢！34401355@qq.com
评：改版梅林固件安装SS【shadowsocks】科学上网插件教程求科学离线插件，谢谢！！！
评：改版梅林固件安装SS【shadowsocks】科学上网插件教程
本项目从零开始实现了大模型外接知识库的流程：
- 中文数据集处理
- 词向量模型训练
- 文档向量化
- 向量数据库存储知识库
- 本地ChatGLM2-6B大模型部署
- 简单的知识库应用
- corpus：存放知识库文档的文件夹
- data：词向量模型训练相关的数据（模型文件较大，请自行下载模型）
- doc：词向量模型训练的源码、文档
- llm_server：简单的知识库应用
- vector_db：将corpus里的文档存入qdrant向量数据库
- config.json：项目的一些配置
- OPENAI_API_KEY：openai的api key
- EMBEDDING_MODEL_TYPE：文本向量化的模型openai或word2vec
- CHAT_MODEL_TYPE：对话大模型openai或chatglm
- CHATGLM_PORT：ChatGLM本地部署的端口
- **PATH：一些路径，以项目根目录为起点
- COLLECTION_NAME：向量数据库Collection的名称
cd vector_db
pip install -r requirements.txt
python main.py
main.py会自动创建名为COLLECTION_NAME的向量数据库，并将corpus文件夹中的文档向量化存储到数据库中
cd llm_server
pip install -r requirements.txt
python main.py
运行本地部署的ChatGLM2-6B
「梦想一旦被付诸行动，就会变得神圣，如果觉得我的文章对您有用，请帮助本站成长」
标签：
手把手从零教你搭建大模型知识库 下一篇：今天手把手教大家从搭建环境开始实现本地部署ChatGLM2 6B 大模型
