搭建 DB-GPT
DB-GPT是一个开源的AI原生数据应用开发框架(AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。目的是构建大模型领域的基础设施,通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单,更方便。
DB-GPT
官方构建方式,各种问题,花了大半天才彻底构建成功,汇总了下安装步骤。
1. 拉取镜像,这里官方文档有本地构建镜像的方式,主要是可以构建eosphorosai/dbgpt-allinone镜像,其中包含mysql数据库,这里不影响后续使用别的数据源分析,所以不是很有必要。直接拉取即可。
2.Nvidia环境驱动安装。(非必须)
我是部署在centos环境里面的,运行LLM模型需要GPU资源,这里目前只支持Nvidia显卡支持。所以要安装Nvidia驱动,确保能执行nvidia-smi命令
使docker能调用Nvidia:https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installing-the-nvidia-container-toolkit
Centos安装Nvidia显卡驱动:https://www.cnblogs.com/deny/p/16305945.html
3.使用m3e-large模型
4.运行镜像
如果不需要本地运行LLM模型,或者不支持Nvidia显卡可以去掉--gpus all
5.浏览器访问db-gpt:http://localhost:5670
注⚠️: v0.5.4之前版本端口为5000, http://localhost:5000
如无意外应该能看到如下页面