LLM/README.md

项目目录

项目启动

1.模型启动

1. 找到 docker容器: llm
2. 终端使用 screen 进入持久线程 cmd: screen -R -S model
3. 选择大模型服务器类型 llama3: python3 /workspace/llama3-ch.py qwen1.5-32b: python3 /workspace/qwen32b.py

统一端口： http://192.168.68.30:10800/generate 数据格式： data = { 'system': prompt, 'user': prompt }

2.网页UI启动

1. 找到 docker容器: demo
2. 终端使用 screen 进入持久线程 cmd: screen -R -S QA-demo
3. 启动环境和脚本 激活环境： conda activate QA-demo 启动脚本： sh /workspace/LLM-HKTB/webui_hktb_qwen_local.sh