26 lines
635 B
Markdown
26 lines
635 B
Markdown
# 项目目录
|
|
## 项目启动
|
|
#### 1.模型启动
|
|
1. 找到 docker容器: llm
|
|
2. 终端使用 screen 进入持久线程
|
|
cmd: screen -R -S model
|
|
3. 选择大模型服务器类型
|
|
llama3:
|
|
python3 /workspace/llama3-ch.py
|
|
qwen1.5-32b:
|
|
python3 /workspace/qwen32b.py
|
|
|
|
|
|
统一端口： http://192.168.68.30:10800/generate
|
|
数据格式： data = {
|
|
'system': prompt,
|
|
'user': prompt
|
|
}
|
|
|
|
#### 2.网页UI启动
|
|
1. 找到 docker容器: demo
|
|
2. 终端使用 screen 进入持久线程
|
|
cmd: screen -R -S QA-demo
|
|
3. 启动环境和脚本
|
|
激活环境： conda activate QA-demo
|
|
启动脚本： sh /workspace/LLM-HKTB/webui_hktb_qwen_local.sh |