JAX
/
LLM
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

更新 README.md

main
JAX 2024-05-27 10:22:54 +00:00
parent 5c7c5b83a9
commit 1c2e666ed5
1 changed files with 16 additions and 12 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

24
README.md
View File

@ -1,22 +1,26 @@
# 项目目录 # 项目目录
## 项目启动 ## 项目启动
#### 1.模型启动 #### 1.模型启动
终端使用 screen 进入持久线程 1. 找到 docker容器: llm
screen -R -S model 2. 终端使用 screen 进入持久线程
cmd: screen -R -S model
3. 选择大模型服务器类型
llama3: llama3:
python3 /workspace/llama3-ch.py python3 /workspace/llama3-ch.py
qwen1.5-32b: qwen1.5-32b:
python3 /workspace/qwen32b.py python3 /workspace/qwen32b.py
统一端口：
http://192.168.68.30:10800/generate 统一端口： http://192.168.68.30:10800/generate
data = { 数据格式： data = {
'system': prompt, 'system': prompt,
'user': prompt 'user': prompt
} }
#### 2.网页UI启动 #### 2.网页UI启动
screen -R -S QA-demo 1. 找到 docker容器: demo
启动脚本 2. 终端使用 screen 进入持久线程
conda activate QA-demo cmd: screen -R -S QA-demo
sh /workspace/LLM-HKTB/webui_hktb_qwen_local.sh 3. 启动环境和脚本
激活环境： conda activate QA-demo
启动脚本： sh /workspace/LLM-HKTB/webui_hktb_qwen_local.sh