新增 README.md
commit
5c7c5b83a9
|
|
@ -0,0 +1,22 @@
|
||||||
|
# 项目目录
|
||||||
|
## 项目启动
|
||||||
|
#### 1.模型启动
|
||||||
|
终端使用 screen 进入持久线程
|
||||||
|
screen -R -S model
|
||||||
|
|
||||||
|
llama3:
|
||||||
|
python3 /workspace/llama3-ch.py
|
||||||
|
qwen1.5-32b:
|
||||||
|
python3 /workspace/qwen32b.py
|
||||||
|
|
||||||
|
统一端口:
|
||||||
|
http://192.168.68.30:10800/generate
|
||||||
|
data = {
|
||||||
|
'system': prompt,
|
||||||
|
'user': prompt
|
||||||
|
}
|
||||||
|
#### 2.网页UI启动
|
||||||
|
screen -R -S QA-demo
|
||||||
|
启动脚本
|
||||||
|
conda activate QA-demo
|
||||||
|
sh /workspace/LLM-HKTB/webui_hktb_qwen_local.sh
|
||||||
Loading…
Reference in New Issue