chunzhi/chatgpt_academic
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Merge branch 'master' of github.com:binary-husky/chatgpt_academic

Browse Source
This commit is contained in:
Your Name 2023-04-21 19:28:37 +08:00
commit 7339b06acb
2 changed files with 7 additions and 7 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
request_llm/README.md
View File

@ -1,4 +1,4 @@
# 如何使用其他大语言模型（v3.0分支测试中）
# 如何使用其他大语言模型
## ChatGLM
@ -15,7 +15,7 @@ LLM_MODEL = "chatglm"
---
## Text-Generation-UI (TGUI)
## Text-Generation-UI (TGUI，调试中，暂不可用)
### 1. 部署TGUI
``` sh

10
request_llm/bridge_all.py
View File

@ -1,12 +1,12 @@
"""
该文件中主要包含2个函数
该文件中主要包含2个函数，是所有LLM的通用接口，它们会继续向下调用更底层的LLM模型，处理多模型并行等细节
不具备多线程能力的函数：
1. predict: 正常对话时使用，具备完备的交互功能，不可多线程
不具备多线程能力的函数：正常对话时使用，具备完备的交互功能，不可多线程
1. predict(...)
具备多线程调用能力的函数
2. predict_no_ui_long_connection：在实验过程中发现调用predict_no_ui处理长文档时，和openai的连接容易断掉，这个函数用stream的方式解决这个问题，同样支持多线程
具备多线程调用能力的函数：在函数插件中被调用，灵活而简洁
2. predict_no_ui_long_connection(...)
"""
import tiktoken
from functools import lru_cache