chunzhi/chatgpt_academic
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Update bridge_all.py

Browse Source
This commit is contained in:
binary-husky 2023-04-21 18:56:56 +08:00 committed by GitHub
parent e889590a91
commit a9a489231a
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23
1 changed files with 5 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

10
request_llm/bridge_all.py
View File

@ -1,12 +1,12 @@
""" """
该文件中主要包含2个函数 该文件中主要包含2个函数，是所有LLM的通用接口，它们会继续向下调用更底层的LLM模型，处理多模型并行等细节
不具备多线程能力的函数： 不具备多线程能力的函数：正常对话时使用，具备完备的交互功能，不可多线程
1. predict: 正常对话时使用，具备完备的交互功能，不可多线程 1. predict(...)
具备多线程调用能力的函数 具备多线程调用能力的函数：在函数插件中被调用，灵活而简洁
2. predict_no_ui_long_connection：在实验过程中发现调用predict_no_ui处理长文档时，和openai的连接容易断掉，这个函数用stream的方式解决这个问题，同样支持多线程 2. predict_no_ui_long_connection(...)
""" """
import tiktoken import tiktoken
from functools import lru_cache from functools import lru_cache