From 3d6ee5c755a1506489c2fb031aa9cdc275d2a737 Mon Sep 17 00:00:00 2001
From: Skyzayre <120616113+Skyzayre@users.noreply.github.com>
Date: Fri, 1 Dec 2023 09:29:45 +0800
Subject: [PATCH 1/6] =?UTF-8?q?=E8=BD=AC=E5=8C=96README=E5=BE=BD=E7=AB=A0?=
=?UTF-8?q?=E4=B8=BA=E5=8A=A8=E6=80=81=E5=BE=BD=E7=AB=A0?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
将license、version、realease徽章都转化为动态徽章,减少README维护成本
---
README.md | 16 +++++++++-------
1 file changed, 9 insertions(+), 7 deletions(-)
diff --git a/README.md b/README.md
index 54bf7c1..c0e0a83 100644
--- a/README.md
+++ b/README.md
@@ -18,15 +18,15 @@
[![Wiki][Wiki-image]][Wiki-url]
[![PR][PRs-image]][PRs-url]
-[License-image]: https://img.shields.io/badge/LICENSE-GPL3.0-orange?&style=flat-square
-[Github-image]: https://img.shields.io/badge/github-12100E.svg?&style=flat-square
-[Releases-image]: https://img.shields.io/badge/Releases-v3.6.0-blue?style=flat-square
-[Installation-image]: https://img.shields.io/badge/Installation-v3.6.1-blue?style=flat-square
+[Github-image]: https://img.shields.io/badge/github-12100E.svg?style=flat-square
+[License-image]: https://img.shields.io/github/license/binary-husky/gpt_academic?label=License&style=flat-square&color=orange
+[Releases-image]: https://img.shields.io/github/release/binary-husky/gpt_academic?label=Release&style=flat-square&color=blue
+[Installation-image]: https://img.shields.io/badge/dynamic/json?color=blue&url=https://raw.githubusercontent.com/binary-husky/gpt_academic/master/version&query=$.version&label=Installation&style=flat-square
[Wiki-image]: https://img.shields.io/badge/wiki-项目文档-black?style=flat-square
[PRs-image]: https://img.shields.io/badge/PRs-welcome-pink?style=flat-square
-[License-url]: https://github.com/binary-husky/gpt_academic/blob/master/LICENSE
[Github-url]: https://github.com/binary-husky/gpt_academic
+[License-url]: https://github.com/binary-husky/gpt_academic/blob/master/LICENSE
[Releases-url]: https://github.com/binary-husky/gpt_academic/releases
[Installation-url]: https://github.com/binary-husky/gpt_academic#installation
[Wiki-url]: https://github.com/binary-husky/gpt_academic/wiki
@@ -38,7 +38,9 @@
**如果喜欢这个项目,请给它一个Star;如果您发明了好用的快捷键或插件,欢迎发pull requests!**
-If you like this project, please give it a Star. Read this in [English](docs/README.English.md) | [日本語](docs/README.Japanese.md) | [한국어](docs/README.Korean.md) | [Русский](docs/README.Russian.md) | [Français](docs/README.French.md). All translations have been provided by the project itself. To translate this project to arbitrary language with GPT, read and run [`multi_language.py`](multi_language.py) (experimental).
+If you like this project, please give it a Star.
+
+Read this in [English](docs/README.English.md) | [日本語](docs/README.Japanese.md) | [한국어](docs/README.Korean.md) | [Русский](docs/README.Russian.md) | [Français](docs/README.French.md). All translations have been provided by the project itself. To translate this project to arbitrary language with GPT, read and run [`multi_language.py`](multi_language.py) (experimental).
@@ -47,7 +49,7 @@ If you like this project, please give it a Star. Read this in [English](docs/REA
> 2.本项目中每个文件的功能都在[自译解报告](https://github.com/binary-husky/gpt_academic/wiki/GPT‐Academic项目自译解报告)`self_analysis.md`详细说明。随着版本的迭代,您也可以随时自行点击相关函数插件,调用GPT重新生成项目的自我解析报告。常见问题请查阅wiki。
> [](#installation) [](https://github.com/binary-husky/gpt_academic/releases) [](https://github.com/binary-husky/gpt_academic/wiki/项目配置说明) []([https://github.com/binary-husky/gpt_academic/wiki/项目配置说明](https://github.com/binary-husky/gpt_academic/wiki))
>
-> 3.本项目兼容并鼓励尝试国产大语言模型ChatGLM等。支持多个api-key共存,可在配置文件中填写如`API_KEY="openai-key1,openai-key2,azure-key3,api2d-key4"`。需要临时更换`API_KEY`时,在输入区输入临时的`API_KEY`然后回车键提交后即可生效。
+> 3.本项目兼容并鼓励尝试国产大语言模型ChatGLM等。支持多个api-key共存,可在配置文件中填写如`API_KEY="openai-key1,openai-key2,azure-key3,api2d-key4"`。需要临时更换`API_KEY`时,在输入区输入临时的`API_KEY`然后回车键提交即可生效。
From da376068e1ae93ef09ea7c0f6a79657a4b52e5fc Mon Sep 17 00:00:00 2001
From: Alpha <1526147838@qq.com>
Date: Sat, 2 Dec 2023 21:31:59 +0800
Subject: [PATCH 2/6] =?UTF-8?q?=E4=BF=AE=E5=A4=8D=E4=BA=86qwen=E4=BD=BF?=
=?UTF-8?q?=E7=94=A8=E6=9C=AC=E5=9C=B0=E6=A8=A1=E5=9E=8B=E6=97=B6=E5=80=99?=
=?UTF-8?q?=E7=9A=84=E6=8A=A5=E9=94=99?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
config.py | 4 ++--
request_llms/bridge_qwen.py | 4 ++--
2 files changed, 4 insertions(+), 4 deletions(-)
diff --git a/config.py b/config.py
index f170a2b..4284cb8 100644
--- a/config.py
+++ b/config.py
@@ -91,10 +91,10 @@ AVAIL_LLM_MODELS = ["gpt-3.5-turbo-1106","gpt-4-1106-preview","gpt-4-vision-prev
"gpt-3.5-turbo-16k", "gpt-3.5-turbo", "azure-gpt-3.5",
"api2d-gpt-3.5-turbo", 'api2d-gpt-3.5-turbo-16k',
"gpt-4", "gpt-4-32k", "azure-gpt-4", "api2d-gpt-4",
- "chatglm3", "moss", "claude-2"]
+ "chatglm3", "moss", "claude-2","qwen"]
# P.S. 其他可用的模型还包括 ["zhipuai", "qianfan", "deepseekcoder", "llama2", "qwen", "gpt-3.5-turbo-0613", "gpt-3.5-turbo-16k-0613", "gpt-3.5-random"
# "spark", "sparkv2", "sparkv3", "chatglm_onnx", "claude-1-100k", "claude-2", "internlm", "jittorllms_pangualpha", "jittorllms_llama"]
-
+# 如果你需要使用Qwen的本地模型,比如qwen1.8b,那么还需要在request_llms\bridge_qwen.py设置一下模型的路径!
# 定义界面上“询问多个GPT模型”插件应该使用哪些模型,请从AVAIL_LLM_MODELS中选择,并在不同模型之间用`&`间隔,例如"gpt-3.5-turbo&chatglm3&azure-gpt-4"
MULTI_QUERY_LLM_MODELS = "gpt-3.5-turbo&chatglm3"
diff --git a/request_llms/bridge_qwen.py b/request_llms/bridge_qwen.py
index 85a4d80..d8408d8 100644
--- a/request_llms/bridge_qwen.py
+++ b/request_llms/bridge_qwen.py
@@ -30,7 +30,7 @@ class GetQwenLMHandle(LocalLLMHandle):
from modelscope import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
with ProxyNetworkActivate('Download_LLM'):
- model_id = 'qwen/Qwen-7B-Chat'
+ model_id = 'qwen/Qwen-7B-Chat' #在这里更改路径,如果你已经下载好了的话,同时,别忘记tokenizer
self._tokenizer = AutoTokenizer.from_pretrained('Qwen/Qwen-7B-Chat', trust_remote_code=True, resume_download=True)
# use fp16
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", trust_remote_code=True, fp16=True).eval()
@@ -51,7 +51,7 @@ class GetQwenLMHandle(LocalLLMHandle):
query, max_length, top_p, temperature, history = adaptor(kwargs)
- for response in self._model.chat(self._tokenizer, query, history=history, stream=True):
+ for response in self._model.chat_stream(self._tokenizer, query, history=history):
yield response
def try_to_import_special_deps(self, **kwargs):
From 94ab41d3c0f9ed7addc37f9a436ddd21e473ec2b Mon Sep 17 00:00:00 2001
From: Alpha <1526147838@qq.com>
Date: Sat, 2 Dec 2023 23:12:25 +0800
Subject: [PATCH 3/6] =?UTF-8?q?=E6=B7=BB=E5=8A=A0=E4=BA=86qwen1.8b?=
=?UTF-8?q?=E6=A8=A1=E5=9E=8B?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
README.md | 261 +++++++++---------
config.py | 9 +-
request_llms/bridge_all.py | 26 +-
request_llms/bridge_qwen_1_8B.py | 67 +++++
.../{bridge_qwen.py => bridge_qwen_7B.py} | 2 +-
tests/test_llms.py | 5 +-
6 files changed, 226 insertions(+), 144 deletions(-)
create mode 100644 request_llms/bridge_qwen_1_8B.py
rename request_llms/{bridge_qwen.py => bridge_qwen_7B.py} (99%)
diff --git a/README.md b/README.md
index 54bf7c1..c7fb9c7 100644
--- a/README.md
+++ b/README.md
@@ -1,7 +1,7 @@
> **Caution**
->
-> 2023.11.12: 某些依赖包尚不兼容python 3.12,推荐python 3.11。
->
+>
+> 2023.11.12: 某些依赖包尚不兼容 python 3.12,推荐 python 3.11。
+>
> 2023.11.7: 安装依赖时,请选择`requirements.txt`中**指定的版本**。 安装命令:`pip install -r requirements.txt`。本项目开源免费,近期发现有人蔑视开源协议并利用本项目违规圈钱,请提高警惕,谨防上当受骗。
@@ -24,7 +24,6 @@
[Installation-image]: https://img.shields.io/badge/Installation-v3.6.1-blue?style=flat-square
[Wiki-image]: https://img.shields.io/badge/wiki-项目文档-black?style=flat-square
[PRs-image]: https://img.shields.io/badge/PRs-welcome-pink?style=flat-square
-
[License-url]: https://github.com/binary-husky/gpt_academic/blob/master/LICENSE
[Github-url]: https://github.com/binary-husky/gpt_academic
[Releases-url]: https://github.com/binary-husky/gpt_academic/releases
@@ -32,65 +31,62 @@
[Wiki-url]: https://github.com/binary-husky/gpt_academic/wiki
[PRs-url]: https://github.com/binary-husky/gpt_academic/pulls
-
-**如果喜欢这个项目,请给它一个Star;如果您发明了好用的快捷键或插件,欢迎发pull requests!**
+**如果喜欢这个项目,请给它一个 Star;如果您发明了好用的快捷键或插件,欢迎发 pull requests!**
If you like this project, please give it a Star. Read this in [English](docs/README.English.md) | [日本語](docs/README.Japanese.md) | [한국어](docs/README.Korean.md) | [Русский](docs/README.Russian.md) | [Français](docs/README.French.md). All translations have been provided by the project itself. To translate this project to arbitrary language with GPT, read and run [`multi_language.py`](multi_language.py) (experimental).
-
-> 1.请注意只有 **高亮** 标识的插件(按钮)才支持读取文件,部分插件位于插件区的**下拉菜单**中。另外我们以**最高优先级**欢迎和处理任何新插件的PR。
+> 1.请注意只有 **高亮** 标识的插件(按钮)才支持读取文件,部分插件位于插件区的**下拉菜单**中。另外我们以**最高优先级**欢迎和处理任何新插件的 PR。
>
-> 2.本项目中每个文件的功能都在[自译解报告](https://github.com/binary-husky/gpt_academic/wiki/GPT‐Academic项目自译解报告)`self_analysis.md`详细说明。随着版本的迭代,您也可以随时自行点击相关函数插件,调用GPT重新生成项目的自我解析报告。常见问题请查阅wiki。
-> [](#installation) [](https://github.com/binary-husky/gpt_academic/releases) [](https://github.com/binary-husky/gpt_academic/wiki/项目配置说明) []([https://github.com/binary-husky/gpt_academic/wiki/项目配置说明](https://github.com/binary-husky/gpt_academic/wiki))
->
-> 3.本项目兼容并鼓励尝试国产大语言模型ChatGLM等。支持多个api-key共存,可在配置文件中填写如`API_KEY="openai-key1,openai-key2,azure-key3,api2d-key4"`。需要临时更换`API_KEY`时,在输入区输入临时的`API_KEY`然后回车键提交后即可生效。
+> 2.本项目中每个文件的功能都在[自译解报告](https://github.com/binary-husky/gpt_academic/wiki/GPT‐Academic项目自译解报告)`self_analysis.md`详细说明。随着版本的迭代,您也可以随时自行点击相关函数插件,调用 GPT 重新生成项目的自我解析报告。常见问题请查阅 wiki。
+> [](#installation) [](https://github.com/binary-husky/gpt_academic/releases) [](https://github.com/binary-husky/gpt_academic/wiki/项目配置说明) [](<[https://github.com/binary-husky/gpt_academic/wiki/项目配置说明](https://github.com/binary-husky/gpt_academic/wiki)>)
+>
+> 3.本项目兼容并鼓励尝试国产大语言模型 ChatGLM 等。支持多个 api-key 共存,可在配置文件中填写如`API_KEY="openai-key1,openai-key2,azure-key3,api2d-key4"`。需要临时更换`API_KEY`时,在输入区输入临时的`API_KEY`然后回车键提交后即可生效。
-功能(⭐= 近期新增功能) | 描述
---- | ---
-⭐[接入新模型](https://github.com/binary-husky/gpt_academic/wiki/%E5%A6%82%E4%BD%95%E5%88%87%E6%8D%A2%E6%A8%A1%E5%9E%8B) | 百度[千帆](https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Nlks5zkzu)与文心一言, 通义千问[Qwen](https://modelscope.cn/models/qwen/Qwen-7B-Chat/summary),上海AI-Lab[书生](https://github.com/InternLM/InternLM),讯飞[星火](https://xinghuo.xfyun.cn/),[LLaMa2](https://huggingface.co/meta-llama/Llama-2-7b-chat-hf),[智谱API](https://open.bigmodel.cn/),DALLE3, [DeepseekCoder](https://coder.deepseek.com/)
-润色、翻译、代码解释 | 一键润色、翻译、查找论文语法错误、解释代码
-[自定义快捷键](https://www.bilibili.com/video/BV14s4y1E7jN) | 支持自定义快捷键
-模块化设计 | 支持自定义强大的[插件](https://github.com/binary-husky/gpt_academic/tree/master/crazy_functions),插件支持[热更新](https://github.com/binary-husky/gpt_academic/wiki/%E5%87%BD%E6%95%B0%E6%8F%92%E4%BB%B6%E6%8C%87%E5%8D%97)
-[程序剖析](https://www.bilibili.com/video/BV1cj411A7VW) | [插件] 一键剖析Python/C/C++/Java/Lua/...项目树 或 [自我剖析](https://www.bilibili.com/video/BV1cj411A7VW)
-读论文、[翻译](https://www.bilibili.com/video/BV1KT411x7Wn)论文 | [插件] 一键解读latex/pdf论文全文并生成摘要
-Latex全文[翻译](https://www.bilibili.com/video/BV1nk4y1Y7Js/)、[润色](https://www.bilibili.com/video/BV1FT411H7c5/) | [插件] 一键翻译或润色latex论文
-批量注释生成 | [插件] 一键批量生成函数注释
-Markdown[中英互译](https://www.bilibili.com/video/BV1yo4y157jV/) | [插件] 看到上面5种语言的[README](https://github.com/binary-husky/gpt_academic/blob/master/docs/README_EN.md)了吗?就是出自他的手笔
-chat分析报告生成 | [插件] 运行后自动生成总结汇报
-[PDF论文全文翻译功能](https://www.bilibili.com/video/BV1KT411x7Wn) | [插件] PDF论文提取题目&摘要+翻译全文(多线程)
-[Arxiv小助手](https://www.bilibili.com/video/BV1LM4y1279X) | [插件] 输入arxiv文章url即可一键翻译摘要+下载PDF
-Latex论文一键校对 | [插件] 仿Grammarly对Latex文章进行语法、拼写纠错+输出对照PDF
-[谷歌学术统合小助手](https://www.bilibili.com/video/BV19L411U7ia) | [插件] 给定任意谷歌学术搜索页面URL,让gpt帮你[写relatedworks](https://www.bilibili.com/video/BV1GP411U7Az/)
-互联网信息聚合+GPT | [插件] 一键[让GPT从互联网获取信息](https://www.bilibili.com/video/BV1om4y127ck)回答问题,让信息永不过时
-⭐Arxiv论文精细翻译 ([Docker](https://github.com/binary-husky/gpt_academic/pkgs/container/gpt_academic_with_latex)) | [插件] 一键[以超高质量翻译arxiv论文](https://www.bilibili.com/video/BV1dz4y1v77A/),目前最好的论文翻译工具
-⭐[实时语音对话输入](https://github.com/binary-husky/gpt_academic/blob/master/docs/use_audio.md) | [插件] 异步[监听音频](https://www.bilibili.com/video/BV1AV4y187Uy/),自动断句,自动寻找回答时机
-公式/图片/表格显示 | 可以同时显示公式的[tex形式和渲染形式](https://user-images.githubusercontent.com/96192199/230598842-1d7fcddd-815d-40ee-af60-baf488a199df.png),支持公式、代码高亮
-⭐AutoGen多智能体插件 | [插件] 借助微软AutoGen,探索多Agent的智能涌现可能!
-启动暗色[主题](https://github.com/binary-husky/gpt_academic/issues/173) | 在浏览器url后面添加```/?__theme=dark```可以切换dark主题
-[多LLM模型](https://www.bilibili.com/video/BV1wT411p7yf)支持 | 同时被GPT3.5、GPT4、[清华ChatGLM2](https://github.com/THUDM/ChatGLM2-6B)、[复旦MOSS](https://github.com/OpenLMLab/MOSS)伺候的感觉一定会很不错吧?
-⭐ChatGLM2微调模型 | 支持加载ChatGLM2微调模型,提供ChatGLM2微调辅助插件
-更多LLM模型接入,支持[huggingface部署](https://huggingface.co/spaces/qingxu98/gpt-academic) | 加入Newbing接口(新必应),引入清华[Jittorllms](https://github.com/Jittor/JittorLLMs)支持[LLaMA](https://github.com/facebookresearch/llama)和[盘古α](https://openi.org.cn/pangu/)
-⭐[void-terminal](https://github.com/binary-husky/void-terminal) pip包 | 脱离GUI,在Python中直接调用本项目的所有函数插件(开发中)
-⭐虚空终端插件 | [插件] 能够使用自然语言直接调度本项目其他插件
-更多新功能展示 (图像生成等) …… | 见本文档结尾处 ……
+| 功能(⭐= 近期新增功能) | 描述 |
+| ------------------------------------------------------------------------------------------------------------------------ | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
+| ⭐[接入新模型](https://github.com/binary-husky/gpt_academic/wiki/%E5%A6%82%E4%BD%95%E5%88%87%E6%8D%A2%E6%A8%A1%E5%9E%8B) | 百度[千帆](https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Nlks5zkzu)与文心一言, 通义千问[Qwen-7B](https://modelscope.cn/models/qwen/Qwen-7B-Chat/summary),通义千问[Qwen-1_8B](https://modelscope.cn/models/qwen/Qwen-1_8B-Chat/summary),上海 AI-Lab[书生](https://github.com/InternLM/InternLM),讯飞[星火](https://xinghuo.xfyun.cn/),[LLaMa2](https://huggingface.co/meta-llama/Llama-2-7b-chat-hf),[智谱 API](https://open.bigmodel.cn/),DALLE3, [DeepseekCoder](https://coder.deepseek.com/) |
+| 润色、翻译、代码解释 | 一键润色、翻译、查找论文语法错误、解释代码 |
+| [自定义快捷键](https://www.bilibili.com/video/BV14s4y1E7jN) | 支持自定义快捷键 |
+| 模块化设计 | 支持自定义强大的[插件](https://github.com/binary-husky/gpt_academic/tree/master/crazy_functions),插件支持[热更新](https://github.com/binary-husky/gpt_academic/wiki/%E5%87%BD%E6%95%B0%E6%8F%92%E4%BB%B6%E6%8C%87%E5%8D%97) |
+| [程序剖析](https://www.bilibili.com/video/BV1cj411A7VW) | [插件] 一键剖析 Python/C/C++/Java/Lua/...项目树 或 [自我剖析](https://www.bilibili.com/video/BV1cj411A7VW) |
+| 读论文、[翻译](https://www.bilibili.com/video/BV1KT411x7Wn)论文 | [插件] 一键解读 latex/pdf 论文全文并生成摘要 |
+| Latex 全文[翻译](https://www.bilibili.com/video/BV1nk4y1Y7Js/)、[润色](https://www.bilibili.com/video/BV1FT411H7c5/) | [插件] 一键翻译或润色 latex 论文 |
+| 批量注释生成 | [插件] 一键批量生成函数注释 |
+| Markdown[中英互译](https://www.bilibili.com/video/BV1yo4y157jV/) | [插件] 看到上面 5 种语言的[README](https://github.com/binary-husky/gpt_academic/blob/master/docs/README_EN.md)了吗?就是出自他的手笔 |
+| chat 分析报告生成 | [插件] 运行后自动生成总结汇报 |
+| [PDF 论文全文翻译功能](https://www.bilibili.com/video/BV1KT411x7Wn) | [插件] PDF 论文提取题目&摘要+翻译全文(多线程) |
+| [Arxiv 小助手](https://www.bilibili.com/video/BV1LM4y1279X) | [插件] 输入 arxiv 文章 url 即可一键翻译摘要+下载 PDF |
+| Latex 论文一键校对 | [插件] 仿 Grammarly 对 Latex 文章进行语法、拼写纠错+输出对照 PDF |
+| [谷歌学术统合小助手](https://www.bilibili.com/video/BV19L411U7ia) | [插件] 给定任意谷歌学术搜索页面 URL,让 gpt 帮你[写 relatedworks](https://www.bilibili.com/video/BV1GP411U7Az/) |
+| 互联网信息聚合+GPT | [插件] 一键[让 GPT 从互联网获取信息](https://www.bilibili.com/video/BV1om4y127ck)回答问题,让信息永不过时 |
+| ⭐Arxiv 论文精细翻译 ([Docker](https://github.com/binary-husky/gpt_academic/pkgs/container/gpt_academic_with_latex)) | [插件] 一键[以超高质量翻译 arxiv 论文](https://www.bilibili.com/video/BV1dz4y1v77A/),目前最好的论文翻译工具 |
+| ⭐[实时语音对话输入](https://github.com/binary-husky/gpt_academic/blob/master/docs/use_audio.md) | [插件] 异步[监听音频](https://www.bilibili.com/video/BV1AV4y187Uy/),自动断句,自动寻找回答时机 |
+| 公式/图片/表格显示 | 可以同时显示公式的[tex 形式和渲染形式](https://user-images.githubusercontent.com/96192199/230598842-1d7fcddd-815d-40ee-af60-baf488a199df.png),支持公式、代码高亮 |
+| ⭐AutoGen 多智能体插件 | [插件] 借助微软 AutoGen,探索多 Agent 的智能涌现可能! |
+| 启动暗色[主题](https://github.com/binary-husky/gpt_academic/issues/173) | 在浏览器 url 后面添加`/?__theme=dark`可以切换 dark 主题 |
+| [多 LLM 模型](https://www.bilibili.com/video/BV1wT411p7yf)支持 | 同时被 GPT3.5、GPT4、[清华 ChatGLM2](https://github.com/THUDM/ChatGLM2-6B)、[复旦 MOSS](https://github.com/OpenLMLab/MOSS)伺候的感觉一定会很不错吧? |
+| ⭐ChatGLM2 微调模型 | 支持加载 ChatGLM2 微调模型,提供 ChatGLM2 微调辅助插件 |
+| 更多 LLM 模型接入,支持[huggingface 部署](https://huggingface.co/spaces/qingxu98/gpt-academic) | 加入 Newbing 接口(新必应),引入清华[Jittorllms](https://github.com/Jittor/JittorLLMs)支持[LLaMA](https://github.com/facebookresearch/llama)和[盘古 α](https://openi.org.cn/pangu/) |
+| ⭐[void-terminal](https://github.com/binary-husky/void-terminal) pip 包 | 脱离 GUI,在 Python 中直接调用本项目的所有函数插件(开发中) |
+| ⭐ 虚空终端插件 | [插件] 能够使用自然语言直接调度本项目其他插件 |
+| 更多新功能展示 (图像生成等) …… | 见本文档结尾处 …… |
+
-
-- 新界面(修改`config.py`中的LAYOUT选项即可实现“左右布局”和“上下布局”的切换)
+- 新界面(修改`config.py`中的 LAYOUT 选项即可实现“左右布局”和“上下布局”的切换)
-
-- 所有按钮都通过读取functional.py动态生成,可随意加自定义功能,解放剪贴板
+- 所有按钮都通过读取 functional.py 动态生成,可随意加自定义功能,解放剪贴板
@@ -100,12 +96,12 @@ Latex论文一键校对 | [插件] 仿Grammarly对Latex文章进行语法、拼
-- 如果输出包含公式,会以tex形式和渲染形式同时显示,方便复制和阅读
+- 如果输出包含公式,会以 tex 形式和渲染形式同时显示,方便复制和阅读
-- 懒得看项目代码?直接把整个工程炫ChatGPT嘴里
+- 懒得看项目代码?直接把整个工程炫 ChatGPT 嘴里
@@ -118,44 +114,44 @@ Latex论文一键校对 | [插件] 仿Grammarly对Latex文章进行语法、拼
# Installation
-### 安装方法I:直接运行 (Windows, Linux or MacOS)
+
+### 安装方法 I:直接运行 (Windows, Linux or MacOS)
1. 下载项目
- ```sh
- git clone --depth=1 https://github.com/binary-husky/gpt_academic.git
- cd gpt_academic
- ```
+ ```sh
+ git clone --depth=1 https://github.com/binary-husky/gpt_academic.git
+ cd gpt_academic
+ ```
-2. 配置API_KEY等变量
+2. 配置 API_KEY 等变量
- 在`config.py`中,配置API KEY等变量。[特殊网络环境设置方法](https://github.com/binary-husky/gpt_academic/issues/1)、[Wiki-项目配置说明](https://github.com/binary-husky/gpt_academic/wiki/项目配置说明)。
+ 在`config.py`中,配置 API KEY 等变量。[特殊网络环境设置方法](https://github.com/binary-husky/gpt_academic/issues/1)、[Wiki-项目配置说明](https://github.com/binary-husky/gpt_academic/wiki/项目配置说明)。
- 「 程序会优先检查是否存在名为`config_private.py`的私密配置文件,并用其中的配置覆盖`config.py`的同名配置。如您能理解以上读取逻辑,我们强烈建议您在`config.py`同路径下创建一个名为`config_private.py`的新配置文件,并使用`config_private.py`配置项目,以确保更新或其他用户无法轻易查看您的私有配置 」。
-
- 「 支持通过`环境变量`配置项目,环境变量的书写格式参考`docker-compose.yml`文件或者我们的[Wiki页面](https://github.com/binary-husky/gpt_academic/wiki/项目配置说明)。配置读取优先级: `环境变量` > `config_private.py` > `config.py` 」。
+ 「 程序会优先检查是否存在名为`config_private.py`的私密配置文件,并用其中的配置覆盖`config.py`的同名配置。如您能理解以上读取逻辑,我们强烈建议您在`config.py`同路径下创建一个名为`config_private.py`的新配置文件,并使用`config_private.py`配置项目,以确保更新或其他用户无法轻易查看您的私有配置 」。
+ 「 支持通过`环境变量`配置项目,环境变量的书写格式参考`docker-compose.yml`文件或者我们的[Wiki 页面](https://github.com/binary-husky/gpt_academic/wiki/项目配置说明)。配置读取优先级: `环境变量` > `config_private.py` > `config.py` 」。
3. 安装依赖
- ```sh
- # (选择I: 如熟悉python, python推荐版本 3.9 ~ 3.11)备注:使用官方pip源或者阿里pip源, 临时换源方法:python -m pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
- python -m pip install -r requirements.txt
- # (选择II: 使用Anaconda)步骤也是类似的 (https://www.bilibili.com/video/BV1rc411W7Dr):
- conda create -n gptac_venv python=3.11 # 创建anaconda环境
- conda activate gptac_venv # 激活anaconda环境
- python -m pip install -r requirements.txt # 这个步骤和pip安装一样的步骤
- ```
+ ```sh
+ # (选择I: 如熟悉python, python推荐版本 3.9 ~ 3.11)备注:使用官方pip源或者阿里pip源, 临时换源方法:python -m pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
+ python -m pip install -r requirements.txt
+ # (选择II: 使用Anaconda)步骤也是类似的 (https://www.bilibili.com/video/BV1rc411W7Dr):
+ conda create -n gptac_venv python=3.11 # 创建anaconda环境
+ conda activate gptac_venv # 激活anaconda环境
+ python -m pip install -r requirements.txt # 这个步骤和pip安装一样的步骤
+ ```
如果需要支持清华ChatGLM2/复旦MOSS/RWKV作为后端,请点击展开此处
-【可选步骤】如果需要支持清华ChatGLM2/复旦MOSS作为后端,需要额外安装更多依赖(前提条件:熟悉Python + 用过Pytorch + 电脑配置够强):
+【可选步骤】如果需要支持清华 ChatGLM2/复旦 MOSS 作为后端,需要额外安装更多依赖(前提条件:熟悉 Python + 用过 Pytorch + 电脑配置够强):
```sh
# 【可选步骤I】支持清华ChatGLM2。清华ChatGLM备注:如果遇到"Call ChatGLM fail 不能正常加载ChatGLM的参数" 错误,参考如下: 1:以上默认安装的为torch+cpu版,使用cuda需要卸载torch重新安装torch+cuda; 2:如因本机配置不够无法加载模型,可以修改request_llm/bridge_chatglm.py中的模型精度, 将 AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) 都修改为 AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
-python -m pip install -r request_llms/requirements_chatglm.txt
+python -m pip install -r request_llms/requirements_chatglm.txt
# 【可选步骤II】支持复旦MOSS
python -m pip install -r request_llms/requirements_moss.txt
@@ -171,61 +167,60 @@ AVAIL_LLM_MODELS = ["gpt-3.5-turbo", "api2d-gpt-3.5-turbo", "gpt-4", "api2d-gpt-
-
-
4. 运行
- ```sh
- python main.py
- ```
+ ```sh
+ python main.py
+ ```
-### 安装方法II:使用Docker
+### 安装方法 II:使用 Docker
-0. 部署项目的全部能力(这个是包含cuda和latex的大型镜像。但如果您网速慢、硬盘小,则不推荐该方法部署完整项目)
-[](https://github.com/binary-husky/gpt_academic/actions/workflows/build-with-all-capacity.yml)
+0. 部署项目的全部能力(这个是包含 cuda 和 latex 的大型镜像。但如果您网速慢、硬盘小,则不推荐该方法部署完整项目)
+ [](https://github.com/binary-husky/gpt_academic/actions/workflows/build-with-all-capacity.yml)
- ``` sh
- # 修改docker-compose.yml,保留方案0并删除其他方案。然后运行:
- docker-compose up
- ```
+ ``` sh
+ # 修改docker-compose.yml,保留方案0并删除其他方案。然后运行:
+ docker-compose up
+ ```
-1. 仅ChatGPT+文心一言+spark等在线模型(推荐大多数人选择)
-[](https://github.com/binary-husky/gpt_academic/actions/workflows/build-without-local-llms.yml)
-[](https://github.com/binary-husky/gpt_academic/actions/workflows/build-with-latex.yml)
-[](https://github.com/binary-husky/gpt_academic/actions/workflows/build-with-audio-assistant.yml)
+1. 仅 ChatGPT+文心一言+spark 等在线模型(推荐大多数人选择)
+ [](https://github.com/binary-husky/gpt_academic/actions/workflows/build-without-local-llms.yml)
+ [](https://github.com/binary-husky/gpt_academic/actions/workflows/build-with-latex.yml)
+ [](https://github.com/binary-husky/gpt_academic/actions/workflows/build-with-audio-assistant.yml)
- ``` sh
- # 修改docker-compose.yml,保留方案1并删除其他方案。然后运行:
- docker-compose up
- ```
+ ``` sh
+ # 修改docker-compose.yml,保留方案1并删除其他方案。然后运行:
+ docker-compose up
+ ```
-P.S. 如果需要依赖Latex的插件功能,请见Wiki。另外,您也可以直接使用方案4或者方案0获取Latex功能。
+P.S. 如果需要依赖 Latex 的插件功能,请见 Wiki。另外,您也可以直接使用方案 4 或者方案 0 获取 Latex 功能。
-2. ChatGPT + ChatGLM2 + MOSS + LLAMA2 + 通义千问(需要熟悉[Nvidia Docker](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#installing-on-ubuntu-and-debian)运行时)
-[](https://github.com/binary-husky/gpt_academic/actions/workflows/build-with-chatglm.yml)
+2. ChatGPT + ChatGLM2 + MOSS + LLAMA2 + 通义千问(需要熟悉[Nvidia Docker](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#installing-on-ubuntu-and-debian)运行时)
+ [](https://github.com/binary-husky/gpt_academic/actions/workflows/build-with-chatglm.yml)
- ``` sh
- # 修改docker-compose.yml,保留方案2并删除其他方案。然后运行:
- docker-compose up
- ```
+ ``` sh
+ # 修改docker-compose.yml,保留方案2并删除其他方案。然后运行:
+ docker-compose up
+ ```
+### 安装方法 III:其他部署方法
-### 安装方法III:其他部署方法
-1. **Windows一键运行脚本**。
-完全不熟悉python环境的Windows用户可以下载[Release](https://github.com/binary-husky/gpt_academic/releases)中发布的一键运行脚本安装无本地模型的版本。脚本贡献来源:[oobabooga](https://github.com/oobabooga/one-click-installers)。
+1. **Windows 一键运行脚本**。
+ 完全不熟悉 python 环境的 Windows 用户可以下载[Release](https://github.com/binary-husky/gpt_academic/releases)中发布的一键运行脚本安装无本地模型的版本。脚本贡献来源:[oobabooga](https://github.com/oobabooga/one-click-installers)。
-2. 使用第三方API、Azure等、文心一言、星火等,见[Wiki页面](https://github.com/binary-husky/gpt_academic/wiki/项目配置说明)
+2. 使用第三方 API、Azure 等、文心一言、星火等,见[Wiki 页面](https://github.com/binary-husky/gpt_academic/wiki/项目配置说明)
3. 云服务器远程部署避坑指南。
-请访问[云服务器远程部署wiki](https://github.com/binary-husky/gpt_academic/wiki/%E4%BA%91%E6%9C%8D%E5%8A%A1%E5%99%A8%E8%BF%9C%E7%A8%8B%E9%83%A8%E7%BD%B2%E6%8C%87%E5%8D%97)
+ 请访问[云服务器远程部署 wiki](https://github.com/binary-husky/gpt_academic/wiki/%E4%BA%91%E6%9C%8D%E5%8A%A1%E5%99%A8%E8%BF%9C%E7%A8%8B%E9%83%A8%E7%BD%B2%E6%8C%87%E5%8D%97)
4. 在其他平台部署&二级网址部署
- - 使用Sealos[一键部署](https://github.com/binary-husky/gpt_academic/issues/993)。
- - 使用WSL2(Windows Subsystem for Linux 子系统)。请访问[部署wiki-2](https://github.com/binary-husky/gpt_academic/wiki/%E4%BD%BF%E7%94%A8WSL2%EF%BC%88Windows-Subsystem-for-Linux-%E5%AD%90%E7%B3%BB%E7%BB%9F%EF%BC%89%E9%83%A8%E7%BD%B2)
- - 如何在二级网址(如`http://localhost/subpath`)下运行。请访问[FastAPI运行说明](docs/WithFastapi.md)
+ - 使用 Sealos[一键部署](https://github.com/binary-husky/gpt_academic/issues/993)。
+ - 使用 WSL2(Windows Subsystem for Linux 子系统)。请访问[部署 wiki-2](https://github.com/binary-husky/gpt_academic/wiki/%E4%BD%BF%E7%94%A8WSL2%EF%BC%88Windows-Subsystem-for-Linux-%E5%AD%90%E7%B3%BB%E7%BB%9F%EF%BC%89%E9%83%A8%E7%BD%B2)
+ - 如何在二级网址(如`http://localhost/subpath`)下运行。请访问[FastAPI 运行说明](docs/WithFastapi.md)
# Advanced Usage
+
### I:自定义新的便捷按钮(学术快捷键)
任意文本编辑器打开`core_functional.py`,添加如下条目,然后重启程序。(如果按钮已存在,那么可以直接修改(前缀、后缀都已支持热修改),无需重启程序即可生效。)
@@ -234,8 +229,8 @@ P.S. 如果需要依赖Latex的插件功能,请见Wiki。另外,您也可以
```python
"超级英译中": {
# 前缀,会被加在你的输入之前。例如,用来描述你的要求,例如翻译、解释代码、润色等等
- "Prefix": "请翻译把下面一段内容成中文,然后用一个markdown表格逐一解释文中出现的专有名词:\n\n",
-
+ "Prefix": "请翻译把下面一段内容成中文,然后用一个markdown表格逐一解释文中出现的专有名词:\n\n",
+
# 后缀,会被加在你的输入之后。例如,配合前缀可以把你的输入内容用引号圈起来。
"Suffix": "",
},
@@ -246,23 +241,25 @@ P.S. 如果需要依赖Latex的插件功能,请见Wiki。另外,您也可以
### II:自定义函数插件
+
编写强大的函数插件来执行任何你想得到的和想不到的任务。
-本项目的插件编写、调试难度很低,只要您具备一定的python基础知识,就可以仿照我们提供的模板实现自己的插件功能。
+本项目的插件编写、调试难度很低,只要您具备一定的 python 基础知识,就可以仿照我们提供的模板实现自己的插件功能。
详情请参考[函数插件指南](https://github.com/binary-husky/gpt_academic/wiki/%E5%87%BD%E6%95%B0%E6%8F%92%E4%BB%B6%E6%8C%87%E5%8D%97)。
# Updates
+
### I:动态
-1. 对话保存功能。在函数插件区调用 `保存当前的对话` 即可将当前对话保存为可读+可复原的html文件,
+1. 对话保存功能。在函数插件区调用 `保存当前的对话` 即可将当前对话保存为可读+可复原的 html 文件,
另外在函数插件区(下拉菜单)调用 `载入对话历史存档` ,即可还原之前的会话。
-Tip:不指定文件直接点击 `载入对话历史存档` 可以查看历史html存档缓存。
+Tip:不指定文件直接点击 `载入对话历史存档` 可以查看历史 html 存档缓存。
-2. ⭐Latex/Arxiv论文翻译功能⭐
+2. ⭐Latex/Arxiv 论文翻译功能 ⭐

===>

@@ -270,7 +267,7 @@ Tip:不指定文件直接点击 `载入对话历史存档` 可以查看历史h
3. 虚空终端(从自然语言输入中,理解用户意图+自动调用其他插件)
-- 步骤一:输入 “ 请调用插件翻译PDF论文,地址为https://openreview.net/pdf?id=rJl0r3R9KX ”
+- 步骤一:输入 “ 请调用插件翻译 PDF 论文,地址为https://openreview.net/pdf?id=rJl0r3R9KX ”
- 步骤二:点击“虚空终端”
@@ -294,17 +291,17 @@ Tip:不指定文件直接点击 `载入对话历史存档` 可以查看历史h
-7. OpenAI图像生成
+7. OpenAI 图像生成
-8. OpenAI音频解析与总结
+8. OpenAI 音频解析与总结
-9. Latex全文校对纠错
+9. Latex 全文校对纠错

===>

@@ -315,47 +312,46 @@ Tip:不指定文件直接点击 `载入对话历史存档` 可以查看历史h
-
-
### II:版本:
-- version 3.70(todo): 优化AutoGen插件主题并设计一系列衍生插件
-- version 3.60: 引入AutoGen作为新一代插件的基石
-- version 3.57: 支持GLM3,星火v3,文心一言v4,修复本地模型的并发BUG
-- version 3.56: 支持动态追加基础功能按钮,新汇报PDF汇总页面
+- version 3.70(todo): 优化 AutoGen 插件主题并设计一系列衍生插件
+- version 3.60: 引入 AutoGen 作为新一代插件的基石
+- version 3.57: 支持 GLM3,星火 v3,文心一言 v4,修复本地模型的并发 BUG
+- version 3.56: 支持动态追加基础功能按钮,新汇报 PDF 汇总页面
- version 3.55: 重构前端界面,引入悬浮窗口与菜单栏
- version 3.54: 新增动态代码解释器(Code Interpreter)(待完善)
- version 3.53: 支持动态选择不同界面主题,提高稳定性&解决多用户冲突问题
-- version 3.50: 使用自然语言调用本项目的所有函数插件(虚空终端),支持插件分类,改进UI,设计新主题
+- version 3.50: 使用自然语言调用本项目的所有函数插件(虚空终端),支持插件分类,改进 UI,设计新主题
- version 3.49: 支持百度千帆平台和文心一言
-- version 3.48: 支持阿里达摩院通义千问,上海AI-Lab书生,讯飞星火
+- version 3.48: 支持阿里达摩院通义千问,上海 AI-Lab 书生,讯飞星火
- version 3.46: 支持完全脱手操作的实时语音对话
-- version 3.45: 支持自定义ChatGLM2微调模型
-- version 3.44: 正式支持Azure,优化界面易用性
-- version 3.4: +arxiv论文翻译、latex论文批改功能
+- version 3.45: 支持自定义 ChatGLM2 微调模型
+- version 3.44: 正式支持 Azure,优化界面易用性
+- version 3.4: +arxiv 论文翻译、latex 论文批改功能
- version 3.3: +互联网信息综合功能
-- version 3.2: 函数插件支持更多参数接口 (保存对话功能, 解读任意语言代码+同时询问任意的LLM组合)
-- version 3.1: 支持同时问询多个gpt模型!支持api2d,支持多个apikey负载均衡
-- version 3.0: 对chatglm和其他小型llm的支持
+- version 3.2: 函数插件支持更多参数接口 (保存对话功能, 解读任意语言代码+同时询问任意的 LLM 组合)
+- version 3.1: 支持同时问询多个 gpt 模型!支持 api2d,支持多个 apikey 负载均衡
+- version 3.0: 对 chatglm 和其他小型 llm 的支持
- version 2.6: 重构了插件结构,提高了交互性,加入更多插件
-- version 2.5: 自更新,解决总结大工程源代码时文本过长、token溢出的问题
-- version 2.4: 新增PDF全文翻译功能; 新增输入区切换位置的功能
+- version 2.5: 自更新,解决总结大工程源代码时文本过长、token 溢出的问题
+- version 2.4: 新增 PDF 全文翻译功能; 新增输入区切换位置的功能
- version 2.3: 增强多线程交互性
- version 2.2: 函数插件支持热重载
- version 2.1: 可折叠式布局
- version 2.0: 引入模块化函数插件
- version 1.0: 基础功能
-GPT Academic开发者QQ群:`610599535`
+GPT Academic 开发者 QQ 群:`610599535`
- 已知问题
- - 某些浏览器翻译插件干扰此软件前端的运行
- - 官方Gradio目前有很多兼容性问题,请**务必使用`requirement.txt`安装Gradio**
+ - 某些浏览器翻译插件干扰此软件前端的运行
+ - 官方 Gradio 目前有很多兼容性问题,请**务必使用`requirement.txt`安装 Gradio**
### III:主题
-可以通过修改`THEME`选项(config.py)变更主题
-1. `Chuanhu-Small-and-Beautiful` [网址](https://github.com/GaiZhenbiao/ChuanhuChatGPT/)
+可以通过修改`THEME`选项(config.py)变更主题
+
+1. `Chuanhu-Small-and-Beautiful` [网址](https://github.com/GaiZhenbiao/ChuanhuChatGPT/)
### IV:本项目的开发分支
@@ -363,7 +359,6 @@ GPT Academic开发者QQ群:`610599535`
2. `frontier` 分支: 开发分支,测试版
3. 如何接入其他大模型:[接入其他大模型](request_llms/README.md)
-
### V:参考与学习
```
diff --git a/config.py b/config.py
index 4284cb8..45365f5 100644
--- a/config.py
+++ b/config.py
@@ -91,10 +91,10 @@ AVAIL_LLM_MODELS = ["gpt-3.5-turbo-1106","gpt-4-1106-preview","gpt-4-vision-prev
"gpt-3.5-turbo-16k", "gpt-3.5-turbo", "azure-gpt-3.5",
"api2d-gpt-3.5-turbo", 'api2d-gpt-3.5-turbo-16k',
"gpt-4", "gpt-4-32k", "azure-gpt-4", "api2d-gpt-4",
- "chatglm3", "moss", "claude-2","qwen"]
-# P.S. 其他可用的模型还包括 ["zhipuai", "qianfan", "deepseekcoder", "llama2", "qwen", "gpt-3.5-turbo-0613", "gpt-3.5-turbo-16k-0613", "gpt-3.5-random"
+ "chatglm3", "moss", "claude-2","qwen-1_8B","qwen-7B"]
+# P.S. 其他可用的模型还包括 ["zhipuai", "qianfan", "deepseekcoder", "llama2", "gpt-3.5-turbo-0613", "gpt-3.5-turbo-16k-0613", "gpt-3.5-random"
# "spark", "sparkv2", "sparkv3", "chatglm_onnx", "claude-1-100k", "claude-2", "internlm", "jittorllms_pangualpha", "jittorllms_llama"]
-# 如果你需要使用Qwen的本地模型,比如qwen1.8b,那么还需要在request_llms\bridge_qwen.py设置一下模型的路径!
+# 如果你需要使用Qwen的本地模型,比如qwen1.8b,那么还需要在request_llms下找到对应的文件,设置一下模型的路径!
# 定义界面上“询问多个GPT模型”插件应该使用哪些模型,请从AVAIL_LLM_MODELS中选择,并在不同模型之间用`&`间隔,例如"gpt-3.5-turbo&chatglm3&azure-gpt-4"
MULTI_QUERY_LLM_MODELS = "gpt-3.5-turbo&chatglm3"
@@ -291,7 +291,8 @@ NUM_CUSTOM_BASIC_BTN = 4
├── "jittorllms_pangualpha"
├── "jittorllms_llama"
├── "deepseekcoder"
-├── "qwen"
+├── "qwen-1_8B"
+├── "qwen-7B"
├── RWKV的支持见Wiki
└── "llama2"
diff --git a/request_llms/bridge_all.py b/request_llms/bridge_all.py
index 8dece54..f20ca65 100644
--- a/request_llms/bridge_all.py
+++ b/request_llms/bridge_all.py
@@ -431,12 +431,12 @@ if "chatglm_onnx" in AVAIL_LLM_MODELS:
})
except:
print(trimmed_format_exc())
-if "qwen" in AVAIL_LLM_MODELS:
+if "qwen-1_8B" in AVAIL_LLM_MODELS: # qwen-1.8B
try:
- from .bridge_qwen import predict_no_ui_long_connection as qwen_noui
- from .bridge_qwen import predict as qwen_ui
+ from .bridge_qwen_1_8B import predict_no_ui_long_connection as qwen_noui
+ from .bridge_qwen_1_8B import predict as qwen_ui
model_info.update({
- "qwen": {
+ "qwen-1_8B": {
"fn_with_ui": qwen_ui,
"fn_without_ui": qwen_noui,
"endpoint": None,
@@ -447,6 +447,24 @@ if "qwen" in AVAIL_LLM_MODELS:
})
except:
print(trimmed_format_exc())
+
+if "qwen-7B" in AVAIL_LLM_MODELS: # qwen-7B
+ try:
+ from .bridge_qwen_7B import predict_no_ui_long_connection as qwen_noui
+ from .bridge_qwen_7B import predict as qwen_ui
+ model_info.update({
+ "qwen-7B": {
+ "fn_with_ui": qwen_ui,
+ "fn_without_ui": qwen_noui,
+ "endpoint": None,
+ "max_token": 4096,
+ "tokenizer": tokenizer_gpt35,
+ "token_cnt": get_token_num_gpt35,
+ }
+ })
+ except:
+ print(trimmed_format_exc())
+
if "chatgpt_website" in AVAIL_LLM_MODELS: # 接入一些逆向工程https://github.com/acheong08/ChatGPT-to-API/
try:
from .bridge_chatgpt_website import predict_no_ui_long_connection as chatgpt_website_noui
diff --git a/request_llms/bridge_qwen_1_8B.py b/request_llms/bridge_qwen_1_8B.py
new file mode 100644
index 0000000..0628830
--- /dev/null
+++ b/request_llms/bridge_qwen_1_8B.py
@@ -0,0 +1,67 @@
+model_name = "Qwen1_8B"
+cmd_to_install = "`pip install -r request_llms/requirements_qwen.txt`"
+
+
+from transformers import AutoModel, AutoTokenizer
+import time
+import threading
+import importlib
+from toolbox import update_ui, get_conf, ProxyNetworkActivate
+from multiprocessing import Process, Pipe
+from .local_llm_class import LocalLLMHandle, get_local_llm_predict_fns
+
+
+
+# ------------------------------------------------------------------------------------------------------------------------
+# 🔌💻 Local Model
+# ------------------------------------------------------------------------------------------------------------------------
+class GetQwenLMHandle(LocalLLMHandle):
+
+ def load_model_info(self):
+ # 🏃♂️🏃♂️🏃♂️ 子进程执行
+ self.model_name = model_name
+ self.cmd_to_install = cmd_to_install
+
+ def load_model_and_tokenizer(self):
+ # 🏃♂️🏃♂️🏃♂️ 子进程执行
+ import os, glob
+ import os
+ import platform
+ from modelscope import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
+
+ with ProxyNetworkActivate('Download_LLM'):
+ model_id = 'Qwen/Qwen-1_8B-Chat'
+ self._tokenizer = AutoTokenizer.from_pretrained('Qwen/Qwen-1_8B-Chat', trust_remote_code=True, resume_download=True)
+ # use fp16
+ model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", trust_remote_code=True, fp16=True).eval()
+ model.generation_config = GenerationConfig.from_pretrained(model_id, trust_remote_code=True) # 可指定不同的生成长度、top_p等相关超参
+ self._model = model
+
+ return self._model, self._tokenizer
+
+ def llm_stream_generator(self, **kwargs):
+ # 🏃♂️🏃♂️🏃♂️ 子进程执行
+ def adaptor(kwargs):
+ query = kwargs['query']
+ max_length = kwargs['max_length']
+ top_p = kwargs['top_p']
+ temperature = kwargs['temperature']
+ history = kwargs['history']
+ return query, max_length, top_p, temperature, history
+
+ query, max_length, top_p, temperature, history = adaptor(kwargs)
+
+ for response in self._model.chat_stream(self._tokenizer, query, history=history):
+ yield response
+
+ def try_to_import_special_deps(self, **kwargs):
+ # import something that will raise error if the user does not install requirement_*.txt
+ # 🏃♂️🏃♂️🏃♂️ 主进程执行
+ import importlib
+ importlib.import_module('modelscope')
+
+
+# ------------------------------------------------------------------------------------------------------------------------
+# 🔌💻 GPT-Academic Interface
+# ------------------------------------------------------------------------------------------------------------------------
+predict_no_ui_long_connection, predict = get_local_llm_predict_fns(GetQwenLMHandle, model_name)
\ No newline at end of file
diff --git a/request_llms/bridge_qwen.py b/request_llms/bridge_qwen_7B.py
similarity index 99%
rename from request_llms/bridge_qwen.py
rename to request_llms/bridge_qwen_7B.py
index d8408d8..dfe1fc4 100644
--- a/request_llms/bridge_qwen.py
+++ b/request_llms/bridge_qwen_7B.py
@@ -1,4 +1,4 @@
-model_name = "Qwen"
+model_name = "Qwen-7B"
cmd_to_install = "`pip install -r request_llms/requirements_qwen.txt`"
diff --git a/tests/test_llms.py b/tests/test_llms.py
index 8b68597..2426cc3 100644
--- a/tests/test_llms.py
+++ b/tests/test_llms.py
@@ -16,8 +16,9 @@ if __name__ == "__main__":
# from request_llms.bridge_jittorllms_llama import predict_no_ui_long_connection
# from request_llms.bridge_claude import predict_no_ui_long_connection
# from request_llms.bridge_internlm import predict_no_ui_long_connection
- from request_llms.bridge_deepseekcoder import predict_no_ui_long_connection
- # from request_llms.bridge_qwen import predict_no_ui_long_connection
+ # from request_llms.bridge_deepseekcoder import predict_no_ui_long_connection
+ # from request_llms.bridge_qwen_7B import predict_no_ui_long_connection
+ from request_llms.bridge_qwen_1_8B import predict_no_ui_long_connection
# from request_llms.bridge_spark import predict_no_ui_long_connection
# from request_llms.bridge_zhipu import predict_no_ui_long_connection
# from request_llms.bridge_chatglm3 import predict_no_ui_long_connection
From 0cd3274d04830aacd1f0e1e683f23665432013f7 Mon Sep 17 00:00:00 2001
From: binary-husky
Date: Mon, 4 Dec 2023 10:30:02 +0800
Subject: [PATCH 4/6] combine qwen model family
---
config.py | 8 +++++--
.../{bridge_qwen_7B.py => bridge_qwen.py} | 24 +++++++------------
request_llms/requirements_qwen.txt | 4 +++-
3 files changed, 17 insertions(+), 19 deletions(-)
rename request_llms/{bridge_qwen_7B.py => bridge_qwen.py} (77%)
diff --git a/config.py b/config.py
index f170a2b..44e9f07 100644
--- a/config.py
+++ b/config.py
@@ -15,13 +15,13 @@ API_KEY = "此处填API密钥" # 可同时填写多个API-KEY,用英文逗
USE_PROXY = False
if USE_PROXY:
"""
+ 代理网络的地址,打开你的代理软件查看代理协议(socks5h / http)、地址(localhost)和端口(11284)
填写格式是 [协议]:// [地址] :[端口],填写之前不要忘记把USE_PROXY改成True,如果直接在海外服务器部署,此处不修改
<配置教程&视频教程> https://github.com/binary-husky/gpt_academic/issues/1>
[协议] 常见协议无非socks5h/http; 例如 v2**y 和 ss* 的默认本地协议是socks5h; 而cl**h 的默认本地协议是http
- [地址] 懂的都懂,不懂就填localhost或者127.0.0.1肯定错不了(localhost意思是代理软件安装在本机上)
+ [地址] 填localhost或者127.0.0.1(localhost意思是代理软件安装在本机上)
[端口] 在代理软件的设置里找。虽然不同的代理软件界面不一样,但端口号都应该在最显眼的位置上
"""
- # 代理网络的地址,打开你的*学*网软件查看代理的协议(socks5h / http)、地址(localhost)和端口(11284)
proxies = {
# [协议]:// [地址] :[端口]
"http": "socks5h://localhost:11284", # 再例如 "http": "http://127.0.0.1:7890",
@@ -100,6 +100,10 @@ AVAIL_LLM_MODELS = ["gpt-3.5-turbo-1106","gpt-4-1106-preview","gpt-4-vision-prev
MULTI_QUERY_LLM_MODELS = "gpt-3.5-turbo&chatglm3"
+# 选择本地模型变体(只有当AVAIL_LLM_MODELS包含了对应本地模型时,才会起作用)
+QWEN_MODEL_SELECTION = "Qwen/Qwen-1_8B-Chat-Int8"
+
+
# 百度千帆(LLM_MODEL="qianfan")
BAIDU_CLOUD_API_KEY = ''
BAIDU_CLOUD_SECRET_KEY = ''
diff --git a/request_llms/bridge_qwen_7B.py b/request_llms/bridge_qwen.py
similarity index 77%
rename from request_llms/bridge_qwen_7B.py
rename to request_llms/bridge_qwen.py
index dfe1fc4..1bd846b 100644
--- a/request_llms/bridge_qwen_7B.py
+++ b/request_llms/bridge_qwen.py
@@ -1,13 +1,7 @@
-model_name = "Qwen-7B"
+model_name = "Qwen"
cmd_to_install = "`pip install -r request_llms/requirements_qwen.txt`"
-
-from transformers import AutoModel, AutoTokenizer
-import time
-import threading
-import importlib
-from toolbox import update_ui, get_conf, ProxyNetworkActivate
-from multiprocessing import Process, Pipe
+from toolbox import ProxyNetworkActivate, get_conf
from .local_llm_class import LocalLLMHandle, get_local_llm_predict_fns
@@ -24,16 +18,14 @@ class GetQwenLMHandle(LocalLLMHandle):
def load_model_and_tokenizer(self):
# 🏃♂️🏃♂️🏃♂️ 子进程执行
- import os, glob
- import os
- import platform
- from modelscope import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
-
+ # from modelscope import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
+ from transformers import AutoModelForCausalLM, AutoTokenizer
+ from transformers.generation import GenerationConfig
with ProxyNetworkActivate('Download_LLM'):
- model_id = 'qwen/Qwen-7B-Chat' #在这里更改路径,如果你已经下载好了的话,同时,别忘记tokenizer
- self._tokenizer = AutoTokenizer.from_pretrained('Qwen/Qwen-7B-Chat', trust_remote_code=True, resume_download=True)
+ model_id = get_conf('QWEN_MODEL_SELECTION') #在这里更改路径,如果你已经下载好了的话,同时,别忘记tokenizer
+ self._tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, resume_download=True)
# use fp16
- model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", trust_remote_code=True, fp16=True).eval()
+ model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", trust_remote_code=True).eval()
model.generation_config = GenerationConfig.from_pretrained(model_id, trust_remote_code=True) # 可指定不同的生成长度、top_p等相关超参
self._model = model
diff --git a/request_llms/requirements_qwen.txt b/request_llms/requirements_qwen.txt
index 3d7d62a..ea65dee 100644
--- a/request_llms/requirements_qwen.txt
+++ b/request_llms/requirements_qwen.txt
@@ -1,2 +1,4 @@
modelscope
-transformers_stream_generator
\ No newline at end of file
+transformers_stream_generator
+auto-gptq
+optimum
\ No newline at end of file
From 692ff4b59cb94d7b31e9dd625935a701d8167daa Mon Sep 17 00:00:00 2001
From: binary-husky
Date: Mon, 4 Dec 2023 10:47:07 +0800
Subject: [PATCH 5/6] remove line break
---
README.md | 1 -
1 file changed, 1 deletion(-)
diff --git a/README.md b/README.md
index c0e0a83..81a8228 100644
--- a/README.md
+++ b/README.md
@@ -39,7 +39,6 @@
**如果喜欢这个项目,请给它一个Star;如果您发明了好用的快捷键或插件,欢迎发pull requests!**
If you like this project, please give it a Star.
-
Read this in [English](docs/README.English.md) | [日本語](docs/README.Japanese.md) | [한국어](docs/README.Korean.md) | [Русский](docs/README.Russian.md) | [Français](docs/README.French.md). All translations have been provided by the project itself. To translate this project to arbitrary language with GPT, read and run [`multi_language.py`](multi_language.py) (experimental).
From b0c627909a386051a4e2abe98b17788ddb7d5587 Mon Sep 17 00:00:00 2001
From: Alpha <1526147838@qq.com>
Date: Mon, 4 Dec 2023 12:51:41 +0800
Subject: [PATCH 6/6] =?UTF-8?q?=E6=9B=B4=E6=94=B9=E4=BA=86=E4=B8=80?=
=?UTF-8?q?=E4=BA=9B=E6=B3=A8=E9=87=8A?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
config.py | 2 ++
request_llms/bridge_qwen.py | 2 +-
2 files changed, 3 insertions(+), 1 deletion(-)
diff --git a/config.py b/config.py
index 44e9f07..a511724 100644
--- a/config.py
+++ b/config.py
@@ -101,6 +101,8 @@ MULTI_QUERY_LLM_MODELS = "gpt-3.5-turbo&chatglm3"
# 选择本地模型变体(只有当AVAIL_LLM_MODELS包含了对应本地模型时,才会起作用)
+# 如果你选择Qwen系列的模型,那么请在下面的QWEN_MODEL_SELECTION中指定具体的模型
+# 也可以是具体的模型路径
QWEN_MODEL_SELECTION = "Qwen/Qwen-1_8B-Chat-Int8"
diff --git a/request_llms/bridge_qwen.py b/request_llms/bridge_qwen.py
index 1bd846b..940c41d 100644
--- a/request_llms/bridge_qwen.py
+++ b/request_llms/bridge_qwen.py
@@ -22,7 +22,7 @@ class GetQwenLMHandle(LocalLLMHandle):
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig
with ProxyNetworkActivate('Download_LLM'):
- model_id = get_conf('QWEN_MODEL_SELECTION') #在这里更改路径,如果你已经下载好了的话,同时,别忘记tokenizer
+ model_id = get_conf('QWEN_MODEL_SELECTION')
self._tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, resume_download=True)
# use fp16
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", trust_remote_code=True).eval()