ChatGPT 学术优化
""" @@ -105,8 +105,7 @@ def auto_opentab_delay(): def open(): time.sleep(2) webbrowser.open_new_tab(f'http://localhost:{PORT}') - t = threading.Thread(target=open) - t.daemon = True; t.start() + threading.Thread(target=open, name="open-browser", daemon=True).start() auto_opentab_delay() demo.title = "ChatGPT 学术优化" diff --git a/toolbox.py b/toolbox.py index d96b3f6..326740a 100644 --- a/toolbox.py +++ b/toolbox.py @@ -226,13 +226,10 @@ def get_conf(*args): except: r = getattr(importlib.import_module('config'), arg) res.append(r) # 在读取API_KEY时，检查一下是不是忘了改config - if arg=='API_KEY' and len(r) != 51: - assert False, "正确的API_KEY密钥是51位，请在config文件中修改API密钥, 添加海外代理之后再运行。" + \ + assert arg != 'API_KEY' or len(r) == 51, "正确的API_KEY密钥是51位，请在config文件中修改API密钥, 添加海外代理之后再运行。" \ "（如果您刚更新过代码，请确保旧版config_private文件中没有遗留任何新增键值）" return res def clear_line_break(txt): - txt = txt.replace('\n', ' ') - txt = txt.replace(' ', ' ') - txt = txt.replace(' ', ' ') - return txt \ No newline at end of file + import re + return re.sub(r"\s+", " ", txt) \ No newline at end of file From 0b03c797bc14a6eb26e39ff4493ce5cb4162a02d Mon Sep 17 00:00:00 2001 From: Jia Xinglong'
+ suf = '
'
if ('$' in txt) and ('```' not in txt):
- return markdown.markdown(txt,extensions=['fenced_code','tables']) + '' + \ - markdown.markdown(convert_math(txt, splitParagraphs=False),extensions=['fenced_code','tables']) + return pre + markdown.markdown(txt,extensions=['fenced_code','tables']) + '
' + markdown.markdown(convert_math(txt, splitParagraphs=False),extensions=['fenced_code','tables']) + suf else: - return markdown.markdown(txt,extensions=['fenced_code','tables']) + return pre + markdown.markdown(txt,extensions=['fenced_code','tables']) + suf def format_io(self, y): From 9ad21838fe684da2472fc4d67bc12a077b768751 Mon Sep 17 00:00:00 2001 From: Your Name
ChatGPT 学术优化
""" @@ -57,25 +57,27 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False) as demo: with gr.Row(): from check_proxy import check_proxy statusDisplay = gr.Markdown(f"Tip: 按Enter提交, 按Shift+Enter换行。当前模型: {LLM_MODEL} \n {check_proxy(proxies)}") - with gr.Row(): - for k in functional: - variant = functional[k]["Color"] if "Color" in functional[k] else "secondary" - functional[k]["Button"] = gr.Button(k, variant=variant) - with gr.Row(): - gr.Markdown("注意：以下“红颜色”标识的函数插件需从input区读取路径作为参数.") - with gr.Row(): - for k in crazy_functional: - variant = crazy_functional[k]["Color"] if "Color" in crazy_functional[k] else "secondary" - crazy_functional[k]["Button"] = gr.Button(k, variant=variant) - with gr.Row(): - gr.Markdown("上传本地文件，供上面的函数插件调用.") - with gr.Row(): - file_upload = gr.Files(label='任何文件, 但推荐上传压缩文件(zip, tar)', file_count="multiple") - system_prompt = gr.Textbox(show_label=True, placeholder=f"System Prompt", label="System prompt", value=initial_prompt).style(container=True) - with gr.Accordion("arguments", open=False): + with gr.Accordion("基础功能区", open=True): + with gr.Row(): + for k in functional: + variant = functional[k]["Color"] if "Color" in functional[k] else "secondary" + functional[k]["Button"] = gr.Button(k, variant=variant) + with gr.Accordion("函数插件区", open=True): + with gr.Row(): + gr.Markdown("注意：以下“红颜色”标识的函数插件需从input区读取路径作为参数.") + with gr.Row(): + for k in crazy_functional: + variant = crazy_functional[k]["Color"] if "Color" in crazy_functional[k] else "secondary" + crazy_functional[k]["Button"] = gr.Button(k, variant=variant) + with gr.Row(): + with gr.Accordion("展开“文件上传区”。上传本地文件供“红颜色”的函数插件调用。", open=False): + file_upload = gr.Files(label='任何文件, 但推荐上传压缩文件(zip, tar)', file_count="multiple") + with gr.Accordion("展开SysPrompt & GPT参数 & 交互界面布局", open=False): + system_prompt = gr.Textbox(show_label=True, placeholder=f"System Prompt", label="System prompt", value=initial_prompt) top_p = gr.Slider(minimum=-0, maximum=1.0, value=1.0, step=0.01,interactive=True, label="Top-p (nucleus sampling)",) temperature = gr.Slider(minimum=-0, maximum=2.0, value=1.0, step=0.01, interactive=True, label="Temperature",) - + checkboxes = gr.CheckboxGroup(["基础功能区", "函数插件区", "文件上传区"], value=["USA", "Japan", "Pakistan"], + label="显示功能区") predict_args = dict(fn=predict, inputs=[txt, top_p, temperature, chatbot, history, system_prompt], outputs=[chatbot, history, statusDisplay], show_progress=True) empty_txt_args = dict(fn=lambda: "", inputs=[], outputs=[txt]) # 用于在提交后清空输入栏 @@ -105,8 +107,7 @@ def auto_opentab_delay(): def open(): time.sleep(2) webbrowser.open_new_tab(f'http://localhost:{PORT}') - t = threading.Thread(target=open) - t.daemon = True; t.start() + threading.Thread(target=open, name="open-browser", daemon=True).start() auto_opentab_delay() demo.title = "ChatGPT 学术优化" From 833d136fb9454d11caaa8030d855648a3312a7fa Mon Sep 17 00:00:00 2001 From: Your NameChatGPT 学术优化
""" # 问询记录, python 版本建议3.9+（越新越好） import logging -os.makedirs('gpt_log', exist_ok=True) -try:logging.basicConfig(filename='gpt_log/chat_secrets.log', level=logging.INFO, encoding='utf-8') -except:logging.basicConfig(filename='gpt_log/chat_secrets.log', level=logging.INFO) -print('所有问询记录将自动保存在本地目录./gpt_log/chat_secrets.log, 请注意自我隐私保护哦！') +os.makedirs("gpt_log", exist_ok=True) +try:logging.basicConfig(filename="gpt_log/chat_secrets.log", level=logging.INFO, encoding="utf-8") +except:logging.basicConfig(filename="gpt_log/chat_secrets.log", level=logging.INFO) +print("所有问询记录将自动保存在本地目录./gpt_log/chat_secrets.log, 请注意自我隐私保护哦！") # 一些普通功能模块 from functional import get_functionals functional = get_functionals() -# 对一些丧心病狂的实验性功能模块进行测试 +# 高级函数插件 from functional_crazy import get_crazy_functionals -crazy_functional = get_crazy_functionals() +crazy_fns = get_crazy_functionals() # 处理markdown文本格式的转变 gr.Chatbot.postprocess = format_io @@ -40,11 +39,10 @@ set_theme = adjust_theme() cancel_handles = [] with gr.Blocks(theme=set_theme, analytics_enabled=False) as demo: gr.HTML(title_html) - with gr.Row(): + with gr.Row().style(equal_height=True): with gr.Column(scale=2): chatbot = gr.Chatbot() - chatbot.style(height=1150) - chatbot.style() + chatbot.style(height=CHATBOT_HEIGHT) history = gr.State([]) with gr.Column(scale=1): with gr.Row(): @@ -66,49 +64,70 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False) as demo: with gr.Row(): gr.Markdown("注意：以下“红颜色”标识的函数插件需从input区读取路径作为参数.") with gr.Row(): - for k in crazy_functional: - variant = crazy_functional[k]["Color"] if "Color" in crazy_functional[k] else "secondary" - crazy_functional[k]["Button"] = gr.Button(k, variant=variant) + for k in crazy_fns: + if not crazy_fns[k].get("AsButton", True): continue + variant = crazy_fns[k]["Color"] if "Color" in crazy_fns[k] else "secondary" + crazy_fns[k]["Button"] = gr.Button(k, variant=variant) with gr.Row(): - with gr.Accordion("展开“文件上传区”。上传本地文件供“红颜色”的函数插件调用。", open=False): - file_upload = gr.Files(label='任何文件, 但推荐上传压缩文件(zip, tar)', file_count="multiple") + with gr.Accordion("更多函数插件", open=True): + dropdown_fn_list = [k for k in crazy_fns.keys() if not crazy_fns[k].get("AsButton", True)] + with gr.Column(scale=1): + dropdown = gr.Dropdown(dropdown_fn_list, value=r"打开插件列表", label="").style(container=False) + with gr.Column(scale=1): + switchy_bt = gr.Button(r"请先从插件列表中选择", variant="secondary") + with gr.Row(): + with gr.Accordion("点击展开“文件上传区”。上传本地文件可供红色函数插件调用。", open=False) as area_file_up: + file_upload = gr.Files(label="任何文件, 但推荐上传压缩文件(zip, tar)", file_count="multiple") with gr.Accordion("展开SysPrompt & GPT参数 & 交互界面布局", open=False): system_prompt = gr.Textbox(show_label=True, placeholder=f"System Prompt", label="System prompt", value=initial_prompt) top_p = gr.Slider(minimum=-0, maximum=1.0, value=1.0, step=0.01,interactive=True, label="Top-p (nucleus sampling)",) temperature = gr.Slider(minimum=-0, maximum=2.0, value=1.0, step=0.01, interactive=True, label="Temperature",) - checkboxes = gr.CheckboxGroup(["基础功能区", "函数插件区"], - value=["基础功能区", "函数插件区"], label="显示哪些功能区") + checkboxes = gr.CheckboxGroup(["基础功能区", "函数插件区"], value=["基础功能区", "函数插件区"], label="显示/隐藏功能区") - def what_is_this(a): + # 功能区显示开关与功能区的互动 + def fn_area_visibility(a): ret = {} - # if area_basic_fn.visible != ("基础功能区" in a): - ret.update({area_basic_fn: gr.update(visible=("基础功能区" in a))}) - # if area_crazy_fn.visible != ("函数插件区" in a): - ret.update({area_crazy_fn: gr.update(visible=("函数插件区" in a))}) + ret.update({area_basic_fn: gr.update(visible=("基础功能区" in a))}) + ret.update({area_crazy_fn: gr.update(visible=("函数插件区" in a))}) return ret - - checkboxes.select(what_is_this, [checkboxes], [area_basic_fn, area_crazy_fn] ) - - predict_args = dict(fn=predict, inputs=[txt, top_p, temperature, chatbot, history, system_prompt], outputs=[chatbot, history, statusDisplay], show_progress=True) + checkboxes.select(fn_area_visibility, [checkboxes], [area_basic_fn, area_crazy_fn] ) + # 整理反复出现的控件句柄组合 + input_combo = [txt, top_p, temperature, chatbot, history, system_prompt] + output_combo = [chatbot, history, statusDisplay] + predict_args = dict(fn=predict, inputs=input_combo, outputs=output_combo, show_progress=True) empty_txt_args = dict(fn=lambda: "", inputs=[], outputs=[txt]) # 用于在提交后清空输入栏 - - cancel_handles.append(txt.submit(**predict_args)) - # txt.submit(**empty_txt_args) 在提交后清空输入栏 - cancel_handles.append(submitBtn.click(**predict_args)) - # submitBtn.click(**empty_txt_args) 在提交后清空输入栏 - resetBtn.click(lambda: ([], [], "已重置"), None, [chatbot, history, statusDisplay]) + # 提交按钮、重置按钮 + cancel_handles.append(txt.submit(**predict_args)) #; txt.submit(**empty_txt_args) 在提交后清空输入栏 + cancel_handles.append(submitBtn.click(**predict_args)) #; submitBtn.click(**empty_txt_args) 在提交后清空输入栏 + resetBtn.click(lambda: ([], [], "已重置"), None, output_combo) + # 基础功能区的回调函数注册 for k in functional: - click_handle = functional[k]["Button"].click(predict, - [txt, top_p, temperature, chatbot, history, system_prompt, gr.State(True), gr.State(k)], [chatbot, history, statusDisplay], show_progress=True) + click_handle = functional[k]["Button"].click(predict, [*input_combo, gr.State(True), gr.State(k)], output_combo, show_progress=True) cancel_handles.append(click_handle) + # 文件上传区，接收文件后与chatbot的互动 file_upload.upload(on_file_uploaded, [file_upload, chatbot, txt], [chatbot, txt]) - for k in crazy_functional: - click_handle = crazy_functional[k]["Button"].click(crazy_functional[k]["Function"], - [txt, top_p, temperature, chatbot, history, system_prompt, gr.State(PORT)], [chatbot, history, statusDisplay] - ) - try: click_handle.then(on_report_generated, [file_upload, chatbot], [file_upload, chatbot]) - except: pass + # 函数插件-固定按钮区 + for k in crazy_fns: + if not crazy_fns[k].get("AsButton", True): continue + click_handle = crazy_fns[k]["Button"].click(crazy_fns[k]["Function"], [*input_combo, gr.State(PORT)], output_combo) + click_handle.then(on_report_generated, [file_upload, chatbot], [file_upload, chatbot]) cancel_handles.append(click_handle) + # 函数插件-下拉菜单与随变按钮的互动 + def on_dropdown_changed(k): + variant = crazy_fns[k]["Color"] if "Color" in crazy_fns[k] else "secondary" + return {switchy_bt: gr.update(value=k, variant=variant)} + dropdown.select(on_dropdown_changed, [dropdown], [switchy_bt] ) + # 随变按钮的回调函数注册 + def route(k, *args, **kwargs): + if k in [r"打开插件列表", r"先从插件列表中选择"]: return + yield from crazy_fns[k]["Function"](*args, **kwargs) + click_handle = switchy_bt.click(route,[switchy_bt, *input_combo, gr.State(PORT)], output_combo) + click_handle.then(on_report_generated, [file_upload, chatbot], [file_upload, chatbot]) + def expand_file_area(file_upload, area_file_up): + if len(file_upload)>0: return {area_file_up: gr.update(open=True)} + click_handle.then(expand_file_area, [file_upload, area_file_up], [area_file_up]) + cancel_handles.append(click_handle) + # 终止按钮的回调函数注册 stopBtn.click(fn=None, inputs=None, outputs=None, cancels=cancel_handles) # gradio的inbrowser触发不太稳定，回滚代码到原始的浏览器打开函数 @@ -117,7 +136,7 @@ def auto_opentab_delay(): print(f"如果浏览器没有自动打开，请复制并转到以下URL: http://localhost:{PORT}") def open(): time.sleep(2) - webbrowser.open_new_tab(f'http://localhost:{PORT}') + webbrowser.open_new_tab(f"http://localhost:{PORT}") threading.Thread(target=open, name="open-browser", daemon=True).start() auto_opentab_delay() diff --git a/predict.py b/predict.py index 84036bc..31a5861 100644 --- a/predict.py +++ b/predict.py @@ -96,13 +96,19 @@ def predict_no_ui_long_connection(inputs, top_p, temperature, history=[], sys_pr except StopIteration: break if len(chunk)==0: continue if not chunk.startswith('data:'): - chunk = get_full_error(chunk.encode('utf8'), stream_response) - raise ConnectionAbortedError("OpenAI拒绝了请求:" + chunk.decode()) - delta = json.loads(chunk.lstrip('data:'))['choices'][0]["delta"] + error_msg = get_full_error(chunk.encode('utf8'), stream_response).decode() + if "reduce the length" in error_msg: + raise ConnectionAbortedError("OpenAI拒绝了请求:" + error_msg) + else: + raise RuntimeError("OpenAI拒绝了请求：" + error_msg) + json_data = json.loads(chunk.lstrip('data:'))['choices'][0] + delta = json_data["delta"] if len(delta) == 0: break if "role" in delta: continue if "content" in delta: result += delta["content"]; print(delta["content"], end='') else: raise RuntimeError("意外Json结构："+delta) + if json_data['finish_reason'] == 'length': + raise ConnectionAbortedError("正常结束，但显示Token不足。") return result diff --git a/toolbox.py b/toolbox.py index b78a513..bf88760 100644 --- a/toolbox.py +++ b/toolbox.py @@ -2,21 +2,21 @@ import markdown, mdtex2html, threading, importlib, traceback, importlib, inspect from show_math import convert as convert_math from functools import wraps -def get_reduce_token_percent(e): +def get_reduce_token_percent(text): try: # text = "maximum context length is 4097 tokens. However, your messages resulted in 4870 tokens" pattern = r"(\d+)\s+tokens\b" match = re.findall(pattern, text) - eps = 50 # 稍微留一点余地, 确保下次别再超过token - max_limit = float(match[0]) - eps + EXCEED_ALLO = 500 # 稍微留一点余地，否则在回复时会因余量太少出问题 + max_limit = float(match[0]) - EXCEED_ALLO current_tokens = float(match[1]) ratio = max_limit/current_tokens assert ratio > 0 and ratio < 1 - return ratio + return ratio, str(int(current_tokens-max_limit)) except: - return 0.5 + return 0.5, '不详' -def predict_no_ui_but_counting_down(i_say, i_say_show_user, chatbot, top_p, temperature, history=[], sys_prompt='', long_connection=False): +def predict_no_ui_but_counting_down(i_say, i_say_show_user, chatbot, top_p, temperature, history=[], sys_prompt='', long_connection=True): """ 调用简单的predict_no_ui接口，但是依然保留了些许界面心跳功能，当对话太长时，会自动采用二分法截断 i_say: 当前输入 @@ -45,19 +45,18 @@ def predict_no_ui_but_counting_down(i_say, i_say_show_user, chatbot, top_p, temp break except ConnectionAbortedError as token_exceeded_error: # 尝试计算比例，尽可能多地保留文本 - p_ratio = get_reduce_token_percent(str(token_exceeded_error)) + p_ratio, n_exceed = get_reduce_token_percent(str(token_exceeded_error)) if len(history) > 0: history = [his[ int(len(his) *p_ratio): ] for his in history if his is not None] - mutable[1] = 'Warning! History conversation is too long, cut into half. ' else: i_say = i_say[: int(len(i_say) *p_ratio) ] - mutable[1] = 'Warning! Input file is too long, cut into half. ' + mutable[1] = f'警告，文本过长将进行截断，Token溢出数：{n_exceed}，截断比例：{(1-p_ratio):.0%}。' except TimeoutError as e: - mutable[0] = '[Local Message] Failed with timeout.' + mutable[0] = '[Local Message] 请求超时。' raise TimeoutError except Exception as e: - mutable[0] = f'[Local Message] Failed with {str(e)}.' - raise RuntimeError(f'[Local Message] Failed with {str(e)}.') + mutable[0] = f'[Local Message] 异常：{str(e)}.' + raise RuntimeError(f'[Local Message] 异常：{str(e)}.') # 创建新线程发出http请求 thread_name = threading.Thread(target=mt, args=(i_say, history)); thread_name.start() # 原来的线程则负责持续更新UI，实现一个超时倒计时，并等待新线程的任务完成 @@ -286,7 +285,7 @@ def on_report_generated(files, chatbot): report_files = find_recent_files('gpt_log') if len(report_files) == 0: return report_files, chatbot # files.extend(report_files) - chatbot.append(['汇总报告如何远程获取？', '汇总报告已经添加到右侧文件上传区，请查收。']) + chatbot.append(['汇总报告如何远程获取？', '汇总报告已经添加到右侧“文件上传区”（可能处于折叠状态），请查收。']) return report_files, chatbot def get_conf(*args): From b0dfef48e9b81afb389e88ef26d5d901e1c1c33c Mon Sep 17 00:00:00 2001 From: Your Name
-
+
+
-
- 所有按钮都通过读取functional.py动态生成，可随意加自定义功能，解放粘贴板
+
+
From 666a7448a035ac4403db637b43035c43d70b8164 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Sat, 1 Apr 2023 04:25:03 +0800
Subject: [PATCH 047/154] Update README.md
---
README.md | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/README.md b/README.md
index 1ca58a0..69e39aa 100644
--- a/README.md
+++ b/README.md
@@ -51,7 +51,7 @@ chat分析报告生成 | [实验性功能] 运行后自动生成总结汇报
- 新界面（左：master主分支, 右：dev开发前沿）
-
+
-
From 70d9300972a48f0b65e58e2f79b3a2cb838f9532 Mon Sep 17 00:00:00 2001
From: Your Name
-
+
From 9752af934e65a5b27315569805d53df8cc212346 Mon Sep 17 00:00:00 2001
From: Keldos
+
-
+
From a469d8714dc9455a6f7cc72e2264141581d41ae2 Mon Sep 17 00:00:00 2001
From: Keldos
+
ChatGPT 学术优化
""" +title_html = f"{title}
" # 问询记录, python 版本建议3.9+（越新越好） import logging @@ -140,5 +141,5 @@ def auto_opentab_delay(): threading.Thread(target=open, name="open-browser", daemon=True).start() auto_opentab_delay() -demo.title = "ChatGPT 学术优化" +demo.title = title demo.queue(concurrency_count=CONCURRENT_COUNT).launch(server_name="0.0.0.0", share=True, server_port=PORT, auth=AUTHENTICATION) diff --git a/request_llm/bridge_tgui.py b/request_llm/bridge_tgui.py index 20a6352..d7cbe10 100644 --- a/request_llm/bridge_tgui.py +++ b/request_llm/bridge_tgui.py @@ -24,9 +24,9 @@ def random_hash(): letters = string.ascii_lowercase + string.digits return ''.join(random.choice(letters) for i in range(9)) -async def run(context): +async def run(context, max_token=512): params = { - 'max_new_tokens': 512, + 'max_new_tokens': max_token, 'do_sample': True, 'temperature': 0.5, 'top_p': 0.9, @@ -116,12 +116,15 @@ def predict_tgui(inputs, top_p, temperature, chatbot=[], history=[], system_prom prompt = inputs tgui_say = "" - mutable = [""] + mutable = ["", time.time()] def run_coorotine(mutable): async def get_result(mutable): async for response in run(prompt): print(response[len(mutable[0]):]) mutable[0] = response + if (time.time() - mutable[1]) > 3: + print('exit when no listener') + break asyncio.run(get_result(mutable)) thread_listen = threading.Thread(target=run_coorotine, args=(mutable,), daemon=True) @@ -129,6 +132,7 @@ def predict_tgui(inputs, top_p, temperature, chatbot=[], history=[], system_prom while thread_listen.is_alive(): time.sleep(1) + mutable[1] = time.time() # Print intermediate steps if tgui_say != mutable[0]: tgui_say = mutable[0] @@ -147,12 +151,17 @@ def predict_tgui_no_ui(inputs, top_p, temperature, history=[], sys_prompt=""): mutable = ["", time.time()] def run_coorotine(mutable): async def get_result(mutable): - async for response in run(prompt): + async for response in run(prompt, max_token=20): print(response[len(mutable[0]):]) mutable[0] = response + if (time.time() - mutable[1]) > 3: + print('exit when no listener') + break asyncio.run(get_result(mutable)) thread_listen = threading.Thread(target=run_coorotine, args=(mutable,)) thread_listen.start() - thread_listen.join() + while thread_listen.is_alive(): + time.sleep(1) + mutable[1] = time.time() tgui_say = mutable[0] return tgui_say From 99e13e5895cab20a507664799175e84c08ff883e Mon Sep 17 00:00:00 2001 From: Your Name{title}
" +title_html = """ChatGPT 学术优化
""" # 问询记录, python 版本建议3.9+（越新越好） import logging @@ -120,7 +119,7 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as de dropdown.select(on_dropdown_changed, [dropdown], [switchy_bt] ) # 随变按钮的回调函数注册 def route(k, *args, **kwargs): - if k in [r"打开插件列表", r"先从插件列表中选择"]: return + if k in [r"打开插件列表", r"请先从插件列表中选择"]: return yield from crazy_fns[k]["Function"](*args, **kwargs) click_handle = switchy_bt.click(route,[switchy_bt, *input_combo, gr.State(PORT)], output_combo) click_handle.then(on_report_generated, [file_upload, chatbot], [file_upload, chatbot]) @@ -141,5 +140,5 @@ def auto_opentab_delay(): threading.Thread(target=open, name="open-browser", daemon=True).start() auto_opentab_delay() -demo.title = title +demo.title = "ChatGPT 学术优化" demo.queue(concurrency_count=CONCURRENT_COUNT).launch(server_name="0.0.0.0", share=True, server_port=PORT, auth=AUTHENTICATION) diff --git a/predict.py b/predict.py index 1310d3f..31a5861 100644 --- a/predict.py +++ b/predict.py @@ -112,7 +112,8 @@ def predict_no_ui_long_connection(inputs, top_p, temperature, history=[], sys_pr return result -def predict(inputs, top_p, temperature, chatbot=[], history=[], system_prompt='', stream = True, additional_fn=None): +def predict(inputs, top_p, temperature, chatbot=[], history=[], system_prompt='', + stream = True, additional_fn=None): """ 发送至chatGPT，流式获取输出。 用于基础的对话功能。 @@ -243,11 +244,3 @@ def generate_payload(inputs, top_p, temperature, history, system_prompt, stream) return headers,payload -if not LLM_MODEL.startswith('gpt'): - # 函数重载到另一个文件 - from request_llm.bridge_tgui import predict_tgui, predict_tgui_no_ui - predict = predict_tgui - predict_no_ui = predict_tgui_no_ui - predict_no_ui_long_connection = predict_tgui_no_ui - - \ No newline at end of file From 900b752e615d09392df585437862afeb1e9b186f Mon Sep 17 00:00:00 2001 From: Your Name
@@ -204,6 +204,8 @@ input区域 输入 ./crazy_functions/test_project/python/dqn ， 然后点击 "[
```
python check_proxy.py
```
+### 方法二：纯新手教程
+[纯新手教程](https://github.com/binary-husky/chatgpt_academic/wiki/%E4%BB%A3%E7%90%86%E8%BD%AF%E4%BB%B6%E9%97%AE%E9%A2%98%E7%9A%84%E6%96%B0%E6%89%8B%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95%EF%BC%88%E6%96%B9%E6%B3%95%E5%8F%AA%E9%80%82%E7%94%A8%E4%BA%8E%E6%96%B0%E6%89%8B%EF%BC%89)
## 兼容性测试
From 01265c5934ef7d6e0f0ea78aad0d73f3ea34b491 Mon Sep 17 00:00:00 2001
From: Your Name
Date: Sun, 2 Apr 2023 20:02:47 +0800
Subject: [PATCH 076/154] =?UTF-8?q?=E5=BE=AE=E8=B0=83theme?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
theme.py | 18 +++++++++---------
1 file changed, 9 insertions(+), 9 deletions(-)
diff --git a/theme.py b/theme.py
index f5fd02a..06d377d 100644
--- a/theme.py
+++ b/theme.py
@@ -107,20 +107,20 @@ advanced_css = """
/* 对话气泡 */
[class *= "message"] {
border-radius: var(--radius-xl) !important;
- padding: var(--spacing-xl) !important;
- font-size: var(--text-md) !important;
- line-height: var(--line-md) !important;
- min-height: calc(var(--text-md)*var(--line-md) + 2*var(--spacing-xl));
- min-width: calc(var(--text-md)*var(--line-md) + 2*var(--spacing-xl));
+ /* padding: var(--spacing-xl) !important; */
+ /* font-size: var(--text-md) !important; */
+ /* line-height: var(--line-md) !important; */
+ /* min-height: calc(var(--text-md)*var(--line-md) + 2*var(--spacing-xl)); */
+ /* min-width: calc(var(--text-md)*var(--line-md) + 2*var(--spacing-xl)); */
}
[data-testid = "bot"] {
- max-width: 85%;
- width: auto !important;
+ max-width: 95%;
+ /* width: auto !important; */
border-bottom-left-radius: 0 !important;
}
[data-testid = "user"] {
- max-width: 85%;
- width: auto !important;
+ max-width: 100%;
+ /* width: auto !important; */
border-bottom-right-radius: 0 !important;
}
/* 行内代码 */
From 5b9de09c11621919c5b8fce015a12f2a85b97ad6 Mon Sep 17 00:00:00 2001
From: Your Name
Date: Sun, 2 Apr 2023 20:03:25 +0800
Subject: [PATCH 077/154] =?UTF-8?q?+=E5=BC=82=E5=B8=B8=E5=A4=84=E7=90=86?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
main.py | 7 ++++---
predict.py | 10 ++++++----
toolbox.py | 23 +++++++++++++++++++++--
3 files changed, 31 insertions(+), 9 deletions(-)
diff --git a/main.py b/main.py
index 3de76a7..0f0fe92 100644
--- a/main.py
+++ b/main.py
@@ -12,7 +12,8 @@ PORT = find_free_port() if WEB_PORT <= 0 else WEB_PORT
if not AUTHENTICATION: AUTHENTICATION = None
initial_prompt = "Serve me as a writing and programming assistant."
-title_html = """
Date: Sun, 2 Apr 2023 20:18:58 +0800
Subject: [PATCH 078/154] return None instead of [] when no file is concluded
---
toolbox.py | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/toolbox.py b/toolbox.py
index 61faf7c..f7f73e9 100644
--- a/toolbox.py
+++ b/toolbox.py
@@ -303,7 +303,7 @@ def on_file_uploaded(files, chatbot, txt):
def on_report_generated(files, chatbot):
from toolbox import find_recent_files
report_files = find_recent_files('gpt_log')
- if len(report_files) == 0: return report_files, chatbot
+ if len(report_files) == 0: return files, chatbot
# files.extend(report_files)
chatbot.append(['汇总报告如何远程获取？', '汇总报告已经添加到右侧“文件上传区”（可能处于折叠状态），请查收。'])
return report_files, chatbot
From a999487b8ed52f047d3a27d8d037d9fbf1d6e69e Mon Sep 17 00:00:00 2001
From: Your Name
Date: Sun, 2 Apr 2023 20:20:37 +0800
Subject: [PATCH 079/154] CHATBOT_HEIGHT - 1
---
config.py | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/config.py b/config.py
index f4e1bc8..a3c634f 100644
--- a/config.py
+++ b/config.py
@@ -22,7 +22,7 @@ else:
# [step 3]>> 以下配置可以优化体验，但大部分场合下并不需要修改
# 对话窗的高度
-CHATBOT_HEIGHT = 1116
+CHATBOT_HEIGHT = 1115
# 发送请求到OpenAI后，等待多久判定为超时
TIMEOUT_SECONDS = 25
From 97193065f6bbe101c110fc497486f89bc4a1c969 Mon Sep 17 00:00:00 2001
From: Your Name
Date: Sun, 2 Apr 2023 20:22:11 +0800
Subject: [PATCH 080/154] remove verbose print
---
toolbox.py | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/toolbox.py b/toolbox.py
index f7f73e9..c55a48e 100644
--- a/toolbox.py
+++ b/toolbox.py
@@ -176,7 +176,7 @@ def close_up_code_segment_during_stream(gpt_reply):
segments = gpt_reply.split('```')
n_mark = len(segments) - 1
if n_mark % 2 == 1:
- print('输出代码片段中！')
+ # print('输出代码片段中！')
return gpt_reply+'\n```'
else:
return gpt_reply
From 75754718c1282f8191c6129c107610481b3459da Mon Sep 17 00:00:00 2001
From: Your Name
Date: Sun, 2 Apr 2023 20:35:09 +0800
Subject: [PATCH 081/154] #236
---
README.md | 4 +++-
theme.py | 19 +++++++++++++------
2 files changed, 16 insertions(+), 7 deletions(-)
diff --git a/README.md b/README.md
index 96a9cb8..f670dc1 100644
--- a/README.md
+++ b/README.md
@@ -192,7 +192,7 @@ input区域 输入 ./crazy_functions/test_project/python/dqn ， 然后点击 "[
如果你发明了更好用的学术快捷键，欢迎发issue或者pull requests！
## 配置代理
-
+### 方法一：常规方法
在```config.py```中修改端口与代理软件对应
From 1b793e3397d0a066df9da4c9d0f1f612658c4324 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Mon, 3 Apr 2023 01:47:49 +0800
Subject: [PATCH 097/154] Update README.md
---
README.md | 1 +
1 file changed, 1 insertion(+)
diff --git a/README.md b/README.md
index 1deff67..8a7e911 100644
--- a/README.md
+++ b/README.md
@@ -46,6 +46,7 @@ arxiv小助手 | [函数插件] 输入arxiv文章url即可一键翻译摘要+下
图片显示 | 可以在markdown中显示图片
多线程函数插件支持 | 支持多线调用chatgpt，一键处理海量文本或程序
支持GPT输出的markdown表格 | 可以输出支持GPT的markdown表格
+启动暗色gradio主题 | 在浏览器url后面添加```/?__dark-theme=true```可以切换dark主题
huggingface免科学上网[在线体验](https://huggingface.co/spaces/qingxu98/gpt-academic) | 登陆huggingface后复制[此空间](https://huggingface.co/spaces/qingxu98/gpt-academic)
…… | ……
From ed33bf5a156a7e96bc7931315d78ee6d077c5a68 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Mon, 3 Apr 2023 01:49:40 +0800
Subject: [PATCH 098/154] Update README.md
---
README.md | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/README.md b/README.md
index 8a7e911..7af0d0c 100644
--- a/README.md
+++ b/README.md
@@ -46,7 +46,7 @@ arxiv小助手 | [函数插件] 输入arxiv文章url即可一键翻译摘要+下
图片显示 | 可以在markdown中显示图片
多线程函数插件支持 | 支持多线调用chatgpt，一键处理海量文本或程序
支持GPT输出的markdown表格 | 可以输出支持GPT的markdown表格
-启动暗色gradio主题 | 在浏览器url后面添加```/?__dark-theme=true```可以切换dark主题
+启动暗色gradio[主题](https://github.com/binary-husky/chatgpt_academic/issues/173) | 在浏览器url后面添加```/?__dark-theme=true```可以切换dark主题
huggingface免科学上网[在线体验](https://huggingface.co/spaces/qingxu98/gpt-academic) | 登陆huggingface后复制[此空间](https://huggingface.co/spaces/qingxu98/gpt-academic)
…… | ……
From 858c40b0a5c81c6b3c3f3268fa0b48796028f9a0 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Mon, 3 Apr 2023 09:32:01 +0800
Subject: [PATCH 099/154] update README
---
README.md | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/README.md b/README.md
index 7af0d0c..cf8dda3 100644
--- a/README.md
+++ b/README.md
@@ -115,7 +115,7 @@ python -m pip install -r requirements.txt
# （选择二.2）conda activate gptac_venv
# （选择二.3）python -m pip install -r requirements.txt
-# 备注：使用官方pip源或者阿里pip源，其他pip源（如清华pip）有可能出问题，临时换源方法：
+# 备注：使用官方pip源或者阿里pip源，其他pip源（如一些大学的pip）有可能出问题，临时换源方法：
# python -m pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
```
From c54be726bf7c49d7ebbd218ab3e91826fade3ca5 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Mon, 3 Apr 2023 17:00:51 +0800
Subject: [PATCH 100/154] Update issue templates
---
.github/ISSUE_TEMPLATE/bug_report.md | 14 ++++++++++++++
.github/ISSUE_TEMPLATE/feature_request.md | 10 ++++++++++
2 files changed, 24 insertions(+)
create mode 100644 .github/ISSUE_TEMPLATE/bug_report.md
create mode 100644 .github/ISSUE_TEMPLATE/feature_request.md
diff --git a/.github/ISSUE_TEMPLATE/bug_report.md b/.github/ISSUE_TEMPLATE/bug_report.md
new file mode 100644
index 0000000..9ab8831
--- /dev/null
+++ b/.github/ISSUE_TEMPLATE/bug_report.md
@@ -0,0 +1,14 @@
+---
+name: Bug report
+about: Create a report to help us improve
+title: ''
+labels: ''
+assignees: ''
+
+---
+
+**Describe the bug 简述**
+
+**Screen Shot 截图**
+
+**Terminal Traceback 终端traceback（如果有）**
diff --git a/.github/ISSUE_TEMPLATE/feature_request.md b/.github/ISSUE_TEMPLATE/feature_request.md
new file mode 100644
index 0000000..e46a4c0
--- /dev/null
+++ b/.github/ISSUE_TEMPLATE/feature_request.md
@@ -0,0 +1,10 @@
+---
+name: Feature request
+about: Suggest an idea for this project
+title: ''
+labels: ''
+assignees: ''
+
+---
+
+
From 535525e9d57cffaed92ca0c8250348c6d7b67cd1 Mon Sep 17 00:00:00 2001
From: LiZheGuang <1030660726@qq.com>
Date: Mon, 3 Apr 2023 17:44:09 +0800
Subject: [PATCH 101/154] =?UTF-8?q?fix:=20=F0=9F=90=9B=20=E4=BF=AE?=
=?UTF-8?q?=E5=A4=8Dreact=E8=A7=A3=E6=9E=90=E9=A1=B9=E7=9B=AE=E4=B8=8D?=
=?UTF-8?q?=E6=98=BE=E7=A4=BA=E5=9C=A8=E4=B8=8B=E6=8B=89=E5=88=97=E8=A1=A8?=
=?UTF-8?q?=E7=9A=84=E9=97=AE=E9=A2=98?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
functional_crazy.py | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/functional_crazy.py b/functional_crazy.py
index 9c83b41..66a08db 100644
--- a/functional_crazy.py
+++ b/functional_crazy.py
@@ -43,7 +43,7 @@ def get_crazy_functionals():
"AsButton": False, # 加入下拉菜单中
"Function": 解析一个Java项目
},
- "解析整个Java项目": {
+ "解析整个React项目": {
"Color": "stop", # 按钮颜色
"AsButton": False, # 加入下拉菜单中
"Function": 解析一个Rect项目
From 23c1b14ca3a5af64d3f5ce831c3c4bd5c47928f2 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Mon, 3 Apr 2023 20:56:00 +0800
Subject: [PATCH 102/154] =?UTF-8?q?=E9=BB=98=E8=AE=A4=E6=9A=97=E8=89=B2?=
=?UTF-8?q?=E6=8A=A4=E7=9C=BC=E4=B8=BB=E9=A2=98?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
main.py | 6 ++++--
1 file changed, 4 insertions(+), 2 deletions(-)
diff --git a/main.py b/main.py
index 0f0fe92..973d16f 100644
--- a/main.py
+++ b/main.py
@@ -134,10 +134,12 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as de
# gradio的inbrowser触发不太稳定，回滚代码到原始的浏览器打开函数
def auto_opentab_delay():
import threading, webbrowser, time
- print(f"如果浏览器没有自动打开，请复制并转到以下URL: http://localhost:{PORT}")
+ print(f"如果浏览器没有自动打开，请复制并转到以下URL：")
+ print(f"\t（亮色主体）: http://localhost:{PORT}")
+ print(f"\t（暗色主体）: http://localhost:{PORT}/?__dark-theme=true")
def open():
time.sleep(2)
- webbrowser.open_new_tab(f"http://localhost:{PORT}")
+ webbrowser.open_new_tab(f"http://localhost:{PORT}/?__dark-theme=true")
threading.Thread(target=open, name="open-browser", daemon=True).start()
auto_opentab_delay()
From 3aa446cf19e9ce731a96bc966e84022d11f556c2 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Tue, 4 Apr 2023 15:23:42 +0800
Subject: [PATCH 103/154] =?UTF-8?q?=E4=BF=AE=E5=A4=8D=E4=BB=A3=E7=A0=81?=
=?UTF-8?q?=E8=8B=B1=E6=96=87=E9=87=8D=E6=9E=84Bug?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
.gitignore | 3 +-
crazy_functions/代码重写为全英文_多线程.py | 135 +++++++++++++++++----
predict.py | 8 +-
requirements.txt | 2 +
4 files changed, 124 insertions(+), 24 deletions(-)
diff --git a/.gitignore b/.gitignore
index 36f3534..d2c0f96 100644
--- a/.gitignore
+++ b/.gitignore
@@ -139,4 +139,5 @@ config_private.py
gpt_log
private.md
private_upload
-other_llms
\ No newline at end of file
+other_llms
+cradle.py
\ No newline at end of file
diff --git a/crazy_functions/代码重写为全英文_多线程.py b/crazy_functions/代码重写为全英文_多线程.py
index 6c6b1c7..bfcbec3 100644
--- a/crazy_functions/代码重写为全英文_多线程.py
+++ b/crazy_functions/代码重写为全英文_多线程.py
@@ -1,41 +1,126 @@
import threading
from predict import predict_no_ui_long_connection
-from toolbox import CatchException, write_results_to_file
+from toolbox import CatchException, write_results_to_file, report_execption
+def extract_code_block_carefully(txt):
+ splitted = txt.split('```')
+ n_code_block_seg = len(splitted) - 1
+ if n_code_block_seg <= 1: return txt
+ # 剩下的情况都开头除去 ``` 结尾除去一次 ```
+ txt_out = '```'.join(splitted[1:-1])
+ return txt_out
+
+def breakdown_txt_to_satisfy_token_limit(txt, limit, must_break_at_empty_line=True):
+ from transformers import GPT2TokenizerFast
+ tokenizer = GPT2TokenizerFast.from_pretrained("gpt2")
+ get_token_cnt = lambda txt: len(tokenizer(txt)["input_ids"])
+ def cut(txt_tocut, must_break_at_empty_line): # 递归
+ if get_token_cnt(txt_tocut) <= limit:
+ return [txt_tocut]
+ else:
+ lines = txt_tocut.split('\n')
+ estimated_line_cut = limit / get_token_cnt(txt_tocut) * len(lines)
+ estimated_line_cut = int(estimated_line_cut)
+ for cnt in reversed(range(estimated_line_cut)):
+ if must_break_at_empty_line:
+ if lines[cnt] != "": continue
+ print(cnt)
+ prev = "\n".join(lines[:cnt])
+ post = "\n".join(lines[cnt:])
+ if get_token_cnt(prev) < limit: break
+ if cnt == 0:
+ print('what the f?')
+ raise RuntimeError("存在一行极长的文本！")
+ print(len(post))
+ # 列表递归接龙
+ result = [prev]
+ result.extend(cut(post, must_break_at_empty_line))
+ return result
+ try:
+ return cut(txt, must_break_at_empty_line=True)
+ except RuntimeError:
+ return cut(txt, must_break_at_empty_line=False)
+
+
+def break_txt_into_half_at_some_linebreak(txt):
+ lines = txt.split('\n')
+ n_lines = len(lines)
+ pre = lines[:(n_lines//2)]
+ post = lines[(n_lines//2):]
+ return "\n".join(pre), "\n".join(post)
@CatchException
def 全项目切换英文(txt, top_p, temperature, chatbot, history, sys_prompt, WEB_PORT):
- history = [] # 清空历史，以免输入溢出
- # 集合文件
- import time, glob, os
+ # 第1步：清空历史，以免输入溢出
+ history = []
+
+ # 第2步：尝试导入依赖，如果缺少依赖，则给出安装建议
+ try:
+ import openai, transformers
+ except:
+ report_execption(chatbot, history,
+ a = f"解析项目: {txt}",
+ b = f"导入软件依赖失败。使用该模块需要额外依赖，安装方法```pip install --upgrade openai transformers```。")
+ yield chatbot, history, '正常'
+ return
+
+ # 第3步：集合文件
+ import time, glob, os, shutil, re, openai
os.makedirs('gpt_log/generated_english_version', exist_ok=True)
os.makedirs('gpt_log/generated_english_version/crazy_functions', exist_ok=True)
file_manifest = [f for f in glob.glob('./*.py') if ('test_project' not in f) and ('gpt_log' not in f)] + \
[f for f in glob.glob('./crazy_functions/*.py') if ('test_project' not in f) and ('gpt_log' not in f)]
+ # file_manifest = ['./toolbox.py']
i_say_show_user_buffer = []
- # 随便显示点什么防止卡顿的感觉
+ # 第4步：随便显示点什么防止卡顿的感觉
for index, fp in enumerate(file_manifest):
# if 'test_project' in fp: continue
with open(fp, 'r', encoding='utf-8') as f:
file_content = f.read()
- i_say_show_user =f'[{index}/{len(file_manifest)}] 接下来请将以下代码中包含的所有中文转化为英文，只输出代码: {os.path.abspath(fp)}'
+ i_say_show_user =f'[{index}/{len(file_manifest)}] 接下来请将以下代码中包含的所有中文转化为英文，只输出转化后的英文代码，请用代码块输出代码: {os.path.abspath(fp)}'
i_say_show_user_buffer.append(i_say_show_user)
chatbot.append((i_say_show_user, "[Local Message] 等待多线程操作，中间过程不予显示."))
yield chatbot, history, '正常'
- # 任务函数
+
+ # 第5步：Token限制下的截断与处理
+ MAX_TOKEN = 2500
+ # from transformers import GPT2TokenizerFast
+ # print('加载tokenizer中')
+ # tokenizer = GPT2TokenizerFast.from_pretrained("gpt2")
+ # get_token_cnt = lambda txt: len(tokenizer(txt)["input_ids"])
+ # print('加载tokenizer结束')
+
+
+ # 第6步：任务函数
mutable_return = [None for _ in file_manifest]
+ observe_window = [[""] for _ in file_manifest]
def thread_worker(fp,index):
+ if index > 10:
+ time.sleep(60)
+ print('Openai 限制免费用户每分钟20次请求，降低请求频率中。')
with open(fp, 'r', encoding='utf-8') as f:
file_content = f.read()
- i_say = f'接下来请将以下代码中包含的所有中文转化为英文，只输出代码，文件名是{fp}，文件代码是 ```{file_content}```'
- # ** gpt request **
- gpt_say = predict_no_ui_long_connection(inputs=i_say, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt)
- mutable_return[index] = gpt_say
+ i_say_template = lambda fp, file_content: f'接下来请将以下代码中包含的所有中文转化为英文，只输出代码，文件名是{fp}，文件代码是 ```{file_content}```'
+ try:
+ gpt_say = ""
+ # 分解代码文件
+ file_content_breakdown = breakdown_txt_to_satisfy_token_limit(file_content, MAX_TOKEN)
+ for file_content_partial in file_content_breakdown:
+ i_say = i_say_template(fp, file_content_partial)
+ # # ** gpt request **
+ gpt_say_partial = predict_no_ui_long_connection(inputs=i_say, top_p=top_p, temperature=temperature, history=[], sys_prompt=sys_prompt, observe_window=observe_window[index])
+ gpt_say_partial = extract_code_block_carefully(gpt_say_partial)
+ gpt_say += gpt_say_partial
+ mutable_return[index] = gpt_say
+ except ConnectionAbortedError as token_exceed_err:
+ print('至少一个线程任务Token溢出而失败', e)
+ except Exception as e:
+ print('至少一个线程任务意外失败', e)
- # 所有线程同时开始执行任务函数
+ # 第7步：所有线程同时开始执行任务函数
handles = [threading.Thread(target=thread_worker, args=(fp,index)) for index, fp in enumerate(file_manifest)]
for h in handles:
h.daemon = True
@@ -43,19 +128,23 @@ def 全项目切换英文(txt, top_p, temperature, chatbot, history, sys_prompt,
chatbot.append(('开始了吗？', f'多线程操作已经开始'))
yield chatbot, history, '正常'
- # 循环轮询各个线程是否执行完毕
+ # 第8步：循环轮询各个线程是否执行完毕
cnt = 0
while True:
- time.sleep(1)
+ cnt += 1
+ time.sleep(0.2)
th_alive = [h.is_alive() for h in handles]
if not any(th_alive): break
- stat = ['执行中' if alive else '已完成' for alive in th_alive]
- stat_str = '|'.join(stat)
- cnt += 1
- chatbot[-1] = (chatbot[-1][0], f'多线程操作已经开始，完成情况: {stat_str}' + ''.join(['.']*(cnt%4)))
+ # 更好的UI视觉效果
+ observe_win = []
+ for thread_index, alive in enumerate(th_alive):
+ observe_win.append("[ ..."+observe_window[thread_index][0][-60:].replace('\n','').replace('```','...').replace(' ','.').replace('ChatGPT 学术优化
""" +title_html = "ChatGPT 学术优化
" +description = """代码开源和更新[地址🚀](https://github.com/binary-husky/chatgpt_academic)，感谢热情的[开发者们❤️](https://github.com/binary-husky/chatgpt_academic/graphs/contributors)""" # 问询记录, python 版本建议3.9+（越新越好） import logging @@ -78,12 +79,12 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as de with gr.Row(): with gr.Accordion("点击展开“文件上传区”。上传本地文件可供红色函数插件调用。", open=False) as area_file_up: file_upload = gr.Files(label="任何文件, 但推荐上传压缩文件(zip, tar)", file_count="multiple") - with gr.Accordion("展开SysPrompt & GPT参数 & 交互界面布局", open=False): + with gr.Accordion("展开SysPrompt & 交互界面布局 & Github地址", open=False): system_prompt = gr.Textbox(show_label=True, placeholder=f"System Prompt", label="System prompt", value=initial_prompt) top_p = gr.Slider(minimum=-0, maximum=1.0, value=1.0, step=0.01,interactive=True, label="Top-p (nucleus sampling)",) temperature = gr.Slider(minimum=-0, maximum=2.0, value=1.0, step=0.01, interactive=True, label="Temperature",) checkboxes = gr.CheckboxGroup(["基础功能区", "函数插件区"], value=["基础功能区", "函数插件区"], label="显示/隐藏功能区") - + gr.Markdown(description) # 功能区显示开关与功能区的互动 def fn_area_visibility(a): ret = {} diff --git a/predict.py b/predict.py index 31a5861..f4c87cc 100644 --- a/predict.py +++ b/predict.py @@ -186,14 +186,16 @@ def predict(inputs, top_p, temperature, chatbot=[], history=[], system_prompt='' error_msg = chunk.decode() if "reduce the length" in error_msg: chatbot[-1] = (chatbot[-1][0], "[Local Message] Input (or history) is too long, please reduce input or clear history by refreshing this page.") - history = [] + history = [] # 清除历史 elif "Incorrect API key" in error_msg: chatbot[-1] = (chatbot[-1][0], "[Local Message] Incorrect API key provided.") + elif "exceeded your current quota" in error_msg: + chatbot[-1] = (chatbot[-1][0], "[Local Message] You exceeded your current quota. OpenAI以账户额度不足为由，拒绝服务.") else: from toolbox import regular_txt_to_markdown - tb_str = regular_txt_to_markdown(traceback.format_exc()) - chatbot[-1] = (chatbot[-1][0], f"[Local Message] Json Error \n\n {tb_str} \n\n {regular_txt_to_markdown(chunk.decode()[4:])}") - yield chatbot, history, "Json解析不合常规" + error_msg + tb_str = '```\n' + traceback.format_exc() + '```' + chatbot[-1] = (chatbot[-1][0], f"[Local Message] 异常 \n\n{tb_str} \n\n{regular_txt_to_markdown(chunk.decode()[4:])}") + yield chatbot, history, "Json异常" + error_msg return def generate_payload(inputs, top_p, temperature, history, system_prompt, stream): diff --git a/toolbox.py b/toolbox.py index 7733d83..61faf7c 100644 --- a/toolbox.py +++ b/toolbox.py @@ -115,8 +115,9 @@ def CatchException(f): from check_proxy import check_proxy from toolbox import get_conf proxies, = get_conf('proxies') - tb_str = regular_txt_to_markdown(traceback.format_exc()) - chatbot[-1] = (chatbot[-1][0], f"[Local Message] 实验性函数调用出错: \n\n {tb_str} \n\n 当前代理可用性: \n\n {check_proxy(proxies)}") + tb_str = '```\n' + traceback.format_exc() + '```' + if len(chatbot) == 0: chatbot.append(["插件调度异常","异常原因"]) + chatbot[-1] = (chatbot[-1][0], f"[Local Message] 实验性函数调用出错: \n\n{tb_str} \n\n当前代理可用性: \n\n{check_proxy(proxies)}") yield chatbot, history, f'异常 {e}' return decorated @@ -164,6 +165,23 @@ def markdown_convertion(txt): else: return pre + markdown.markdown(txt,extensions=['fenced_code','tables']) + suf +def close_up_code_segment_during_stream(gpt_reply): + """ + 在gpt输出代码的中途（输出了前面的```，但还没输出完后面的```），补上后面的``` + """ + if '```' not in gpt_reply: return gpt_reply + if gpt_reply.endswith('```'): return gpt_reply + + # 排除了以上两个情况，我们 + segments = gpt_reply.split('```') + n_mark = len(segments) - 1 + if n_mark % 2 == 1: + print('输出代码片段中！') + return gpt_reply+'\n```' + else: + return gpt_reply + + def format_io(self, y): """ @@ -172,6 +190,7 @@ def format_io(self, y): if y is None or y == []: return [] i_ask, gpt_reply = y[-1] i_ask = text_divide_paragraph(i_ask) # 输入部分太自由，预处理一波 + gpt_reply = close_up_code_segment_during_stream(gpt_reply) # 当代码输出半截的时候，试着补上后个``` y[-1] = ( None if i_ask is None else markdown.markdown(i_ask, extensions=['fenced_code','tables']), None if gpt_reply is None else markdown_convertion(gpt_reply) From c330fa6be18f5f63a01221ccefcd0c6859b0ff3c Mon Sep 17 00:00:00 2001 From: Your Name
@@ -204,6 +204,8 @@ input区域 输入 ./crazy_functions/test_project/python/dqn ， 然后点击 "[
```
python check_proxy.py
```
+### 方法二：纯新手教程
+[纯新手教程](https://github.com/binary-husky/chatgpt_academic/wiki/%E4%BB%A3%E7%90%86%E8%BD%AF%E4%BB%B6%E9%97%AE%E9%A2%98%E7%9A%84%E6%96%B0%E6%89%8B%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95%EF%BC%88%E6%96%B9%E6%B3%95%E5%8F%AA%E9%80%82%E7%94%A8%E4%BA%8E%E6%96%B0%E6%89%8B%EF%BC%89)
## 兼容性测试
diff --git a/theme.py b/theme.py
index 06d377d..1a186aa 100644
--- a/theme.py
+++ b/theme.py
@@ -82,29 +82,35 @@ def adjust_theme():
return set_theme
advanced_css = """
+/* 设置表格的外边距为1em，内部单元格之间边框合并，空单元格显示. */
.markdown-body table {
margin: 1em 0;
border-collapse: collapse;
empty-cells: show;
}
+
+/* 设置表格单元格的内边距为5px，边框粗细为1.2px，颜色为--border-color-primary. */
.markdown-body th, .markdown-body td {
border: 1.2px solid var(--border-color-primary);
padding: 5px;
}
+
+/* 设置表头背景颜色为rgba(175,184,193,0.2)，透明度为0.2. */
.markdown-body thead {
background-color: rgba(175,184,193,0.2);
}
+
+/* 设置表头单元格的内边距为0.5em和0.2em. */
.markdown-body thead th {
padding: .5em .2em;
}
-/* 以下 CSS 来自对 https://github.com/GaiZhenbiao/ChuanhuChatGPT 的移植。*/
-
-/* list */
+/* 去掉列表前缀的默认间距，使其与文本线对齐. */
.markdown-body ol, .markdown-body ul {
padding-inline-start: 2em !important;
}
-/* 对话气泡 */
+
+/* 设定聊天气泡的样式，包括圆角、最大宽度和阴影等. */
[class *= "message"] {
border-radius: var(--radius-xl) !important;
/* padding: var(--spacing-xl) !important; */
@@ -123,7 +129,8 @@ advanced_css = """
/* width: auto !important; */
border-bottom-right-radius: 0 !important;
}
-/* 行内代码 */
+
+/* 行内代码的背景设为淡灰色，设定圆角和间距. */
.markdown-body code {
display: inline;
white-space: break-spaces;
@@ -132,7 +139,7 @@ advanced_css = """
padding: .2em .4em .1em .4em;
background-color: rgba(175,184,193,0.2);
}
-/* 代码块 */
+/* 设定代码块的样式，包括背景颜色、内、外边距、圆角。 */
.markdown-body pre code {
display: block;
overflow: auto;
From 872888d9576248e06785e1f25d7042d822bb14b4 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Sun, 2 Apr 2023 21:27:19 +0800
Subject: [PATCH 082/154] Update README.md
---
README.md | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/README.md b/README.md
index f670dc1..b9721c1 100644
--- a/README.md
+++ b/README.md
@@ -22,7 +22,7 @@ https://github.com/polarwinkel/mdtex2html
>
> 1.请注意只有“红颜色”标识的函数插件（按钮）才支持读取文件。目前暂不能完善地支持pdf/word格式文献的翻译解读，相关函数函件正在测试中。
>
-> 2.本项目中每个文件的功能都在自译解[`project_self_analysis.md`](https://github.com/binary-husky/chatgpt_academic/wiki/chatgpt-academic%E9%A1%B9%E7%9B%AE%E8%87%AA%E8%AF%91%E8%A7%A3%E6%8A%A5%E5%91%8A)详细说明。随着版本的迭代，您也可以随时自行点击相关函数插件，调用GPT重新生成项目的自我解析报告。常见问题汇总在[`wiki`](https://github.com/binary-husky/chatgpt_academic/wiki/%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98)当中。
+> 2.本项目中每个文件的功能都在自译解[`self_analysis.md`](https://github.com/binary-husky/chatgpt_academic/wiki/chatgpt-academic%E9%A1%B9%E7%9B%AE%E8%87%AA%E8%AF%91%E8%A7%A3%E6%8A%A5%E5%91%8A)详细说明。随着版本的迭代，您也可以随时自行点击相关函数插件，调用GPT重新生成项目的自我解析报告。常见问题汇总在[`wiki`](https://github.com/binary-husky/chatgpt_academic/wiki/%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98)当中。
>
> 3.如果您不太习惯部分中文命名的函数，您可以随时点击相关函数插件，调用GPT一键生成纯英文的项目源代码。
From 88e92bfd8c12b166959cb0ffe7b7c239267cbfe5 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Sun, 2 Apr 2023 21:28:59 +0800
Subject: [PATCH 083/154] Update README.md
---
README.md | 4 ++--
1 file changed, 2 insertions(+), 2 deletions(-)
diff --git a/README.md b/README.md
index b9721c1..86bebb8 100644
--- a/README.md
+++ b/README.md
@@ -2,9 +2,9 @@
# ChatGPT 学术优化
-**如果喜欢这个项目，请给它一个Star；如果你发明了更好用的学术快捷键，欢迎发issue或者pull requests（dev分支）**
+**如果喜欢这个项目，请给它一个Star；如果你发明了更好用的快捷键或函数插件，欢迎发issue或者pull requests（dev分支）**
-If you like this project, please give it a Star. If you've come up with more useful academic shortcuts, feel free to open an issue or pull request （to `dev` branch）.
+If you like this project, please give it a Star. If you've come up with more useful academic shortcuts or functional plugins, feel free to open an issue or pull request （to `dev` branch）.
```
代码中参考了很多其他优秀项目中的设计，主要包括：
From 2dd674b0b3cdec3825b6dd9854b7007d332dca98 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Sun, 2 Apr 2023 21:31:44 +0800
Subject: [PATCH 084/154] Update README.md
---
README.md | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/README.md b/README.md
index 86bebb8..8424cec 100644
--- a/README.md
+++ b/README.md
@@ -20,7 +20,7 @@ https://github.com/polarwinkel/mdtex2html
> **Note**
>
-> 1.请注意只有“红颜色”标识的函数插件（按钮）才支持读取文件。目前暂不能完善地支持pdf/word格式文献的翻译解读，相关函数函件正在测试中。
+> 1.请注意只有“红颜色”标识的函数插件（按钮）才支持读取文件。目前对pdf/word格式文件的支持插件正在逐步完善中，需要更多developer的帮助。
>
> 2.本项目中每个文件的功能都在自译解[`self_analysis.md`](https://github.com/binary-husky/chatgpt_academic/wiki/chatgpt-academic%E9%A1%B9%E7%9B%AE%E8%87%AA%E8%AF%91%E8%A7%A3%E6%8A%A5%E5%91%8A)详细说明。随着版本的迭代，您也可以随时自行点击相关函数插件，调用GPT重新生成项目的自我解析报告。常见问题汇总在[`wiki`](https://github.com/binary-husky/chatgpt_academic/wiki/%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98)当中。
>
From c2062c05cb51d24293f1a5b430e35fdf5db074d1 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Sun, 2 Apr 2023 21:33:09 +0800
Subject: [PATCH 085/154] Update README.md
---
README.md | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/README.md b/README.md
index 8424cec..8b60131 100644
--- a/README.md
+++ b/README.md
@@ -24,7 +24,7 @@ https://github.com/polarwinkel/mdtex2html
>
> 2.本项目中每个文件的功能都在自译解[`self_analysis.md`](https://github.com/binary-husky/chatgpt_academic/wiki/chatgpt-academic%E9%A1%B9%E7%9B%AE%E8%87%AA%E8%AF%91%E8%A7%A3%E6%8A%A5%E5%91%8A)详细说明。随着版本的迭代，您也可以随时自行点击相关函数插件，调用GPT重新生成项目的自我解析报告。常见问题汇总在[`wiki`](https://github.com/binary-husky/chatgpt_academic/wiki/%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98)当中。
>
-> 3.如果您不太习惯部分中文命名的函数，您可以随时点击相关函数插件，调用GPT一键生成纯英文的项目源代码。
+> 3.如果您不太习惯部分中文命名的函数、注释或者界面，您可以随时点击相关函数插件，调用ChatGPT一键生成纯英文的项目源代码。
From f58f4fbbf83640f29b41d2aa33af9283c4e6595d Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Mon, 3 Apr 2023 01:39:17 +0800
Subject: [PATCH 096/154] Update README.md
---
README.md | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/README.md b/README.md
index 8425524..1deff67 100644
--- a/README.md
+++ b/README.md
@@ -46,7 +46,7 @@ arxiv小助手 | [函数插件] 输入arxiv文章url即可一键翻译摘要+下
图片显示 | 可以在markdown中显示图片
多线程函数插件支持 | 支持多线调用chatgpt，一键处理海量文本或程序
支持GPT输出的markdown表格 | 可以输出支持GPT的markdown表格
-huggingface免科学上网在线体验 | 登陆huggingface后复制[此空间](https://huggingface.co/spaces/qingxu98/gpt-academic)
+huggingface免科学上网[在线体验](https://huggingface.co/spaces/qingxu98/gpt-academic) | 登陆huggingface后复制[此空间](https://huggingface.co/spaces/qingxu98/gpt-academic)
…… | ……
From a10a23e3470d9f3c086934f3004098baf963c2c4 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Sun, 2 Apr 2023 21:39:28 +0800
Subject: [PATCH 086/154] Update README.md
---
README.md | 4 +++-
1 file changed, 3 insertions(+), 1 deletion(-)
diff --git a/README.md b/README.md
index 8b60131..28d4d3c 100644
--- a/README.md
+++ b/README.md
@@ -37,12 +37,14 @@ https://github.com/polarwinkel/mdtex2html
配置代理服务器 | 支持配置代理服务器
模块化设计 | 支持自定义高阶的实验性功能
自我程序剖析 | [实验性功能] 一键读懂本项目的源代码
-程序剖析 | [实验性功能] 一键可以剖析其他Python/C++项目
+程序剖析 | [实验性功能] 一键可以剖析其他Python/C/C++/Java项目树
读论文 | [实验性功能] 一键解读latex论文全文并生成摘要
批量注释生成 | [实验性功能] 一键批量生成函数注释
chat分析报告生成 | [实验性功能] 运行后自动生成总结汇报
公式显示 | 可以同时显示公式的tex形式和渲染形式
+arxiv小助手 | 输入arxiv文章url即可一键翻译摘要+下载PDF
图片显示 | 可以在markdown中显示图片
+多线程函数插件支持 | 支持多线调用chatgpt，一键处理海量文本或程序
支持GPT输出的markdown表格 | 可以输出支持GPT的markdown表格
…… | ……
From 5e003070cdbaf644153ede667bcc0d6bced91427 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Sun, 2 Apr 2023 21:41:36 +0800
Subject: [PATCH 087/154] Update README.md
---
README.md | 12 ++++++------
1 file changed, 6 insertions(+), 6 deletions(-)
diff --git a/README.md b/README.md
index 28d4d3c..0bfd710 100644
--- a/README.md
+++ b/README.md
@@ -36,13 +36,13 @@ https://github.com/polarwinkel/mdtex2html
自定义快捷键 | 支持自定义快捷键
配置代理服务器 | 支持配置代理服务器
模块化设计 | 支持自定义高阶的实验性功能
-自我程序剖析 | [实验性功能] 一键读懂本项目的源代码
-程序剖析 | [实验性功能] 一键可以剖析其他Python/C/C++/Java项目树
-读论文 | [实验性功能] 一键解读latex论文全文并生成摘要
-批量注释生成 | [实验性功能] 一键批量生成函数注释
-chat分析报告生成 | [实验性功能] 运行后自动生成总结汇报
+自我程序剖析 | [函数插件] 一键读懂本项目的源代码
+程序剖析 | [函数插件] 一键可以剖析其他Python/C/C++/Java项目树
+读论文 | [函数插件] 一键解读latex论文全文并生成摘要
+批量注释生成 | [函数插件] 一键批量生成函数注释
+chat分析报告生成 | [函数插件] 运行后自动生成总结汇报
+arxiv小助手 | [函数插件] 输入arxiv文章url即可一键翻译摘要+下载PDF
公式显示 | 可以同时显示公式的tex形式和渲染形式
-arxiv小助手 | 输入arxiv文章url即可一键翻译摘要+下载PDF
图片显示 | 可以在markdown中显示图片
多线程函数插件支持 | 支持多线调用chatgpt，一键处理海量文本或程序
支持GPT输出的markdown表格 | 可以输出支持GPT的markdown表格
From 80fed7135a45c7db85816ce83761f90ee20ed14d Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Sun, 2 Apr 2023 21:44:44 +0800
Subject: [PATCH 088/154] Update README.md
---
README.md | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/README.md b/README.md
index 0bfd710..8d3d785 100644
--- a/README.md
+++ b/README.md
@@ -35,7 +35,7 @@ https://github.com/polarwinkel/mdtex2html
一键代码解释 | 可以正确显示代码、解释代码
自定义快捷键 | 支持自定义快捷键
配置代理服务器 | 支持配置代理服务器
-模块化设计 | 支持自定义高阶的实验性功能
+模块化设计 | 支持自定义高阶的实验性功能与[函数插件]，插件支持[热更新](https://github.com/binary-husky/chatgpt_academic/wiki/%E5%87%BD%E6%95%B0%E6%8F%92%E4%BB%B6PR%E7%9A%84%E5%B0%8F%E5%B0%8F%E5%BB%BA%E8%AE%AE)
自我程序剖析 | [函数插件] 一键读懂本项目的源代码
程序剖析 | [函数插件] 一键可以剖析其他Python/C/C++/Java项目树
读论文 | [函数插件] 一键解读latex论文全文并生成摘要
From ad48645db9504deb3e8d0741936bc184747ff04d Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Sun, 2 Apr 2023 21:51:41 +0800
Subject: [PATCH 089/154] Update README.md
---
README.md | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/README.md b/README.md
index 8d3d785..82d908a 100644
--- a/README.md
+++ b/README.md
@@ -35,7 +35,7 @@ https://github.com/polarwinkel/mdtex2html
一键代码解释 | 可以正确显示代码、解释代码
自定义快捷键 | 支持自定义快捷键
配置代理服务器 | 支持配置代理服务器
-模块化设计 | 支持自定义高阶的实验性功能与[函数插件]，插件支持[热更新](https://github.com/binary-husky/chatgpt_academic/wiki/%E5%87%BD%E6%95%B0%E6%8F%92%E4%BB%B6PR%E7%9A%84%E5%B0%8F%E5%B0%8F%E5%BB%BA%E8%AE%AE)
+模块化设计 | 支持自定义高阶的实验性功能与[函数插件]，插件支持[热更新](https://github.com/binary-husky/chatgpt_academic/wiki/%E5%87%BD%E6%95%B0%E6%8F%92%E4%BB%B6%E6%8C%87%E5%8D%97)
自我程序剖析 | [函数插件] 一键读懂本项目的源代码
程序剖析 | [函数插件] 一键可以剖析其他Python/C/C++/Java项目树
读论文 | [函数插件] 一键解读latex论文全文并生成摘要
From a96a865265d118c5df5919654a76c718921cb533 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Sun, 2 Apr 2023 22:02:41 +0800
Subject: [PATCH 090/154] Update config.py
---
config.py | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/config.py b/config.py
index a3c634f..d986750 100644
--- a/config.py
+++ b/config.py
@@ -42,5 +42,5 @@ API_URL = "https://api.openai.com/v1/chat/completions"
# 设置并行使用的线程数
CONCURRENT_COUNT = 100
-# 设置用户名和密码
+# 设置用户名和密码（相关功能不稳定，与gradio版本和网络都相关，如果本地使用不建议加这个）
AUTHENTICATION = [] # [("username", "password"), ("username2", "password2"), ...]
From 7658842bdd1263f98e1713cdfd032d3a0f8ef16f Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Sun, 2 Apr 2023 22:04:33 +0800
Subject: [PATCH 091/154] Update README.md
---
request_llm/README.md | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/request_llm/README.md b/request_llm/README.md
index a539f1f..c66cc15 100644
--- a/request_llm/README.md
+++ b/request_llm/README.md
@@ -1,4 +1,4 @@
-# 如何使用其他大语言模型
+# 如何使用其他大语言模型（dev分支测试中）
## 1. 先运行text-generation
``` sh
From 9b45a6613767b21640ee9179fdd75dd96e3beb1a Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Sun, 2 Apr 2023 22:15:12 +0800
Subject: [PATCH 092/154] Update README.md
---
README.md | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/README.md b/README.md
index 82d908a..21435b2 100644
--- a/README.md
+++ b/README.md
@@ -259,5 +259,5 @@ python check_proxy.py
- (Top Priority) 调用另一个开源项目text-generation-webui的web接口，使用其他llm模型
- 总结大工程源代码时，文本过长、token溢出的问题（目前的方法是直接二分丢弃处理溢出，过于粗暴，有效信息大量丢失）
-- UI不够美观
+
From 5aab515bace1795d405fbad8aefc6c07c327aea3 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Mon, 3 Apr 2023 01:01:57 +0800
Subject: [PATCH 093/154] Update README.md
---
README.md | 3 +++
1 file changed, 3 insertions(+)
diff --git a/README.md b/README.md
index 21435b2..e885499 100644
--- a/README.md
+++ b/README.md
@@ -46,6 +46,9 @@ arxiv小助手 | [函数插件] 输入arxiv文章url即可一键翻译摘要+下
图片显示 | 可以在markdown中显示图片
多线程函数插件支持 | 支持多线调用chatgpt，一键处理海量文本或程序
支持GPT输出的markdown表格 | 可以输出支持GPT的markdown表格
+huggingface免科学上网在线体验 | 登陆huggingface后复制一下[空间](https://huggingface.co/spaces/qingxu98/gpt-academic)
+
+
…… | ……
From 5570b94ad1a74bee64323e2ac6952518adcfe5d4 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Mon, 3 Apr 2023 01:03:00 +0800
Subject: [PATCH 094/154] Update README.md
---
README.md | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/README.md b/README.md
index e885499..e1e6ece 100644
--- a/README.md
+++ b/README.md
@@ -46,7 +46,7 @@ arxiv小助手 | [函数插件] 输入arxiv文章url即可一键翻译摘要+下
图片显示 | 可以在markdown中显示图片
多线程函数插件支持 | 支持多线调用chatgpt，一键处理海量文本或程序
支持GPT输出的markdown表格 | 可以输出支持GPT的markdown表格
-huggingface免科学上网在线体验 | 登陆huggingface后复制一下[空间](https://huggingface.co/spaces/qingxu98/gpt-academic)
+huggingface免科学上网在线体验 | 登陆huggingface后复制[此空间](https://huggingface.co/spaces/qingxu98/gpt-academic)
…… | ……
From b1ed86ee7d6e5fe72adff41762f0097fc3ab66d7 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Mon, 3 Apr 2023 01:38:44 +0800
Subject: [PATCH 095/154] Update README.md
---
README.md | 2 --
1 file changed, 2 deletions(-)
diff --git a/README.md b/README.md
index e1e6ece..8425524 100644
--- a/README.md
+++ b/README.md
@@ -47,8 +47,6 @@ arxiv小助手 | [函数插件] 输入arxiv文章url即可一键翻译摘要+下
多线程函数插件支持 | 支持多线调用chatgpt，一键处理海量文本或程序
支持GPT输出的markdown表格 | 可以输出支持GPT的markdown表格
huggingface免科学上网在线体验 | 登陆huggingface后复制[此空间](https://huggingface.co/spaces/qingxu98/gpt-academic)
-
-
…… | ……
','.....').replace('$','.')+"... ]") + stat = [f'执行中: {obs}\n\n' if alive else '已完成\n\n' for alive, obs in zip(th_alive, observe_win)] + stat_str = ''.join(stat) + chatbot[-1] = (chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt%10+1))) yield chatbot, history, '正常' - # 把结果写入文件 + # 第9步：把结果写入文件 for index, h in enumerate(handles): h.join() # 这里其实不需要join了，肯定已经都结束了 fp = file_manifest[index] @@ -63,13 +152,17 @@ def 全项目切换英文(txt, top_p, temperature, chatbot, history, sys_prompt, i_say_show_user = i_say_show_user_buffer[index] where_to_relocate = f'gpt_log/generated_english_version/{fp}' - with open(where_to_relocate, 'w+', encoding='utf-8') as f: f.write(gpt_say.lstrip('```').rstrip('```')) + if gpt_say is not None: + with open(where_to_relocate, 'w+', encoding='utf-8') as f: + f.write(gpt_say) + else: # 失败 + shutil.copyfile(file_manifest[index], where_to_relocate) chatbot.append((i_say_show_user, f'[Local Message] 已完成{os.path.abspath(fp)}的转化，\n\n存入{os.path.abspath(where_to_relocate)}')) history.append(i_say_show_user); history.append(gpt_say) yield chatbot, history, '正常' time.sleep(1) - # 备份一个文件 + # 第10步：备份一个文件 res = write_results_to_file(history) chatbot.append(("生成一份任务执行报告", res)) yield chatbot, history, '正常' diff --git a/predict.py b/predict.py index f4c87cc..2a1ef4d 100644 --- a/predict.py +++ b/predict.py @@ -71,9 +71,10 @@ def predict_no_ui(inputs, top_p, temperature, history=[], sys_prompt=""): raise ConnectionAbortedError("Json解析不合常规，可能是文本过长" + response.text) -def predict_no_ui_long_connection(inputs, top_p, temperature, history=[], sys_prompt=""): +def predict_no_ui_long_connection(inputs, top_p, temperature, history=[], sys_prompt="", observe_window=None): """ 发送至chatGPT，等待回复，一次性完成，不显示中间过程。但内部用stream的方法避免有人中途掐网线。 + observe_window：用于负责跨越线程传递已经输出的部分，大部分时候仅仅为了fancy的视觉效果，留空即可 """ headers, payload = generate_payload(inputs, top_p, temperature, history, system_prompt=sys_prompt, stream=True) @@ -105,7 +106,10 @@ def predict_no_ui_long_connection(inputs, top_p, temperature, history=[], sys_pr delta = json_data["delta"] if len(delta) == 0: break if "role" in delta: continue - if "content" in delta: result += delta["content"]; print(delta["content"], end='') + if "content" in delta: + result += delta["content"] + print(delta["content"], end='') + if observe_window is not None: observe_window[0] += delta["content"] else: raise RuntimeError("意外Json结构："+delta) if json_data['finish_reason'] == 'length': raise ConnectionAbortedError("正常结束，但显示Token不足。") diff --git a/requirements.txt b/requirements.txt index d71b498..bdafbe3 100644 --- a/requirements.txt +++ b/requirements.txt @@ -3,3 +3,5 @@ requests[socks] mdtex2html Markdown latex2mathml +openai +transformers From 2418c45159d27831baceffa5630d71d774cbc292 Mon Sep 17 00:00:00 2001 From: binary-husky <96192199+binary-husky@users.noreply.github.com> Date: Tue, 4 Apr 2023 15:33:53 +0800 Subject: [PATCH 104/154] Update README.md --- README.md | 7 +++++++ 1 file changed, 7 insertions(+) diff --git a/README.md b/README.md index cf8dda3..7542bae 100644 --- a/README.md +++ b/README.md @@ -257,6 +257,13 @@ python check_proxy.py
+
+### 源代码转译英文
+
+
+
+
+
## Todo:
- (Top Priority) 调用另一个开源项目text-generation-webui的web接口，使用其他llm模型
From e5bd6186d55cfe9e977e9df3b6a99056f96036eb Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Tue, 4 Apr 2023 17:13:40 +0800
Subject: [PATCH 105/154] Update issue templates
---
.github/ISSUE_TEMPLATE/bug_report.md | 5 +++++
1 file changed, 5 insertions(+)
diff --git a/.github/ISSUE_TEMPLATE/bug_report.md b/.github/ISSUE_TEMPLATE/bug_report.md
index 9ab8831..ba11763 100644
--- a/.github/ISSUE_TEMPLATE/bug_report.md
+++ b/.github/ISSUE_TEMPLATE/bug_report.md
@@ -12,3 +12,8 @@ assignees: ''
**Screen Shot 截图**
**Terminal Traceback 终端traceback（如果有）**
+
+
+Before submitting an issue 提交issue之前：
+- Please try to upgrade your code. 如果您的代码不是最新的，建议您先尝试更新代码
+- Please check project wiki for common problem solutions.项目[wiki](https://github.com/binary-husky/chatgpt_academic/wiki)有一些常见问题的解决方法
From 79c617e4371870907cd2315eac1afed292b62ac2 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Tue, 4 Apr 2023 21:38:20 +0800
Subject: [PATCH 106/154] =?UTF-8?q?=E8=A7=84=E5=88=92=E7=89=88=E6=9C=AC?=
=?UTF-8?q?=E5=8F=B7?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
README.md | 18 +++++++++++++-----
version | 1 +
2 files changed, 14 insertions(+), 5 deletions(-)
create mode 100644 version
diff --git a/README.md b/README.md
index 7542bae..eef79e5 100644
--- a/README.md
+++ b/README.md
@@ -264,9 +264,17 @@ python check_proxy.py
+
-## Todo:
-
-- (Top Priority) 调用另一个开源项目text-generation-webui的web接口，使用其他llm模型
-- 总结大工程源代码时，文本过长、token溢出的问题（目前的方法是直接二分丢弃处理溢出，过于粗暴，有效信息大量丢失）
-
+## Todo 与 版本规划:
+- version 3 (Todo):
+- - 支持gpt4和其他更多llm
+- version 2.3+ (Todo):
+- - 总结大工程源代码时文本过长、token溢出的问题
+- - 实现项目打包部署
+- - 函数插件参数接口优化
+- - 自更新
+- version 2.3: 增强多线程交互性
+- version 2.2: 函数插件支持热重载
+- version 2.1: 可折叠式布局
+- version 2.0: 引入模块化函数插件
+- version 1.0: 基础功能
\ No newline at end of file
diff --git a/version b/version
new file mode 100644
index 0000000..c0943d3
--- /dev/null
+++ b/version
@@ -0,0 +1 @@
+2.3
\ No newline at end of file
From 7f0393b2b080b57bc85d6ef296c990e8614a70d2 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Tue, 4 Apr 2023 22:17:47 +0800
Subject: [PATCH 107/154] Update version
---
version | 6 +++++-
1 file changed, 5 insertions(+), 1 deletion(-)
diff --git a/version b/version
index c0943d3..21ab827 100644
--- a/version
+++ b/version
@@ -1 +1,5 @@
-2.3
\ No newline at end of file
+{
+ 'version': 2.3,
+ 'show_feature': false,
+ 'new_feature': "修复多线程插件Bug；加入版本检查功能。",
+}
From 602fbb08da64ab13fea51fd6ff06702c7f41d4ba Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Tue, 4 Apr 2023 22:20:21 +0800
Subject: [PATCH 108/154] Update version
---
version | 6 +++---
1 file changed, 3 insertions(+), 3 deletions(-)
diff --git a/version b/version
index 21ab827..f799a3f 100644
--- a/version
+++ b/version
@@ -1,5 +1,5 @@
{
- 'version': 2.3,
- 'show_feature': false,
- 'new_feature': "修复多线程插件Bug；加入版本检查功能。",
+ "version": 2.3,
+ "show_feature": false,
+ "new_feature": "修复多线程插件Bug；加入版本检查功能。",
}
From 3d95e42dc82a953a49fb5189483fbda964654bce Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Tue, 4 Apr 2023 22:20:39 +0800
Subject: [PATCH 109/154] Update version
---
version | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/version b/version
index f799a3f..436307a 100644
--- a/version
+++ b/version
@@ -1,5 +1,5 @@
{
"version": 2.3,
"show_feature": false,
- "new_feature": "修复多线程插件Bug；加入版本检查功能。",
+ "new_feature": "修复多线程插件Bug；加入版本检查功能。"
}
From effa1421b4241cf2cbaddb7e12daae264a2bb66a Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Tue, 4 Apr 2023 22:34:28 +0800
Subject: [PATCH 110/154] Update version
---
version | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/version b/version
index 436307a..ce7c84e 100644
--- a/version
+++ b/version
@@ -1,5 +1,5 @@
{
"version": 2.3,
- "show_feature": false,
+ "show_feature": true,
"new_feature": "修复多线程插件Bug；加入版本检查功能。"
}
From b87bfeaddb144a5fcc8f6c754834b3e466f7ecca Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Tue, 4 Apr 2023 22:54:08 +0800
Subject: [PATCH 111/154] check_new_version
---
check_proxy.py | 24 ++++++++++++++++++++++++
main.py | 10 ++++++++--
2 files changed, 32 insertions(+), 2 deletions(-)
diff --git a/check_proxy.py b/check_proxy.py
index a6919dd..abc75d0 100644
--- a/check_proxy.py
+++ b/check_proxy.py
@@ -19,6 +19,30 @@ def check_proxy(proxies):
return result
+def auto_update():
+ from toolbox import get_conf
+ import requests, time, json
+ proxies, = get_conf('proxies')
+ response = requests.get("https://raw.githubusercontent.com/binary-husky/chatgpt_academic/master/version",
+ proxies=proxies, timeout=1)
+ remote_json_data = json.loads(response.text)
+ remote_version = remote_json_data['version']
+ if remote_json_data["show_feature"]:
+ new_feature = "新功能：" + remote_json_data["new_feature"]
+ else:
+ new_feature = ""
+ with open('./version', 'r', encoding='utf8') as f:
+ current_version = f.read()
+ current_version = json.loads(current_version)['version']
+ if (remote_version - current_version) >= 0.05:
+ print(f'\n新版本可用。新版本:{remote_version}，当前版本:{current_version}。{new_feature}')
+ print('Github更新地址:\nhttps://github.com/binary-husky/chatgpt_academic\n')
+ time.sleep(3)
+ return
+ else:
+ return
+
+
if __name__ == '__main__':
import os; os.environ['no_proxy'] = '*' # 避免代理网络产生意外污染
from toolbox import get_conf
diff --git a/main.py b/main.py
index 973d16f..48ea670 100644
--- a/main.py
+++ b/main.py
@@ -37,6 +37,11 @@ gr.Chatbot.postprocess = format_io
from theme import adjust_theme, advanced_css
set_theme = adjust_theme()
+# 代理与自动更新
+from check_proxy import check_proxy, auto_update
+proxy_info = check_proxy(proxies)
+
+
cancel_handles = []
with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as demo:
gr.HTML(title_html)
@@ -54,8 +59,7 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as de
resetBtn = gr.Button("重置", variant="secondary"); resetBtn.style(size="sm")
stopBtn = gr.Button("停止", variant="secondary"); stopBtn.style(size="sm")
with gr.Row():
- from check_proxy import check_proxy
- status = gr.Markdown(f"Tip: 按Enter提交, 按Shift+Enter换行。当前模型: {LLM_MODEL} \n {check_proxy(proxies)}")
+ status = gr.Markdown(f"Tip: 按Enter提交, 按Shift+Enter换行。当前模型: {LLM_MODEL} \n {proxy_info}")
with gr.Accordion("基础功能区", open=True) as area_basic_fn:
with gr.Row():
for k in functional:
@@ -139,6 +143,8 @@ def auto_opentab_delay():
print(f"\t（暗色主体）: http://localhost:{PORT}/?__dark-theme=true")
def open():
time.sleep(2)
+ try: auto_update() # 检查新版本
+ except: pass
webbrowser.open_new_tab(f"http://localhost:{PORT}/?__dark-theme=true")
threading.Thread(target=open, name="open-browser", daemon=True).start()
From 24780ee628d392df501e22f0a84cc234f0ad194f Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Tue, 4 Apr 2023 22:56:06 +0800
Subject: [PATCH 112/154] merge
---
main.py | 19 +++++++++++--------
toolbox.py | 16 ++++++++++++++--
2 files changed, 25 insertions(+), 10 deletions(-)
diff --git a/main.py b/main.py
index 48ea670..123374e 100644
--- a/main.py
+++ b/main.py
@@ -1,7 +1,7 @@
import os; os.environ['no_proxy'] = '*' # 避免代理网络产生意外污染
import gradio as gr
from predict import predict
-from toolbox import format_io, find_free_port, on_file_uploaded, on_report_generated, get_conf
+from toolbox import format_io, find_free_port, on_file_uploaded, on_report_generated, get_conf, ArgsGeneralWrapper
# 建议您复制一个config_private.py放自己的秘密, 如API和代理网址, 避免不小心传github被别人看到
proxies, WEB_PORT, LLM_MODEL, CONCURRENT_COUNT, AUTHENTICATION, CHATBOT_HEIGHT = \
@@ -87,8 +87,12 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as de
system_prompt = gr.Textbox(show_label=True, placeholder=f"System Prompt", label="System prompt", value=initial_prompt)
top_p = gr.Slider(minimum=-0, maximum=1.0, value=1.0, step=0.01,interactive=True, label="Top-p (nucleus sampling)",)
temperature = gr.Slider(minimum=-0, maximum=2.0, value=1.0, step=0.01, interactive=True, label="Temperature",)
- checkboxes = gr.CheckboxGroup(["基础功能区", "函数插件区"], value=["基础功能区", "函数插件区"], label="显示/隐藏功能区")
+ checkboxes = gr.CheckboxGroup(["基础功能区", "函数插件区", "输入区2"], value=["基础功能区", "函数插件区"], label="显示/隐藏功能区")
gr.Markdown(description)
+ with gr.Accordion("输入区", open=True, visible=False) as input_crazy_fn:
+ with gr.Row():
+ txt2 = gr.Textbox(show_label=False, placeholder="Input question here.", label="输入区2").style(container=False)
+
# 功能区显示开关与功能区的互动
def fn_area_visibility(a):
ret = {}
@@ -97,17 +101,16 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as de
return ret
checkboxes.select(fn_area_visibility, [checkboxes], [area_basic_fn, area_crazy_fn] )
# 整理反复出现的控件句柄组合
- input_combo = [txt, top_p, temperature, chatbot, history, system_prompt]
+ input_combo = [txt, txt2, top_p, temperature, chatbot, history, system_prompt]
output_combo = [chatbot, history, status]
- predict_args = dict(fn=predict, inputs=input_combo, outputs=output_combo)
- empty_txt_args = dict(fn=lambda: "", inputs=[], outputs=[txt]) # 用于在提交后清空输入栏
+ predict_args = dict(fn=ArgsGeneralWrapper(predict), inputs=input_combo, outputs=output_combo)
# 提交按钮、重置按钮
- cancel_handles.append(txt.submit(**predict_args)) #; txt.submit(**empty_txt_args) 在提交后清空输入栏
- cancel_handles.append(submitBtn.click(**predict_args)) #; submitBtn.click(**empty_txt_args) 在提交后清空输入栏
+ cancel_handles.append(txt.submit(**predict_args))
+ cancel_handles.append(submitBtn.click(**predict_args))
resetBtn.click(lambda: ([], [], "已重置"), None, output_combo)
# 基础功能区的回调函数注册
for k in functional:
- click_handle = functional[k]["Button"].click(predict, [*input_combo, gr.State(True), gr.State(k)], output_combo)
+ click_handle = functional[k]["Button"].click(fn=ArgsGeneralWrapper(predict), inputs=[*input_combo, gr.State(True), gr.State(k)], outputs=output_combo)
cancel_handles.append(click_handle)
# 文件上传区，接收文件后与chatbot的互动
file_upload.upload(on_file_uploaded, [file_upload, chatbot, txt], [chatbot, txt])
diff --git a/toolbox.py b/toolbox.py
index c55a48e..00bb03e 100644
--- a/toolbox.py
+++ b/toolbox.py
@@ -2,6 +2,18 @@ import markdown, mdtex2html, threading, importlib, traceback, importlib, inspect
from show_math import convert as convert_math
from functools import wraps, lru_cache
+def ArgsGeneralWrapper(f):
+ """
+ 装饰器函数，用于重组输入参数，改变输入参数的顺序与结构。
+ """
+ def decorated(txt, txt2, top_p, temperature, chatbot, history, system_prompt, *args, **kwargs):
+ txt_passon = txt
+ if txt == "" and txt2 != "": txt_passon = txt2
+ yield from f(txt_passon, top_p, temperature, chatbot, history, system_prompt, *args, **kwargs)
+
+ return decorated
+
+
def get_reduce_token_percent(text):
try:
# text = "maximum context length is 4097 tokens. However, your messages resulted in 4870 tokens"
@@ -116,7 +128,7 @@ def CatchException(f):
from toolbox import get_conf
proxies, = get_conf('proxies')
tb_str = '```\n' + traceback.format_exc() + '```'
- if len(chatbot) == 0: chatbot.append(["插件调度异常","异常原因"])
+ if chatbot is None or len(chatbot) == 0: chatbot = [["插件调度异常","异常原因"]]
chatbot[-1] = (chatbot[-1][0], f"[Local Message] 实验性函数调用出错: \n\n{tb_str} \n\n当前代理可用性: \n\n{check_proxy(proxies)}")
yield chatbot, history, f'异常 {e}'
return decorated
@@ -129,7 +141,7 @@ def HotReload(f):
def decorated(*args, **kwargs):
fn_name = f.__name__
f_hot_reload = getattr(importlib.reload(inspect.getmodule(f)), fn_name)
- yield from f_hot_reload(*args, **kwargs)
+ yield from ArgsGeneralWrapper(f_hot_reload)(*args, **kwargs)
return decorated
def report_execption(chatbot, history, a, b):
From c96a2535680302711ba2e9c5d68a1afc3cac9ed4 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Tue, 4 Apr 2023 23:46:47 +0800
Subject: [PATCH 113/154] =?UTF-8?q?=E6=94=AF=E6=8C=81=E6=9B=B4=E5=A4=9A?=
=?UTF-8?q?=E7=95=8C=E9=9D=A2=E5=B8=83=E5=B1=80=E7=9A=84=E5=88=87=E6=8D=A2?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
config.py | 3 +++
main.py | 62 +++++++++++++++++++++++++++++++++++-------------------
theme.py | 2 +-
toolbox.py | 6 ++++++
4 files changed, 50 insertions(+), 23 deletions(-)
diff --git a/config.py b/config.py
index d986750..8c98657 100644
--- a/config.py
+++ b/config.py
@@ -24,6 +24,9 @@ else:
# 对话窗的高度
CHATBOT_HEIGHT = 1115
+# 窗口布局
+LAYOUT = "LEFT-RIGHT" # "LEFT-RIGHT"（左右布局） # "TOP-DOWN"（上下布局）
+
# 发送请求到OpenAI后，等待多久判定为超时
TIMEOUT_SECONDS = 25
diff --git a/main.py b/main.py
index 123374e..479acde 100644
--- a/main.py
+++ b/main.py
@@ -1,11 +1,11 @@
import os; os.environ['no_proxy'] = '*' # 避免代理网络产生意外污染
import gradio as gr
from predict import predict
-from toolbox import format_io, find_free_port, on_file_uploaded, on_report_generated, get_conf, ArgsGeneralWrapper
+from toolbox import format_io, find_free_port, on_file_uploaded, on_report_generated, get_conf, ArgsGeneralWrapper, DummyWith
# 建议您复制一个config_private.py放自己的秘密, 如API和代理网址, 避免不小心传github被别人看到
-proxies, WEB_PORT, LLM_MODEL, CONCURRENT_COUNT, AUTHENTICATION, CHATBOT_HEIGHT = \
- get_conf('proxies', 'WEB_PORT', 'LLM_MODEL', 'CONCURRENT_COUNT', 'AUTHENTICATION', 'CHATBOT_HEIGHT')
+proxies, WEB_PORT, LLM_MODEL, CONCURRENT_COUNT, AUTHENTICATION, CHATBOT_HEIGHT, LAYOUT = \
+ get_conf('proxies', 'WEB_PORT', 'LLM_MODEL', 'CONCURRENT_COUNT', 'AUTHENTICATION', 'CHATBOT_HEIGHT', 'LAYOUT')
# 如果WEB_PORT是-1, 则随机选取WEB端口
PORT = find_free_port() if WEB_PORT <= 0 else WEB_PORT
@@ -41,25 +41,32 @@ set_theme = adjust_theme()
from check_proxy import check_proxy, auto_update
proxy_info = check_proxy(proxies)
+gr_L1 = lambda: gr.Row().style()
+gr_L2 = lambda scale: gr.Column(scale=scale)
+if LAYOUT == "TOP-DOWN":
+ gr_L1 = lambda: DummyWith()
+ gr_L2 = lambda scale: gr.Row()
+ CHATBOT_HEIGHT /= 2
cancel_handles = []
with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as demo:
gr.HTML(title_html)
- with gr.Row().style(equal_height=True):
- with gr.Column(scale=2):
+ with gr_L1():
+ with gr_L2(scale=2):
chatbot = gr.Chatbot()
chatbot.style(height=CHATBOT_HEIGHT)
history = gr.State([])
- with gr.Column(scale=1):
- with gr.Row():
- txt = gr.Textbox(show_label=False, placeholder="Input question here.").style(container=False)
- with gr.Row():
- submitBtn = gr.Button("提交", variant="primary")
- with gr.Row():
- resetBtn = gr.Button("重置", variant="secondary"); resetBtn.style(size="sm")
- stopBtn = gr.Button("停止", variant="secondary"); stopBtn.style(size="sm")
- with gr.Row():
- status = gr.Markdown(f"Tip: 按Enter提交, 按Shift+Enter换行。当前模型: {LLM_MODEL} \n {proxy_info}")
+ with gr_L2(scale=1):
+ with gr.Accordion("输入区", open=True) as area_input_primary:
+ with gr.Row():
+ txt = gr.Textbox(show_label=False, placeholder="Input question here.").style(container=False)
+ with gr.Row():
+ submitBtn = gr.Button("提交", variant="primary")
+ with gr.Row():
+ resetBtn = gr.Button("重置", variant="secondary"); resetBtn.style(size="sm")
+ stopBtn = gr.Button("停止", variant="secondary"); stopBtn.style(size="sm")
+ with gr.Row():
+ status = gr.Markdown(f"Tip: 按Enter提交, 按Shift+Enter换行。当前模型: {LLM_MODEL} \n {proxy_info}")
with gr.Accordion("基础功能区", open=True) as area_basic_fn:
with gr.Row():
for k in functional:
@@ -67,12 +74,13 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as de
functional[k]["Button"] = gr.Button(k, variant=variant)
with gr.Accordion("函数插件区", open=True) as area_crazy_fn:
with gr.Row():
- gr.Markdown("注意：以下“红颜色”标识的函数插件需从input区读取路径作为参数.")
+ gr.Markdown("注意：以下“红颜色”标识的函数插件需从输入区读取路径作为参数.")
with gr.Row():
for k in crazy_fns:
if not crazy_fns[k].get("AsButton", True): continue
variant = crazy_fns[k]["Color"] if "Color" in crazy_fns[k] else "secondary"
crazy_fns[k]["Button"] = gr.Button(k, variant=variant)
+ crazy_fns[k]["Button"].style(size="sm")
with gr.Row():
with gr.Accordion("更多函数插件", open=True):
dropdown_fn_list = [k for k in crazy_fns.keys() if not crazy_fns[k].get("AsButton", True)]
@@ -83,31 +91,41 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as de
with gr.Row():
with gr.Accordion("点击展开“文件上传区”。上传本地文件可供红色函数插件调用。", open=False) as area_file_up:
file_upload = gr.Files(label="任何文件, 但推荐上传压缩文件(zip, tar)", file_count="multiple")
- with gr.Accordion("展开SysPrompt & 交互界面布局 & Github地址", open=False):
+ with gr.Accordion("展开SysPrompt & 交互界面布局 & Github地址", open=(LAYOUT == "TOP-DOWN")):
system_prompt = gr.Textbox(show_label=True, placeholder=f"System Prompt", label="System prompt", value=initial_prompt)
top_p = gr.Slider(minimum=-0, maximum=1.0, value=1.0, step=0.01,interactive=True, label="Top-p (nucleus sampling)",)
temperature = gr.Slider(minimum=-0, maximum=2.0, value=1.0, step=0.01, interactive=True, label="Temperature",)
- checkboxes = gr.CheckboxGroup(["基础功能区", "函数插件区", "输入区2"], value=["基础功能区", "函数插件区"], label="显示/隐藏功能区")
+ checkboxes = gr.CheckboxGroup(["基础功能区", "函数插件区", "底部输入区"], value=["基础功能区", "函数插件区"], label="显示/隐藏功能区")
gr.Markdown(description)
- with gr.Accordion("输入区", open=True, visible=False) as input_crazy_fn:
+ with gr.Accordion("备选输入区", open=True, visible=False) as area_input_secondary:
with gr.Row():
txt2 = gr.Textbox(show_label=False, placeholder="Input question here.", label="输入区2").style(container=False)
-
+ with gr.Row():
+ submitBtn2 = gr.Button("提交", variant="primary")
+ with gr.Row():
+ resetBtn2 = gr.Button("重置", variant="secondary"); resetBtn.style(size="sm")
+ stopBtn2 = gr.Button("停止", variant="secondary"); stopBtn.style(size="sm")
# 功能区显示开关与功能区的互动
def fn_area_visibility(a):
ret = {}
ret.update({area_basic_fn: gr.update(visible=("基础功能区" in a))})
ret.update({area_crazy_fn: gr.update(visible=("函数插件区" in a))})
+ ret.update({area_input_primary: gr.update(visible=("底部输入区" not in a))})
+ ret.update({area_input_secondary: gr.update(visible=("底部输入区" in a))})
+ if "底部输入区" in a: ret.update({txt: gr.update(value="")})
return ret
- checkboxes.select(fn_area_visibility, [checkboxes], [area_basic_fn, area_crazy_fn] )
+ checkboxes.select(fn_area_visibility, [checkboxes], [area_basic_fn, area_crazy_fn, area_input_primary, area_input_secondary, txt, txt2] )
# 整理反复出现的控件句柄组合
input_combo = [txt, txt2, top_p, temperature, chatbot, history, system_prompt]
output_combo = [chatbot, history, status]
predict_args = dict(fn=ArgsGeneralWrapper(predict), inputs=input_combo, outputs=output_combo)
# 提交按钮、重置按钮
cancel_handles.append(txt.submit(**predict_args))
+ cancel_handles.append(txt2.submit(**predict_args))
cancel_handles.append(submitBtn.click(**predict_args))
+ cancel_handles.append(submitBtn2.click(**predict_args))
resetBtn.click(lambda: ([], [], "已重置"), None, output_combo)
+ resetBtn2.click(lambda: ([], [], "已重置"), None, output_combo)
# 基础功能区的回调函数注册
for k in functional:
click_handle = functional[k]["Button"].click(fn=ArgsGeneralWrapper(predict), inputs=[*input_combo, gr.State(True), gr.State(k)], outputs=output_combo)
@@ -137,7 +155,7 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as de
cancel_handles.append(click_handle)
# 终止按钮的回调函数注册
stopBtn.click(fn=None, inputs=None, outputs=None, cancels=cancel_handles)
-
+ stopBtn2.click(fn=None, inputs=None, outputs=None, cancels=cancel_handles)
# gradio的inbrowser触发不太稳定，回滚代码到原始的浏览器打开函数
def auto_opentab_delay():
import threading, webbrowser, time
diff --git a/theme.py b/theme.py
index 1a186aa..4ddae5a 100644
--- a/theme.py
+++ b/theme.py
@@ -26,7 +26,7 @@ import gradio as gr
def adjust_theme():
try:
- color_er = gr.themes.utils.colors.pink
+ color_er = gr.themes.utils.colors.fuchsia
set_theme = gr.themes.Default(
primary_hue=gr.themes.utils.colors.orange,
neutral_hue=gr.themes.utils.colors.gray,
diff --git a/toolbox.py b/toolbox.py
index 00bb03e..3925e83 100644
--- a/toolbox.py
+++ b/toolbox.py
@@ -354,3 +354,9 @@ def clear_line_break(txt):
txt = txt.replace(' ', ' ')
txt = txt.replace(' ', ' ')
return txt
+
+class DummyWith():
+ def __enter__(self):
+ return self
+ def __exit__(self, exc_type, exc_value, traceback):
+ return
\ No newline at end of file
From 85e71f8a71c61a8fd4036de64cdf801bdaaa872b Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Wed, 5 Apr 2023 00:07:08 +0800
Subject: [PATCH 114/154] =?UTF-8?q?=E5=8F=82=E6=95=B0=E8=BE=93=E5=85=A5bug?=
=?UTF-8?q?=E4=BF=AE=E5=A4=8D?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
main.py | 2 +-
toolbox.py | 4 ++--
2 files changed, 3 insertions(+), 3 deletions(-)
diff --git a/main.py b/main.py
index 479acde..f9511b0 100644
--- a/main.py
+++ b/main.py
@@ -135,7 +135,7 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as de
# 函数插件-固定按钮区
for k in crazy_fns:
if not crazy_fns[k].get("AsButton", True): continue
- click_handle = crazy_fns[k]["Button"].click(crazy_fns[k]["Function"], [*input_combo, gr.State(PORT)], output_combo)
+ click_handle = crazy_fns[k]["Button"].click(ArgsGeneralWrapper(crazy_fns[k]["Function"]), [*input_combo, gr.State(PORT)], output_combo)
click_handle.then(on_report_generated, [file_upload, chatbot], [file_upload, chatbot])
cancel_handles.append(click_handle)
# 函数插件-下拉菜单与随变按钮的互动
diff --git a/toolbox.py b/toolbox.py
index 3925e83..011cb44 100644
--- a/toolbox.py
+++ b/toolbox.py
@@ -6,10 +6,10 @@ def ArgsGeneralWrapper(f):
"""
装饰器函数，用于重组输入参数，改变输入参数的顺序与结构。
"""
- def decorated(txt, txt2, top_p, temperature, chatbot, history, system_prompt, *args, **kwargs):
+ def decorated(txt, txt2, *args, **kwargs):
txt_passon = txt
if txt == "" and txt2 != "": txt_passon = txt2
- yield from f(txt_passon, top_p, temperature, chatbot, history, system_prompt, *args, **kwargs)
+ yield from f(txt_passon, *args, **kwargs)
return decorated
From 04504b1d9922f0ceeee6b2262588fc4fdd61ec51 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Wed, 5 Apr 2023 00:09:13 +0800
Subject: [PATCH 115/154] Bug Fix: Hot Reload Wapper For All
---
functional_crazy.py | 18 +++++++++---------
1 file changed, 9 insertions(+), 9 deletions(-)
diff --git a/functional_crazy.py b/functional_crazy.py
index 66a08db..3f02400 100644
--- a/functional_crazy.py
+++ b/functional_crazy.py
@@ -18,43 +18,43 @@ def get_crazy_functionals():
function_plugins = {
"请解析并解构此项目本身（源码自译解）": {
"AsButton": False, # 加入下拉菜单中
- "Function": 解析项目本身
+ "Function": HotReload(解析项目本身)
},
"解析整个Py项目": {
"Color": "stop", # 按钮颜色
- "Function": 解析一个Python项目
+ "Function": HotReload(解析一个Python项目)
},
"解析整个C++项目头文件": {
"Color": "stop", # 按钮颜色
- "Function": 解析一个C项目的头文件
+ "Function": HotReload(解析一个C项目的头文件)
},
"解析整个C++项目（.cpp/.h）": {
"Color": "stop", # 按钮颜色
"AsButton": False, # 加入下拉菜单中
- "Function": 解析一个C项目
+ "Function": HotReload(解析一个C项目)
},
"解析整个Go项目": {
"Color": "stop", # 按钮颜色
"AsButton": False, # 加入下拉菜单中
- "Function": 解析一个Golang项目
+ "Function": HotReload(解析一个Golang项目)
},
"解析整个Java项目": {
"Color": "stop", # 按钮颜色
"AsButton": False, # 加入下拉菜单中
- "Function": 解析一个Java项目
+ "Function": HotReload(解析一个Java项目)
},
"解析整个React项目": {
"Color": "stop", # 按钮颜色
"AsButton": False, # 加入下拉菜单中
- "Function": 解析一个Rect项目
+ "Function": HotReload(解析一个Rect项目)
},
"读Tex论文写摘要": {
"Color": "stop", # 按钮颜色
- "Function": 读文章写摘要
+ "Function": HotReload(读文章写摘要)
},
"批量生成函数注释": {
"Color": "stop", # 按钮颜色
- "Function": 批量生成函数注释
+ "Function": HotReload(批量生成函数注释)
},
"[多线程demo] 把本项目源代码切换成全英文": {
# HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效
From 971b45f3327a3f655d5e4627d99e532795f0e434 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Wed, 5 Apr 2023 00:10:06 +0800
Subject: [PATCH 116/154] BUG FIX
---
main.py | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/main.py b/main.py
index f9511b0..fae27a6 100644
--- a/main.py
+++ b/main.py
@@ -147,7 +147,7 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as de
def route(k, *args, **kwargs):
if k in [r"打开插件列表", r"请先从插件列表中选择"]: return
yield from crazy_fns[k]["Function"](*args, **kwargs)
- click_handle = switchy_bt.click(route,[switchy_bt, *input_combo, gr.State(PORT)], output_combo)
+ click_handle = switchy_bt.click(ArgsGeneralWrapper(route),[switchy_bt, *input_combo, gr.State(PORT)], output_combo)
click_handle.then(on_report_generated, [file_upload, chatbot], [file_upload, chatbot])
# def expand_file_area(file_upload, area_file_up):
# if len(file_upload)>0: return {area_file_up: gr.update(open=True)}
From 82952882ebd77320614f1ff976fc37758bee5cdb Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Wed, 5 Apr 2023 00:11:12 +0800
Subject: [PATCH 117/154] BUG FIX
---
main.py | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/main.py b/main.py
index f9511b0..aa29e59 100644
--- a/main.py
+++ b/main.py
@@ -146,7 +146,7 @@ with gr.Blocks(theme=set_theme, analytics_enabled=False, css=advanced_css) as de
# 随变按钮的回调函数注册
def route(k, *args, **kwargs):
if k in [r"打开插件列表", r"请先从插件列表中选择"]: return
- yield from crazy_fns[k]["Function"](*args, **kwargs)
+ yield from ArgsGeneralWrapper(crazy_fns[k])["Function"](*args, **kwargs)
click_handle = switchy_bt.click(route,[switchy_bt, *input_combo, gr.State(PORT)], output_combo)
click_handle.then(on_report_generated, [file_upload, chatbot], [file_upload, chatbot])
# def expand_file_area(file_upload, area_file_up):
From 745734b601ec6f87efeb86ea7cfda83683167869 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Wed, 5 Apr 2023 00:25:53 +0800
Subject: [PATCH 118/154] =?UTF-8?q?=E6=94=B9=E8=BF=9B=E6=95=88=E7=8E=87?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
crazy_functions/代码重写为全英文_多线程.py | 25 ++++++++++------------
1 file changed, 11 insertions(+), 14 deletions(-)
diff --git a/crazy_functions/代码重写为全英文_多线程.py b/crazy_functions/代码重写为全英文_多线程.py
index bfcbec3..7f62088 100644
--- a/crazy_functions/代码重写为全英文_多线程.py
+++ b/crazy_functions/代码重写为全英文_多线程.py
@@ -10,16 +10,13 @@ def extract_code_block_carefully(txt):
txt_out = '```'.join(splitted[1:-1])
return txt_out
-def breakdown_txt_to_satisfy_token_limit(txt, limit, must_break_at_empty_line=True):
- from transformers import GPT2TokenizerFast
- tokenizer = GPT2TokenizerFast.from_pretrained("gpt2")
- get_token_cnt = lambda txt: len(tokenizer(txt)["input_ids"])
+def breakdown_txt_to_satisfy_token_limit(txt, get_token_fn, limit, must_break_at_empty_line=True):
def cut(txt_tocut, must_break_at_empty_line): # 递归
- if get_token_cnt(txt_tocut) <= limit:
+ if get_token_fn(txt_tocut) <= limit:
return [txt_tocut]
else:
lines = txt_tocut.split('\n')
- estimated_line_cut = limit / get_token_cnt(txt_tocut) * len(lines)
+ estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines)
estimated_line_cut = int(estimated_line_cut)
for cnt in reversed(range(estimated_line_cut)):
if must_break_at_empty_line:
@@ -27,7 +24,7 @@ def breakdown_txt_to_satisfy_token_limit(txt, limit, must_break_at_empty_line=Tr
print(cnt)
prev = "\n".join(lines[:cnt])
post = "\n".join(lines[cnt:])
- if get_token_cnt(prev) < limit: break
+ if get_token_fn(prev) < limit: break
if cnt == 0:
print('what the f?')
raise RuntimeError("存在一行极长的文本！")
@@ -86,12 +83,12 @@ def 全项目切换英文(txt, top_p, temperature, chatbot, history, sys_prompt,
# 第5步：Token限制下的截断与处理
- MAX_TOKEN = 2500
- # from transformers import GPT2TokenizerFast
- # print('加载tokenizer中')
- # tokenizer = GPT2TokenizerFast.from_pretrained("gpt2")
- # get_token_cnt = lambda txt: len(tokenizer(txt)["input_ids"])
- # print('加载tokenizer结束')
+ MAX_TOKEN = 3000
+ from transformers import GPT2TokenizerFast
+ print('加载tokenizer中')
+ tokenizer = GPT2TokenizerFast.from_pretrained("gpt2")
+ get_token_fn = lambda txt: len(tokenizer(txt)["input_ids"])
+ print('加载tokenizer结束')
# 第6步：任务函数
@@ -107,7 +104,7 @@ def 全项目切换英文(txt, top_p, temperature, chatbot, history, sys_prompt,
try:
gpt_say = ""
# 分解代码文件
- file_content_breakdown = breakdown_txt_to_satisfy_token_limit(file_content, MAX_TOKEN)
+ file_content_breakdown = breakdown_txt_to_satisfy_token_limit(file_content, get_token_fn, MAX_TOKEN)
for file_content_partial in file_content_breakdown:
i_say = i_say_template(fp, file_content_partial)
# # ** gpt request **
From eda3c6d3455a5837b4a68ca447daade7a5ab1dd3 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Wed, 5 Apr 2023 01:58:34 +0800
Subject: [PATCH 119/154] BUG FIX
---
crazy_functions/解析项目源代码.py | 5 +++--
toolbox.py | 4 +++-
2 files changed, 6 insertions(+), 3 deletions(-)
diff --git a/crazy_functions/解析项目源代码.py b/crazy_functions/解析项目源代码.py
index 172be24..da6d102 100644
--- a/crazy_functions/解析项目源代码.py
+++ b/crazy_functions/解析项目源代码.py
@@ -119,8 +119,8 @@ def 解析一个C项目的头文件(txt, top_p, temperature, chatbot, history, s
report_execption(chatbot, history, a = f"解析项目: {txt}", b = f"找不到本地项目或无权访问: {txt}")
yield chatbot, history, '正常'
return
- file_manifest = [f for f in glob.glob(f'{project_folder}/**/*.h', recursive=True)] # + \
- # [f for f in glob.glob(f'{project_folder}/**/*.cpp', recursive=True)] + \
+ file_manifest = [f for f in glob.glob(f'{project_folder}/**/*.h', recursive=True)] + \
+ [f for f in glob.glob(f'{project_folder}/**/*.hpp', recursive=True)] #+ \
# [f for f in glob.glob(f'{project_folder}/**/*.c', recursive=True)]
if len(file_manifest) == 0:
report_execption(chatbot, history, a = f"解析项目: {txt}", b = f"找不到任何.h头文件: {txt}")
@@ -141,6 +141,7 @@ def 解析一个C项目(txt, top_p, temperature, chatbot, history, systemPromptT
return
file_manifest = [f for f in glob.glob(f'{project_folder}/**/*.h', recursive=True)] + \
[f for f in glob.glob(f'{project_folder}/**/*.cpp', recursive=True)] + \
+ [f for f in glob.glob(f'{project_folder}/**/*.hpp', recursive=True)] + \
[f for f in glob.glob(f'{project_folder}/**/*.c', recursive=True)]
if len(file_manifest) == 0:
report_execption(chatbot, history, a = f"解析项目: {txt}", b = f"找不到任何.h头文件: {txt}")
diff --git a/toolbox.py b/toolbox.py
index c55a48e..17e5670 100644
--- a/toolbox.py
+++ b/toolbox.py
@@ -303,7 +303,9 @@ def on_file_uploaded(files, chatbot, txt):
def on_report_generated(files, chatbot):
from toolbox import find_recent_files
report_files = find_recent_files('gpt_log')
- if len(report_files) == 0: return files, chatbot
+ if len(report_files) == 0:
+ if files is None: return None, chatbot
+ else: return [], chatbot
# files.extend(report_files)
chatbot.append(['汇总报告如何远程获取？', '汇总报告已经添加到右侧“文件上传区”（可能处于折叠状态），请查收。'])
return report_files, chatbot
From ddb39453fd762f37c3d4a57e221a8924bae1ccec Mon Sep 17 00:00:00 2001
From: Your Name
@@ -278,3 +268,18 @@ python check_proxy.py
- version 2.1: 可折叠式布局
- version 2.0: 引入模块化函数插件
- version 1.0: 基础功能
+
+## 参考与学习
+
+
+```
+代码中参考了很多其他优秀项目中的设计，主要包括：
+
+# 借鉴项目1：借鉴了ChuanhuChatGPT中读取OpenAI json的方法、记录历史问询记录的方法以及gradio queue的使用技巧
+https://github.com/GaiZhenbiao/ChuanhuChatGPT
+
+# 借鉴项目2：借鉴了mdtex2html中公式处理的方法
+https://github.com/polarwinkel/mdtex2html
+
+
+```
From 785893b64f28046d1a3bad89e38200dc9cdb593f Mon Sep 17 00:00:00 2001
From: Your Name
Date: Wed, 5 Apr 2023 16:19:35 +0800
Subject: [PATCH 125/154] =?UTF-8?q?=E4=BF=AE=E6=94=B9=E6=96=87=E4=BB=B6?=
=?UTF-8?q?=E5=91=BD=E5=90=8D?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
crazy_functions/下载arxiv论文翻译摘要.py | 2 +-
crazy_functions/代码重写为全英文_多线程.py | 2 +-
crazy_functions/总结word文档.py | 2 +-
crazy_functions/批量总结PDF文档.py | 2 +-
crazy_functions/批量总结PDF文档pdfminer.py | 2 +-
crazy_functions/生成函数注释.py | 2 +-
crazy_functions/解析项目源代码.py | 2 +-
crazy_functions/读文章写摘要.py | 2 +-
crazy_functions/高级功能函数模板.py | 2 +-
main.py | 2 +-
predict.py => request_llm/bridge_chatgpt.py | 0
toolbox.py | 2 +-
12 files changed, 11 insertions(+), 11 deletions(-)
rename predict.py => request_llm/bridge_chatgpt.py (100%)
diff --git a/crazy_functions/下载arxiv论文翻译摘要.py b/crazy_functions/下载arxiv论文翻译摘要.py
index 38f00c4..50708a1 100644
--- a/crazy_functions/下载arxiv论文翻译摘要.py
+++ b/crazy_functions/下载arxiv论文翻译摘要.py
@@ -1,4 +1,4 @@
-from predict import predict_no_ui
+from request_llm.bridge_chatgpt import predict_no_ui
from toolbox import CatchException, report_execption, write_results_to_file, predict_no_ui_but_counting_down, get_conf
import re, requests, unicodedata, os
diff --git a/crazy_functions/代码重写为全英文_多线程.py b/crazy_functions/代码重写为全英文_多线程.py
index 7f62088..206a3d8 100644
--- a/crazy_functions/代码重写为全英文_多线程.py
+++ b/crazy_functions/代码重写为全英文_多线程.py
@@ -1,5 +1,5 @@
import threading
-from predict import predict_no_ui_long_connection
+from request_llm.bridge_chatgpt import predict_no_ui_long_connection
from toolbox import CatchException, write_results_to_file, report_execption
def extract_code_block_carefully(txt):
diff --git a/crazy_functions/总结word文档.py b/crazy_functions/总结word文档.py
index a117fb3..f3edfe8 100644
--- a/crazy_functions/总结word文档.py
+++ b/crazy_functions/总结word文档.py
@@ -1,4 +1,4 @@
-from predict import predict_no_ui
+from request_llm.bridge_chatgpt import predict_no_ui
from toolbox import CatchException, report_execption, write_results_to_file, predict_no_ui_but_counting_down
fast_debug = False
diff --git a/crazy_functions/批量总结PDF文档.py b/crazy_functions/批量总结PDF文档.py
index 7270263..0ab095a 100644
--- a/crazy_functions/批量总结PDF文档.py
+++ b/crazy_functions/批量总结PDF文档.py
@@ -1,4 +1,4 @@
-from predict import predict_no_ui
+from request_llm.bridge_chatgpt import predict_no_ui
from toolbox import CatchException, report_execption, write_results_to_file, predict_no_ui_but_counting_down
import re
import unicodedata
diff --git a/crazy_functions/批量总结PDF文档pdfminer.py b/crazy_functions/批量总结PDF文档pdfminer.py
index 060187c..8aba47c 100644
--- a/crazy_functions/批量总结PDF文档pdfminer.py
+++ b/crazy_functions/批量总结PDF文档pdfminer.py
@@ -1,4 +1,4 @@
-from predict import predict_no_ui
+from request_llm.bridge_chatgpt import predict_no_ui
from toolbox import CatchException, report_execption, write_results_to_file, predict_no_ui_but_counting_down
fast_debug = False
diff --git a/crazy_functions/生成函数注释.py b/crazy_functions/生成函数注释.py
index 010600c..62df83a 100644
--- a/crazy_functions/生成函数注释.py
+++ b/crazy_functions/生成函数注释.py
@@ -1,4 +1,4 @@
-from predict import predict_no_ui
+from request_llm.bridge_chatgpt import predict_no_ui
from toolbox import CatchException, report_execption, write_results_to_file, predict_no_ui_but_counting_down
fast_debug = False
diff --git a/crazy_functions/解析项目源代码.py b/crazy_functions/解析项目源代码.py
index da6d102..ced0f26 100644
--- a/crazy_functions/解析项目源代码.py
+++ b/crazy_functions/解析项目源代码.py
@@ -1,4 +1,4 @@
-from predict import predict_no_ui
+from request_llm.bridge_chatgpt import predict_no_ui
from toolbox import CatchException, report_execption, write_results_to_file, predict_no_ui_but_counting_down
fast_debug = False
diff --git a/crazy_functions/读文章写摘要.py b/crazy_functions/读文章写摘要.py
index dc92256..b669864 100644
--- a/crazy_functions/读文章写摘要.py
+++ b/crazy_functions/读文章写摘要.py
@@ -1,4 +1,4 @@
-from predict import predict_no_ui
+from request_llm.bridge_chatgpt import predict_no_ui
from toolbox import CatchException, report_execption, write_results_to_file, predict_no_ui_but_counting_down
fast_debug = False
diff --git a/crazy_functions/高级功能函数模板.py b/crazy_functions/高级功能函数模板.py
index b5c84b9..d3fdde0 100644
--- a/crazy_functions/高级功能函数模板.py
+++ b/crazy_functions/高级功能函数模板.py
@@ -1,4 +1,4 @@
-from predict import predict_no_ui_long_connection
+from request_llm.bridge_chatgpt import predict_no_ui_long_connection
from toolbox import CatchException, report_execption, write_results_to_file
import datetime
diff --git a/main.py b/main.py
index a480d5b..ae80050 100644
--- a/main.py
+++ b/main.py
@@ -1,6 +1,6 @@
import os; os.environ['no_proxy'] = '*' # 避免代理网络产生意外污染
import gradio as gr
-from predict import predict
+from request_llm.bridge_chatgpt import predict
from toolbox import format_io, find_free_port, on_file_uploaded, on_report_generated, get_conf, ArgsGeneralWrapper, DummyWith
# 建议您复制一个config_private.py放自己的秘密, 如API和代理网址, 避免不小心传github被别人看到
diff --git a/predict.py b/request_llm/bridge_chatgpt.py
similarity index 100%
rename from predict.py
rename to request_llm/bridge_chatgpt.py
diff --git a/toolbox.py b/toolbox.py
index 13d8ba1..6678dec 100644
--- a/toolbox.py
+++ b/toolbox.py
@@ -39,7 +39,7 @@ def predict_no_ui_but_counting_down(i_say, i_say_show_user, chatbot, top_p, temp
long_connection: 是否采用更稳定的连接方式（推荐）
"""
import time
- from predict import predict_no_ui, predict_no_ui_long_connection
+ from request_llm.bridge_chatgpt import predict_no_ui, predict_no_ui_long_connection
from toolbox import get_conf
TIMEOUT_SECONDS, MAX_RETRY = get_conf('TIMEOUT_SECONDS', 'MAX_RETRY')
# 多线程的时候，需要一个mutable结构在不同线程之间传递信息
From dcaa7a1808bcc6eeb39c6fbec11ce50844ddb8cd Mon Sep 17 00:00:00 2001
From: Your Name
Date: Thu, 6 Apr 2023 02:02:04 +0800
Subject: [PATCH 126/154] =?UTF-8?q?=E9=87=8D=E5=91=BD=E5=90=8D=E4=B8=80?=
=?UTF-8?q?=E4=BA=9B=E5=87=BD=E6=95=B0?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
functional.py => core_functional.py | 2 +-
functional_crazy.py => crazy_functional.py | 10 +-
crazy_functions/crazy_utils.py | 58 +++++
crazy_functions/代码重写为全英文_多线程.py | 28 +--
crazy_functions/批量翻译PDF文档_多线程.py | 255 +++++++++++++++++++++
crazy_functions/高级功能函数模板.py | 13 +-
main.py | 8 +-
request_llm/bridge_chatgpt.py | 40 +++-
request_llm/bridge_tgui.py | 10 +-
requirements.txt | 1 +
10 files changed, 369 insertions(+), 56 deletions(-)
rename functional.py => core_functional.py (99%)
rename functional_crazy.py => crazy_functional.py (93%)
create mode 100644 crazy_functions/crazy_utils.py
create mode 100644 crazy_functions/批量翻译PDF文档_多线程.py
diff --git a/functional.py b/core_functional.py
similarity index 99%
rename from functional.py
rename to core_functional.py
index eccc0ac..22d2c2b 100644
--- a/functional.py
+++ b/core_functional.py
@@ -4,7 +4,7 @@
# 默认按钮颜色是 secondary
from toolbox import clear_line_break
-def get_functionals():
+def get_core_functions():
return {
"英语学术润色": {
# 前言
diff --git a/functional_crazy.py b/crazy_functional.py
similarity index 93%
rename from functional_crazy.py
rename to crazy_functional.py
index 3f02400..2876cb8 100644
--- a/functional_crazy.py
+++ b/crazy_functional.py
@@ -1,6 +1,6 @@
from toolbox import HotReload # HotReload 的意思是热更新，修改函数插件后，不需要重启程序，代码直接生效
-def get_crazy_functionals():
+def get_crazy_functions():
###################### 第一组插件 ###########################
# [第一组插件]: 最早期编写的项目插件和一些demo
from crazy_functions.读文章写摘要 import 读文章写摘要
@@ -97,6 +97,14 @@ def get_crazy_functionals():
"Function": HotReload(下载arxiv论文并翻译摘要)
}
})
+ from crazy_functions.批量翻译PDF文档_多线程 import 批量翻译PDF文档
+ function_plugins.update({
+ "批量翻译PDF文档（多线程）": {
+ "Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
+ "Function": HotReload(批量翻译PDF文档)
+ }
+ })
except Exception as err:
print(f'[下载arxiv论文并翻译摘要] 插件导入失败 {str(err)}')
diff --git a/crazy_functions/crazy_utils.py b/crazy_functions/crazy_utils.py
new file mode 100644
index 0000000..f1b5e82
--- /dev/null
+++ b/crazy_functions/crazy_utils.py
@@ -0,0 +1,58 @@
+
+
+
+def breakdown_txt_to_satisfy_token_limit(txt, get_token_fn, limit):
+ def cut(txt_tocut, must_break_at_empty_line): # 递归
+ if get_token_fn(txt_tocut) <= limit:
+ return [txt_tocut]
+ else:
+ lines = txt_tocut.split('\n')
+ estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines)
+ estimated_line_cut = int(estimated_line_cut)
+ for cnt in reversed(range(estimated_line_cut)):
+ if must_break_at_empty_line:
+ if lines[cnt] != "": continue
+ print(cnt)
+ prev = "\n".join(lines[:cnt])
+ post = "\n".join(lines[cnt:])
+ if get_token_fn(prev) < limit: break
+ if cnt == 0:
+ print('what the fuck ?')
+ raise RuntimeError("存在一行极长的文本！")
+ # print(len(post))
+ # 列表递归接龙
+ result = [prev]
+ result.extend(cut(post, must_break_at_empty_line))
+ return result
+ try:
+ return cut(txt, must_break_at_empty_line=True)
+ except RuntimeError:
+ return cut(txt, must_break_at_empty_line=False)
+
+def breakdown_txt_to_satisfy_token_limit_for_pdf(txt, get_token_fn, limit):
+ def cut(txt_tocut, must_break_at_empty_line): # 递归
+ if get_token_fn(txt_tocut) <= limit:
+ return [txt_tocut]
+ else:
+ lines = txt_tocut.split('\n')
+ estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines)
+ estimated_line_cut = int(estimated_line_cut)
+ for cnt in reversed(range(estimated_line_cut)):
+ if must_break_at_empty_line:
+ if lines[cnt] != "": continue
+ print(cnt)
+ prev = "\n".join(lines[:cnt])
+ post = "\n".join(lines[cnt:])
+ if get_token_fn(prev) < limit: break
+ if cnt == 0:
+ print('what the fuck ?')
+ raise RuntimeError("存在一行极长的文本！")
+ # print(len(post))
+ # 列表递归接龙
+ result = [prev]
+ result.extend(cut(post, must_break_at_empty_line))
+ return result
+ try:
+ return cut(txt, must_break_at_empty_line=True)
+ except RuntimeError:
+ return cut(txt, must_break_at_empty_line=False)
diff --git a/crazy_functions/代码重写为全英文_多线程.py b/crazy_functions/代码重写为全英文_多线程.py
index 206a3d8..ad23fea 100644
--- a/crazy_functions/代码重写为全英文_多线程.py
+++ b/crazy_functions/代码重写为全英文_多线程.py
@@ -1,6 +1,7 @@
import threading
from request_llm.bridge_chatgpt import predict_no_ui_long_connection
from toolbox import CatchException, write_results_to_file, report_execption
+from .crazy_utils import breakdown_txt_to_satisfy_token_limit
def extract_code_block_carefully(txt):
splitted = txt.split('```')
@@ -10,33 +11,6 @@ def extract_code_block_carefully(txt):
txt_out = '```'.join(splitted[1:-1])
return txt_out
-def breakdown_txt_to_satisfy_token_limit(txt, get_token_fn, limit, must_break_at_empty_line=True):
- def cut(txt_tocut, must_break_at_empty_line): # 递归
- if get_token_fn(txt_tocut) <= limit:
- return [txt_tocut]
- else:
- lines = txt_tocut.split('\n')
- estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines)
- estimated_line_cut = int(estimated_line_cut)
- for cnt in reversed(range(estimated_line_cut)):
- if must_break_at_empty_line:
- if lines[cnt] != "": continue
- print(cnt)
- prev = "\n".join(lines[:cnt])
- post = "\n".join(lines[cnt:])
- if get_token_fn(prev) < limit: break
- if cnt == 0:
- print('what the f?')
- raise RuntimeError("存在一行极长的文本！")
- print(len(post))
- # 列表递归接龙
- result = [prev]
- result.extend(cut(post, must_break_at_empty_line))
- return result
- try:
- return cut(txt, must_break_at_empty_line=True)
- except RuntimeError:
- return cut(txt, must_break_at_empty_line=False)
def break_txt_into_half_at_some_linebreak(txt):
diff --git a/crazy_functions/批量翻译PDF文档_多线程.py b/crazy_functions/批量翻译PDF文档_多线程.py
new file mode 100644
index 0000000..91ad003
--- /dev/null
+++ b/crazy_functions/批量翻译PDF文档_多线程.py
@@ -0,0 +1,255 @@
+from toolbox import CatchException, report_execption, write_results_to_file, predict_no_ui_but_counting_down
+import re
+import unicodedata
+fast_debug = False
+
+
+def is_paragraph_break(match):
+ """
+ 根据给定的匹配结果来判断换行符是否表示段落分隔。
+ 如果换行符前为句子结束标志（句号，感叹号，问号），且下一个字符为大写字母，则换行符更有可能表示段落分隔。
+ 也可以根据之前的内容长度来判断段落是否已经足够长。
+ """
+ prev_char, next_char = match.groups()
+
+ # 句子结束标志
+ sentence_endings = ".!?"
+
+ # 设定一个最小段落长度阈值
+ min_paragraph_length = 140
+
+ if prev_char in sentence_endings and next_char.isupper() and len(match.string[:match.start(1)]) > min_paragraph_length:
+ return "\n\n"
+ else:
+ return " "
+
+
+def normalize_text(text):
+ """
+ 通过把连字（ligatures）等文本特殊符号转换为其基本形式来对文本进行归一化处理。
+ 例如，将连字 "fi" 转换为 "f" 和 "i"。
+ """
+ # 对文本进行归一化处理，分解连字
+ normalized_text = unicodedata.normalize("NFKD", text)
+
+ # 替换其他特殊字符
+ cleaned_text = re.sub(r'[^\x00-\x7F]+', '', normalized_text)
+
+ return cleaned_text
+
+
+def clean_text(raw_text):
+ """
+ 对从 PDF 提取出的原始文本进行清洗和格式化处理。
+ 1. 对原始文本进行归一化处理。
+ 2. 替换跨行的连词，例如 “Espe-\ncially” 转换为 “Especially”。
+ 3. 根据 heuristic 规则判断换行符是否是段落分隔，并相应地进行替换。
+ """
+ # 对文本进行归一化处理
+ normalized_text = normalize_text(raw_text)
+
+ # 替换跨行的连词
+ text = re.sub(r'(\w+-\n\w+)',
+ lambda m: m.group(1).replace('-\n', ''), normalized_text)
+
+ # 根据前后相邻字符的特点，找到原文本中的换行符
+ newlines = re.compile(r'(\S)\n(\S)')
+
+ # 根据 heuristic 规则，用空格或段落分隔符替换原换行符
+ final_text = re.sub(newlines, lambda m: m.group(
+ 1) + is_paragraph_break(m) + m.group(2), text)
+
+ return final_text.strip()
+
+
+def read_and_clean_pdf_text(fp):
+ import fitz, re
+ import numpy as np
+ # file_content = ""
+ with fitz.open(fp) as doc:
+ meta_txt = []
+ meta_font = []
+ for page in doc:
+ # file_content += page.get_text()
+ text_areas = page.get_text("dict") # 获取页面上的文本信息
+
+
+ # # 行元提取 for each word segment with in line for each line for each block
+ # meta_txt.extend( [ ["".join( [wtf['text'] for wtf in l['spans'] ]) for l in t['lines'] ] for t in text_areas['blocks'] if 'lines' in t])
+ # meta_font.extend([ [ np.mean([wtf['size'] for wtf in l['spans'] ]) for l in t['lines'] ] for t in text_areas['blocks'] if 'lines' in t])
+
+ # 块元提取 for each word segment with in line for each line for each block
+ meta_txt.extend( [ " ".join(["".join( [wtf['text'] for wtf in l['spans'] ]) for l in t['lines'] ]) for t in text_areas['blocks'] if 'lines' in t])
+ meta_font.extend([ np.mean( [ np.mean([wtf['size'] for wtf in l['spans'] ]) for l in t['lines'] ]) for t in text_areas['blocks'] if 'lines' in t])
+
+ def 把字符太少的块清除为回车(meta_txt):
+ for index, block_txt in enumerate(meta_txt):
+ if len(block_txt) < 100:
+ meta_txt[index] = '\n'
+ return meta_txt
+ meta_txt = 把字符太少的块清除为回车(meta_txt)
+
+ def 清理多余的空行(meta_txt):
+ for index in reversed(range(1, len(meta_txt))):
+ if meta_txt[index] == '\n' and meta_txt[index-1] == '\n':
+ meta_txt.pop(index)
+ return meta_txt
+ meta_txt = 清理多余的空行(meta_txt)
+
+ def 合并小写开头的段落块(meta_txt):
+ def starts_with_lowercase_word(s):
+ pattern = r"^[a-z]+"
+ match = re.match(pattern, s)
+ if match:
+ return True
+ else:
+ return False
+ for _ in range(100):
+ for index, block_txt in enumerate(meta_txt):
+ if starts_with_lowercase_word(block_txt):
+ if meta_txt[index-1]!='\n': meta_txt[index-1] += ' '
+ else: meta_txt[index-1] = ''
+ meta_txt[index-1] += meta_txt[index]
+ meta_txt[index] = '\n'
+ return meta_txt
+ meta_txt = 合并小写开头的段落块(meta_txt)
+ meta_txt = 清理多余的空行(meta_txt)
+
+ meta_txt = '\n'.join(meta_txt)
+ # 清除重复的换行
+ for _ in range(5):
+ meta_txt = meta_txt.replace('\n\n','\n')
+
+ # 换行 -> 双换行
+ meta_txt = meta_txt.replace('\n', '\n\n')
+
+ # print(meta_txt)
+
+ return meta_txt
+
+@CatchException
+def 批量翻译PDF文档(txt, top_p, temperature, chatbot, history, systemPromptTxt, WEB_PORT):
+ import glob
+ import os
+
+ # 基本信息：功能、贡献者
+ chatbot.append([
+ "函数插件功能？",
+ "批量总结PDF文档。函数插件贡献者: Binary-Husky, ValeriaWong, Eralien"])
+ yield chatbot, history, '正常'
+
+ # 尝试导入依赖，如果缺少依赖，则给出安装建议
+ try:
+ import fitz, tiktoken
+ except:
+ report_execption(chatbot, history,
+ a=f"解析项目: {txt}",
+ b=f"导入软件依赖失败。使用该模块需要额外依赖，安装方法```pip install --upgrade pymupdf```。")
+ yield chatbot, history, '正常'
+ return
+
+ # 清空历史，以免输入溢出
+ history = []
+
+ # 检测输入参数，如没有给定输入参数，直接退出
+ if os.path.exists(txt):
+ project_folder = txt
+ else:
+ if txt == "":
+ txt = '空空如也的输入栏'
+ report_execption(chatbot, history,
+ a=f"解析项目: {txt}", b=f"找不到本地项目或无权访问: {txt}")
+ yield chatbot, history, '正常'
+ return
+
+ # 搜索需要处理的文件清单
+ file_manifest = [f for f in glob.glob(
+ f'{project_folder}/**/*.pdf', recursive=True)]
+
+ # 如果没找到任何文件
+ if len(file_manifest) == 0:
+ report_execption(chatbot, history,
+ a=f"解析项目: {txt}", b=f"找不到任何.tex或.pdf文件: {txt}")
+ yield chatbot, history, '正常'
+ return
+
+ # 开始正式执行任务
+ yield from 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, systemPromptTxt)
+
+
+def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, systemPromptTxt):
+ import time
+ import glob
+ import os
+ import fitz
+ import tiktoken
+ from concurrent.futures import ThreadPoolExecutor
+ print('begin analysis on:', file_manifest)
+ for index, fp in enumerate(file_manifest):
+ ### 1. 读取PDF文件
+ file_content = read_and_clean_pdf_text(fp)
+ ### 2. 递归地切割PDF文件
+ from .crazy_utils import breakdown_txt_to_satisfy_token_limit_for_pdf
+ enc = tiktoken.get_encoding("gpt2")
+ TOKEN_LIMIT_PER_FRAGMENT = 2048
+ get_token_num = lambda txt: len(enc.encode(txt))
+ # 分解
+ paper_fragments = breakdown_txt_to_satisfy_token_limit_for_pdf(
+ txt=file_content, get_token_fn=get_token_num, limit=TOKEN_LIMIT_PER_FRAGMENT)
+ print([get_token_num(frag) for frag in paper_fragments])
+ ### 3. 逐个段落翻译
+ ## 3.1. 多线程开始
+ from request_llm.bridge_chatgpt import predict_no_ui_long_connection
+ n_frag = len(paper_fragments)
+ # 异步原子
+ mutable = [["", time.time()] for _ in range(n_frag)]
+ # 翻译函数
+ def translate_(index, fragment, mutable):
+ i_say = f"以下是你需要翻译的文章段落：{fragment}"
+ # 请求gpt，需要一段时间
+ gpt_say = predict_no_ui_long_connection(
+ inputs=i_say, top_p=top_p, temperature=temperature, history=[], # ["请翻译：" if len(previous_result)!=0 else "", previous_result],
+ sys_prompt="请你作为一个学术翻译，负责将给定的文章段落翻译成中文，要求语言简洁、精准、凝练。你只需要给出翻译后的文本，不能重复原文。",
+ observe_window=mutable[index])
+ return gpt_say
+ ### 4. 异步任务开始
+ executor = ThreadPoolExecutor(max_workers=16)
+ # Submit tasks to the pool
+ futures = [executor.submit(translate_, index, frag, mutable) for index, frag in enumerate(paper_fragments)]
+
+ ### 5. UI主线程，在任务期间提供实时的前端显示
+ cnt = 0
+ while True:
+ cnt += 1
+ time.sleep(1)
+ worker_done = [h.done() for h in futures]
+ if all(worker_done):
+ executor.shutdown(); break
+ # 更好的UI视觉效果
+ observe_win = []
+ # 每个线程都要喂狗（看门狗）
+ for thread_index, _ in enumerate(worker_done):
+ mutable[thread_index][1] = time.time()
+ # 在前端打印些好玩的东西
+ for thread_index, _ in enumerate(worker_done):
+ print_something_really_funny = "[ ...`"+mutable[thread_index][0][-30:].replace('\n','').replace('```','...').replace(' ','.').replace('
','.....').replace('$','.')+"`... ]" + observe_win.append(print_something_really_funny) + stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip(worker_done, observe_win)]) + chatbot[-1] = [chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt%10+1))]; msg = "正常" + yield chatbot, history, msg + + # Wait for tasks to complete + results = [future.result() for future in futures] + + print(results) + # full_result += gpt_say + + # history.extend([fp, full_result]) + + res = write_results_to_file(history) + chatbot.append(("完成了吗？", res)); msg = "完成" + yield chatbot, history, msg + + +# if __name__ == '__main__': +# pro() diff --git a/crazy_functions/高级功能函数模板.py b/crazy_functions/高级功能函数模板.py index d3fdde0..69fd379 100644 --- a/crazy_functions/高级功能函数模板.py +++ b/crazy_functions/高级功能函数模板.py @@ -14,12 +14,13 @@ def 高阶功能模板函数(txt, top_p, temperature, chatbot, history, systemPr i_say = f'历史中哪些事件发生在{currentMonth}月{currentDay}日？列举两条并发送相关图片。发送图片时，请使用Markdown，将Unsplash API中的PUT_YOUR_QUERY_HERE替换成描述该事件的一个最重要的单词。' chatbot.append((i_say, "[Local Message] waiting gpt response.")) yield chatbot, history, '正常' # 由于请求gpt需要一段时间，我们先及时地做一次状态显示 - - # history = [] 每次询问不携带之前的询问历史 - gpt_say = predict_no_ui_long_connection( - inputs=i_say, top_p=top_p, temperature=temperature, history=[], - sys_prompt="当你想发送一张照片时，请使用Markdown, 并且不要有反斜线, 不要用代码块。使用 Unsplash API (https://source.unsplash.com/1280x720/? < PUT_YOUR_QUERY_HERE >)。") # 请求gpt，需要一段时间 - + try: + # history = [] 每次询问不携带之前的询问历史 + gpt_say = predict_no_ui_long_connection( + inputs=i_say, top_p=top_p, temperature=temperature, history=[], + sys_prompt="当你想发送一张照片时，请使用Markdown, 并且不要有反斜线, 不要用代码块。使用 Unsplash API (https://source.unsplash.com/1280x720/? < PUT_YOUR_QUERY_HERE >)。") # 请求gpt，需要一段时间 + except: + print("") chatbot[-1] = (i_say, gpt_say) history.append(i_say);history.append(gpt_say) yield chatbot, history, '正常' # 显示 \ No newline at end of file diff --git a/main.py b/main.py index ae80050..67ee00a 100644 --- a/main.py +++ b/main.py @@ -23,12 +23,12 @@ except:logging.basicConfig(filename="gpt_log/chat_secrets.log", level=logging.IN print("所有问询记录将自动保存在本地目录./gpt_log/chat_secrets.log, 请注意自我隐私保护哦！") # 一些普通功能模块 -from functional import get_functionals -functional = get_functionals() +from core_functional import get_core_functions +functional = get_core_functions() # 高级函数插件 -from functional_crazy import get_crazy_functionals -crazy_fns = get_crazy_functionals() +from crazy_functional import get_crazy_functions +crazy_fns = get_crazy_functions() # 处理markdown文本格式的转变 gr.Chatbot.postprocess = format_io diff --git a/request_llm/bridge_chatgpt.py b/request_llm/bridge_chatgpt.py index 2a1ef4d..237db04 100644 --- a/request_llm/bridge_chatgpt.py +++ b/request_llm/bridge_chatgpt.py @@ -12,6 +12,7 @@ """ import json +import time import gradio as gr import logging import traceback @@ -73,11 +74,20 @@ def predict_no_ui(inputs, top_p, temperature, history=[], sys_prompt=""): def predict_no_ui_long_connection(inputs, top_p, temperature, history=[], sys_prompt="", observe_window=None): """ - 发送至chatGPT，等待回复，一次性完成，不显示中间过程。但内部用stream的方法避免有人中途掐网线。 - observe_window：用于负责跨越线程传递已经输出的部分，大部分时候仅仅为了fancy的视觉效果，留空即可 + 发送至chatGPT，等待回复，一次性完成，不显示中间过程。但内部用stream的方法避免中途网线被掐。 + inputs： + 是本次问询的输入 + sys_prompt: + 系统静默prompt + top_p, temperature： + chatGPT的内部调优参数 + history： + 是之前的对话列表 + observe_window = None： + 用于负责跨越线程传递已经输出的部分，大部分时候仅仅为了fancy的视觉效果，留空即可。observe_window[0]：观测窗。observe_window[1]：看门狗 """ + watch_dog_patience = 5 # 看门狗的耐心, 设置5秒即可 headers, payload = generate_payload(inputs, top_p, temperature, history, system_prompt=sys_prompt, stream=True) - retry = 0 while True: try: @@ -109,10 +119,16 @@ def predict_no_ui_long_connection(inputs, top_p, temperature, history=[], sys_pr if "content" in delta: result += delta["content"] print(delta["content"], end='') - if observe_window is not None: observe_window[0] += delta["content"] + if observe_window is not None: + # 观测窗，把已经获取的数据显示出去 + if len(observe_window) >= 1: observe_window[0] += delta["content"] + # 看门狗，如果超过期限没有喂狗，则终止 + if len(observe_window) >= 2: + if (time.time()-observe_window[1]) > watch_dog_patience: + raise RuntimeError("程序终止。") else: raise RuntimeError("意外Json结构："+delta) if json_data['finish_reason'] == 'length': - raise ConnectionAbortedError("正常结束，但显示Token不足。") + raise ConnectionAbortedError("正常结束，但显示Token不足，导致输出不完整，请削减单次输入的文本量。") return result @@ -128,11 +144,11 @@ def predict(inputs, top_p, temperature, chatbot=[], history=[], system_prompt='' additional_fn代表点击的哪个按钮，按钮见functional.py """ if additional_fn is not None: - import functional - importlib.reload(functional) # 热更新prompt - functional = functional.get_functionals() - if "PreProcess" in functional[additional_fn]: inputs = functional[additional_fn]["PreProcess"](inputs) # 获取预处理函数（如果有的话） - inputs = functional[additional_fn]["Prefix"] + inputs + functional[additional_fn]["Suffix"] + import core_functional + importlib.reload(core_functional) # 热更新prompt + core_functional = core_functional.get_functions() + if "PreProcess" in core_functional[additional_fn]: inputs = core_functional[additional_fn]["PreProcess"](inputs) # 获取预处理函数（如果有的话） + inputs = core_functional[additional_fn]["Prefix"] + inputs + core_functional[additional_fn]["Suffix"] if stream: raw_input = inputs @@ -189,10 +205,10 @@ def predict(inputs, top_p, temperature, chatbot=[], history=[], system_prompt='' chunk = get_full_error(chunk, stream_response) error_msg = chunk.decode() if "reduce the length" in error_msg: - chatbot[-1] = (chatbot[-1][0], "[Local Message] Input (or history) is too long, please reduce input or clear history by refreshing this page.") + chatbot[-1] = (chatbot[-1][0], "[Local Message] Reduce the length. 本次输入过长，或历史数据过长. 历史缓存数据现已释放，您可以请再次尝试.") history = [] # 清除历史 elif "Incorrect API key" in error_msg: - chatbot[-1] = (chatbot[-1][0], "[Local Message] Incorrect API key provided.") + chatbot[-1] = (chatbot[-1][0], "[Local Message] Incorrect API key. OpenAI以提供了不正确的API_KEY为由，拒绝服务.") elif "exceeded your current quota" in error_msg: chatbot[-1] = (chatbot[-1][0], "[Local Message] You exceeded your current quota. OpenAI以账户额度不足为由，拒绝服务.") else: diff --git a/request_llm/bridge_tgui.py b/request_llm/bridge_tgui.py index d7cbe10..15f60b7 100644 --- a/request_llm/bridge_tgui.py +++ b/request_llm/bridge_tgui.py @@ -101,11 +101,11 @@ def predict_tgui(inputs, top_p, temperature, chatbot=[], history=[], system_prom additional_fn代表点击的哪个按钮，按钮见functional.py """ if additional_fn is not None: - import functional - importlib.reload(functional) # 热更新prompt - functional = functional.get_functionals() - if "PreProcess" in functional[additional_fn]: inputs = functional[additional_fn]["PreProcess"](inputs) # 获取预处理函数（如果有的话） - inputs = functional[additional_fn]["Prefix"] + inputs + functional[additional_fn]["Suffix"] + import core_functional + importlib.reload(core_functional) # 热更新prompt + core_functional = core_functional.get_functions() + if "PreProcess" in core_functional[additional_fn]: inputs = core_functional[additional_fn]["PreProcess"](inputs) # 获取预处理函数（如果有的话） + inputs = core_functional[additional_fn]["Prefix"] + inputs + core_functional[additional_fn]["Suffix"] raw_input = "What I would like to say is the following: " + inputs logging.info(f'[raw_input] {raw_input}') diff --git a/requirements.txt b/requirements.txt index bdafbe3..8034392 100644 --- a/requirements.txt +++ b/requirements.txt @@ -5,3 +5,4 @@ Markdown latex2mathml openai transformers +numpy \ No newline at end of file From 85d85d850a25bb3c380e33ab278fcc1ce7e4b99c Mon Sep 17 00:00:00 2001 From: Your Name
Date: Thu, 6 Apr 2023 03:30:02 +0800
Subject: [PATCH 127/154] update
---
crazy_functions/crazy_utils.py | 11 +-
crazy_functions/批量翻译PDF文档_多线程.py | 191 ++++++++++++----------
crazy_functions/高级功能函数模板.py | 2 +-
3 files changed, 119 insertions(+), 85 deletions(-)
diff --git a/crazy_functions/crazy_utils.py b/crazy_functions/crazy_utils.py
index f1b5e82..49732f3 100644
--- a/crazy_functions/crazy_utils.py
+++ b/crazy_functions/crazy_utils.py
@@ -37,6 +37,7 @@ def breakdown_txt_to_satisfy_token_limit_for_pdf(txt, get_token_fn, limit):
lines = txt_tocut.split('\n')
estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines)
estimated_line_cut = int(estimated_line_cut)
+ cnt = 0
for cnt in reversed(range(estimated_line_cut)):
if must_break_at_empty_line:
if lines[cnt] != "": continue
@@ -45,7 +46,7 @@ def breakdown_txt_to_satisfy_token_limit_for_pdf(txt, get_token_fn, limit):
post = "\n".join(lines[cnt:])
if get_token_fn(prev) < limit: break
if cnt == 0:
- print('what the fuck ?')
+ # print('what the fuck ? 存在一行极长的文本！')
raise RuntimeError("存在一行极长的文本！")
# print(len(post))
# 列表递归接龙
@@ -55,4 +56,10 @@ def breakdown_txt_to_satisfy_token_limit_for_pdf(txt, get_token_fn, limit):
try:
return cut(txt, must_break_at_empty_line=True)
except RuntimeError:
- return cut(txt, must_break_at_empty_line=False)
+ try:
+ return cut(txt, must_break_at_empty_line=False)
+ except RuntimeError:
+ # 这个中文的句号是故意的，作为一个标识而存在
+ res = cut(txt.replace('.', '。\n'), must_break_at_empty_line=False)
+ return [r.replace('。\n', '.') for r in res]
+
diff --git a/crazy_functions/批量翻译PDF文档_多线程.py b/crazy_functions/批量翻译PDF文档_多线程.py
index 91ad003..c8f72b8 100644
--- a/crazy_functions/批量翻译PDF文档_多线程.py
+++ b/crazy_functions/批量翻译PDF文档_多线程.py
@@ -1,7 +1,6 @@
from toolbox import CatchException, report_execption, write_results_to_file, predict_no_ui_but_counting_down
import re
import unicodedata
-fast_debug = False
def is_paragraph_break(match):
@@ -61,7 +60,6 @@ def clean_text(raw_text):
return final_text.strip()
-
def read_and_clean_pdf_text(fp):
import fitz, re
import numpy as np
@@ -69,19 +67,16 @@ def read_and_clean_pdf_text(fp):
with fitz.open(fp) as doc:
meta_txt = []
meta_font = []
- for page in doc:
+ for index, page in enumerate(doc):
# file_content += page.get_text()
text_areas = page.get_text("dict") # 获取页面上的文本信息
+ # 块元提取 for each word segment with in line for each line cross-line words for each block
+ meta_txt.extend( [ " ".join(["".join( [wtf['text'] for wtf in l['spans'] ]) for l in t['lines'] ]).replace('- ','') for t in text_areas['blocks'] if 'lines' in t])
+ meta_font.extend([ np.mean( [ np.mean([wtf['size'] for wtf in l['spans'] ]) for l in t['lines'] ]) for t in text_areas['blocks'] if 'lines' in t])
+ if index==0:
+ page_one_meta = [" ".join(["".join( [wtf['text'] for wtf in l['spans'] ]) for l in t['lines'] ]).replace('- ','') for t in text_areas['blocks'] if 'lines' in t]
- # # 行元提取 for each word segment with in line for each line for each block
- # meta_txt.extend( [ ["".join( [wtf['text'] for wtf in l['spans'] ]) for l in t['lines'] ] for t in text_areas['blocks'] if 'lines' in t])
- # meta_font.extend([ [ np.mean([wtf['size'] for wtf in l['spans'] ]) for l in t['lines'] ] for t in text_areas['blocks'] if 'lines' in t])
-
- # 块元提取 for each word segment with in line for each line for each block
- meta_txt.extend( [ " ".join(["".join( [wtf['text'] for wtf in l['spans'] ]) for l in t['lines'] ]) for t in text_areas['blocks'] if 'lines' in t])
- meta_font.extend([ np.mean( [ np.mean([wtf['size'] for wtf in l['spans'] ]) for l in t['lines'] ]) for t in text_areas['blocks'] if 'lines' in t])
-
def 把字符太少的块清除为回车(meta_txt):
for index, block_txt in enumerate(meta_txt):
if len(block_txt) < 100:
@@ -123,19 +118,17 @@ def read_and_clean_pdf_text(fp):
# 换行 -> 双换行
meta_txt = meta_txt.replace('\n', '\n\n')
- # print(meta_txt)
-
- return meta_txt
+ return meta_txt, page_one_meta
@CatchException
-def 批量翻译PDF文档(txt, top_p, temperature, chatbot, history, systemPromptTxt, WEB_PORT):
+def 批量翻译PDF文档(txt, top_p, temperature, chatbot, history, sys_prompt, WEB_PORT):
import glob
import os
# 基本信息：功能、贡献者
chatbot.append([
"函数插件功能？",
- "批量总结PDF文档。函数插件贡献者: Binary-Husky, ValeriaWong, Eralien"])
+ "批量总结PDF文档。函数插件贡献者: Binary-Husky（二进制哈士奇）"])
yield chatbot, history, '正常'
# 尝试导入依赖，如果缺少依赖，则给出安装建议
@@ -174,82 +167,116 @@ def 批量翻译PDF文档(txt, top_p, temperature, chatbot, history, systemPromp
return
# 开始正式执行任务
- yield from 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, systemPromptTxt)
+ yield from 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, sys_prompt)
-def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, systemPromptTxt):
+def request_gpt_model_in_new_thread_with_ui_alive(inputs, inputs_show_user, top_p, temperature, chatbot, history, sys_prompt, refresh_interval=0.2):
+ import time
+ from concurrent.futures import ThreadPoolExecutor
+ from request_llm.bridge_chatgpt import predict_no_ui_long_connection
+ # 用户反馈
+ chatbot.append([inputs_show_user, ""]); msg = '正常'
+ yield chatbot, [], msg
+ executor = ThreadPoolExecutor(max_workers=16)
+ mutable = ["", time.time()]
+ future = executor.submit(lambda:
+ predict_no_ui_long_connection(inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable)
+ )
+ while True:
+ # yield一次以刷新前端页面
+ time.sleep(refresh_interval)
+ # “喂狗”（看门狗）
+ mutable[1] = time.time()
+ if future.done(): break
+ chatbot[-1] = [chatbot[-1][0], mutable[0]]; msg = "正常"
+ yield chatbot, [], msg
+ return future.result()
+
+def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(inputs_array, inputs_show_user_array, top_p, temperature, chatbot, history_array, sys_prompt_array, refresh_interval, max_workers=10, scroller_max_len=30):
+ import time
+ from concurrent.futures import ThreadPoolExecutor
+ from request_llm.bridge_chatgpt import predict_no_ui_long_connection
+ assert len(inputs_array) == len(history_array)
+ assert len(inputs_array) == len(sys_prompt_array)
+ executor = ThreadPoolExecutor(max_workers=max_workers)
+ n_frag = len(inputs_array)
+ # 异步原子
+ mutable = [["", time.time()] for _ in range(n_frag)]
+ def _req_gpt(index, inputs, history, sys_prompt):
+ gpt_say = predict_no_ui_long_connection(
+ inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable[index]
+ )
+ return gpt_say
+ # 异步任务开始
+ futures = [executor.submit(_req_gpt, index, inputs, history, sys_prompt) for index, inputs, history, sys_prompt in zip(range(len(inputs_array)), inputs_array, history_array, sys_prompt_array)]
+ cnt = 0
+ while True:
+ # yield一次以刷新前端页面
+ time.sleep(refresh_interval); cnt += 1
+ worker_done = [h.done() for h in futures]
+ if all(worker_done): executor.shutdown(); break
+ # 更好的UI视觉效果
+ observe_win = []
+ # 每个线程都要“喂狗”（看门狗）
+ for thread_index, _ in enumerate(worker_done): mutable[thread_index][1] = time.time()
+ # 在前端打印些好玩的东西
+ for thread_index, _ in enumerate(worker_done):
+ print_something_really_funny = "[ ...`"+mutable[thread_index][0][-scroller_max_len:].\
+ replace('\n','').replace('```','...').replace(' ','.').replace('
','.....').replace('$','.')+"`... ]" + observe_win.append(print_something_really_funny) + stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip(worker_done, observe_win)]) + chatbot[-1] = [chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt%10+1))]; msg = "正常" + yield chatbot, [], msg + # 异步任务结束 + gpt_response_collection = [] + for inputs_show_user, f in zip(inputs_show_user_array, futures): + gpt_res = f.result() + gpt_response_collection.extend([inputs_show_user, gpt_res]) + return gpt_response_collection + +def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, sys_prompt): import time import glob import os import fitz import tiktoken - from concurrent.futures import ThreadPoolExecutor - print('begin analysis on:', file_manifest) + TOKEN_LIMIT_PER_FRAGMENT = 1600 + for index, fp in enumerate(file_manifest): - ### 1. 读取PDF文件 - file_content = read_and_clean_pdf_text(fp) - ### 2. 递归地切割PDF文件 + # 读取PDF文件 + file_content, page_one = read_and_clean_pdf_text(fp) + # 递归地切割PDF文件 from .crazy_utils import breakdown_txt_to_satisfy_token_limit_for_pdf enc = tiktoken.get_encoding("gpt2") - TOKEN_LIMIT_PER_FRAGMENT = 2048 get_token_num = lambda txt: len(enc.encode(txt)) - # 分解 - paper_fragments = breakdown_txt_to_satisfy_token_limit_for_pdf( - txt=file_content, get_token_fn=get_token_num, limit=TOKEN_LIMIT_PER_FRAGMENT) - print([get_token_num(frag) for frag in paper_fragments]) - ### 3. 逐个段落翻译 - ## 3.1. 多线程开始 - from request_llm.bridge_chatgpt import predict_no_ui_long_connection - n_frag = len(paper_fragments) - # 异步原子 - mutable = [["", time.time()] for _ in range(n_frag)] - # 翻译函数 - def translate_(index, fragment, mutable): - i_say = f"以下是你需要翻译的文章段落：{fragment}" - # 请求gpt，需要一段时间 - gpt_say = predict_no_ui_long_connection( - inputs=i_say, top_p=top_p, temperature=temperature, history=[], # ["请翻译：" if len(previous_result)!=0 else "", previous_result], - sys_prompt="请你作为一个学术翻译，负责将给定的文章段落翻译成中文，要求语言简洁、精准、凝练。你只需要给出翻译后的文本，不能重复原文。", - observe_window=mutable[index]) - return gpt_say - ### 4. 异步任务开始 - executor = ThreadPoolExecutor(max_workers=16) - # Submit tasks to the pool - futures = [executor.submit(translate_, index, frag, mutable) for index, frag in enumerate(paper_fragments)] - - ### 5. UI主线程，在任务期间提供实时的前端显示 - cnt = 0 - while True: - cnt += 1 - time.sleep(1) - worker_done = [h.done() for h in futures] - if all(worker_done): - executor.shutdown(); break - # 更好的UI视觉效果 - observe_win = [] - # 每个线程都要喂狗（看门狗） - for thread_index, _ in enumerate(worker_done): - mutable[thread_index][1] = time.time() - # 在前端打印些好玩的东西 - for thread_index, _ in enumerate(worker_done): - print_something_really_funny = "[ ...`"+mutable[thread_index][0][-30:].replace('\n','').replace('```','...').replace(' ','.').replace('
','.....').replace('$','.')+"`... ]" - observe_win.append(print_something_really_funny) - stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip(worker_done, observe_win)]) - chatbot[-1] = [chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt%10+1))]; msg = "正常" - yield chatbot, history, msg + # 分解文本 + paper_fragments = breakdown_txt_to_satisfy_token_limit_for_pdf( + txt=file_content, get_token_fn=get_token_num, limit=TOKEN_LIMIT_PER_FRAGMENT) + page_one_fragments = breakdown_txt_to_satisfy_token_limit_for_pdf( + txt=str(page_one), get_token_fn=get_token_num, limit=TOKEN_LIMIT_PER_FRAGMENT//4) + # 为了更好的效果，我们剥离Introduction之后的部分 + paper_meta = page_one_fragments[0].split('introduction')[0].split('Introduction')[0].split('INTRODUCTION')[0] + # 单线，获取文章meta信息 + paper_meta_info = yield from request_gpt_model_in_new_thread_with_ui_alive( + inputs=f"以下是一篇学术论文的基础信息，请从中提取出“标题”、“收录会议或期刊”、“作者”、“摘要”、“编号”、“作者邮箱”这六个部分。请用markdown格式输出，最后用中文翻译摘要部分。请提取：{paper_meta}", + inputs_show_user=f"请从{fp}中提取出“标题”、“收录会议或期刊”等基本信息。", + top_p=top_p, temperature=temperature, + chatbot=chatbot, history=[], + sys_prompt="Your job is to collect information from materials。", + ) + # 多线，翻译 + gpt_response_collection = yield from request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency( + inputs_array = [f"以下是你需要翻译的文章段落：\n{frag}" for frag in paper_fragments], + inputs_show_user_array = [f"" for _ in paper_fragments], + top_p=top_p, temperature=temperature, + chatbot=chatbot, + history_array=[[paper_meta] for _ in paper_fragments], + sys_prompt_array=["请你作为一个学术翻译，把整个段落翻译成中文，要求语言简洁，禁止重复输出原文。" for _ in paper_fragments], + max_workers=16 # OpenAI所允许的最大并行过载 + ) - # Wait for tasks to complete - results = [future.result() for future in futures] + final = ["", paper_meta_info + '\n\n---\n\n---\n\n---\n\n'].extend(gpt_response_collection) + res = write_results_to_file(final) + chatbot.append((f"{fp}完成了吗？", res)); msg = "完成" + yield chatbot, history, msg - print(results) - # full_result += gpt_say - - # history.extend([fp, full_result]) - - res = write_results_to_file(history) - chatbot.append(("完成了吗？", res)); msg = "完成" - yield chatbot, history, msg - - -# if __name__ == '__main__': -# pro() diff --git a/crazy_functions/高级功能函数模板.py b/crazy_functions/高级功能函数模板.py index 69fd379..95e8240 100644 --- a/crazy_functions/高级功能函数模板.py +++ b/crazy_functions/高级功能函数模板.py @@ -5,7 +5,7 @@ import datetime @CatchException def 高阶功能模板函数(txt, top_p, temperature, chatbot, history, systemPromptTxt, WEB_PORT): history = [] # 清空历史，以免输入溢出 - chatbot.append(("这是什么功能？", "[Local Message] 请注意，您正在调用一个[函数插件]的模板，该函数面向希望实现更多有趣功能的开发者，它可以作为创建新功能函数的模板。为了做到简单易读，该函数只有25行代码，所以不会实时反馈文字流或心跳，请耐心等待程序输出完成。此外我们也提供可同步处理大量文件的多线程Demo供您参考。您若希望分享新的功能模组，请不吝PR！")) + chatbot.append(("这是什么功能？", "[Local Message] 请注意，您正在调用一个[函数插件]的模板，该函数面向希望实现更多有趣功能的开发者，它可以作为创建新功能函数的模板(该函数只有25行代码)。此外我们也提供可同步处理大量文件的多线程Demo供您参考。您若希望分享新的功能模组，请不吝PR！")) yield chatbot, history, '正常' # 由于请求gpt需要一段时间，我们先及时地做一次状态显示 for i in range(5): From d32a52c8e992ac72a536843eaabd66e458278f73 Mon Sep 17 00:00:00 2001 From: Your Name
Date: Thu, 6 Apr 2023 03:43:53 +0800
Subject: [PATCH 128/154] End
---
crazy_functions/批量翻译PDF文档_多线程.py | 5 +++--
1 file changed, 3 insertions(+), 2 deletions(-)
diff --git a/crazy_functions/批量翻译PDF文档_多线程.py b/crazy_functions/批量翻译PDF文档_多线程.py
index c8f72b8..af0b056 100644
--- a/crazy_functions/批量翻译PDF文档_多线程.py
+++ b/crazy_functions/批量翻译PDF文档_多线程.py
@@ -192,7 +192,7 @@ def request_gpt_model_in_new_thread_with_ui_alive(inputs, inputs_show_user, top_
yield chatbot, [], msg
return future.result()
-def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(inputs_array, inputs_show_user_array, top_p, temperature, chatbot, history_array, sys_prompt_array, refresh_interval, max_workers=10, scroller_max_len=30):
+def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(inputs_array, inputs_show_user_array, top_p, temperature, chatbot, history_array, sys_prompt_array, refresh_interval=0.2, max_workers=10, scroller_max_len=30):
import time
from concurrent.futures import ThreadPoolExecutor
from request_llm.bridge_chatgpt import predict_no_ui_long_connection
@@ -275,7 +275,8 @@ def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, histor
max_workers=16 # OpenAI所允许的最大并行过载
)
- final = ["", paper_meta_info + '\n\n---\n\n---\n\n---\n\n'].extend(gpt_response_collection)
+ final = ["", paper_meta_info + '\n\n---\n\n---\n\n---\n\n']
+ final.extend(gpt_response_collection)
res = write_results_to_file(final)
chatbot.append((f"{fp}完成了吗？", res)); msg = "完成"
yield chatbot, history, msg
From 946481b77411f58bae0bbdb465b94eb3ec4c9a2f Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Thu, 6 Apr 2023 16:13:56 +0800
Subject: [PATCH 129/154] =?UTF-8?q?2.4=E7=89=88=E6=9C=AC?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
version | 4 ++--
1 file changed, 2 insertions(+), 2 deletions(-)
diff --git a/version b/version
index ce7c84e..8ad8971 100644
--- a/version
+++ b/version
@@ -1,5 +1,5 @@
{
- "version": 2.3,
+ "version": 2.4,
"show_feature": true,
- "new_feature": "修复多线程插件Bug；加入版本检查功能。"
+ "new_feature": "(1)新增PDF全文翻译功能; (2)新增输入区切换位置的功能; (3)新增垂直布局选项; (4)多线程函数插件优化。"
}
From 1da77af2a2723bfe6372e95b6fa56458cd8ee4e1 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Thu, 6 Apr 2023 16:33:01 +0800
Subject: [PATCH 130/154] update self_analysis
---
self_analysis.md | 369 +++++++++++++++++++++++++++++------------------
1 file changed, 228 insertions(+), 141 deletions(-)
diff --git a/self_analysis.md b/self_analysis.md
index b1f5302..acdcaa7 100644
--- a/self_analysis.md
+++ b/self_analysis.md
@@ -1,175 +1,262 @@
# chatgpt-academic项目自译解报告
（Author补充：以下分析均由本项目调用ChatGPT一键生成，如果有不准确的地方，全怪GPT😄）
-## [0/18] 程序摘要: functional_crazy.py
+## 对程序的整体功能和构架做出概括。然后用一张markdown表格整理每个文件的功能（包括'check_proxy.py', 'config.py'等）。
-这是一个功能扩展的程序，文件名为 `functional_crazy.py`。代码的主要功能是通过提供一系列函数插件，增强程序的功能，让用户可以通过界面中的按钮，快速调用对应的函数插件实现相应的操作。代码中使用了 `HotReload` 函数插件，可以在不重启程序的情况下更新函数插件的代码，让其生效。同时，通过 `UserVisibleLevel` 变量的设置，可以控制哪些插件会在UI界面显示出来。函数插件列表包括了以下功能：解析项目本身、解析一个Python项目、解析一个C++项目头文件、解析一个C++项目、读取文章并生成摘要、批量生成函数注释、全项目切换成英文、批量总结PDF文档、批量总结PDF文档pdfminer、批量总结Word文档、高阶功能模板函数、以及其他未经充分测试的函数插件。
+整体概括：
-## [1/18] 程序摘要: main.py
+该程序是一个基于自然语言处理和机器学习的科学论文辅助工具，主要功能包括聊天机器人、批量总结PDF文档、批量翻译PDF文档、生成函数注释、解析项目源代码等。程序基于 Gradio 构建 Web 服务，并集成了代理和自动更新功能，提高了用户的使用体验。
-该程序是一个基于Gradio构建的对话生成模型的Web界面示例，包含了以下主要功能：
+文件功能表格：
-1.加载模型并对用户输入进行响应；
-2.通过调用外部函数库来获取用户的输入，并在模型生成的过程中进行处理；
-3.支持用户上传本地文件，供外部函数库调用；
-4.支持停止当前的生成过程；
-5.保存用户的历史记录，并将其记录在本地日志文件中，以供后续分析和使用。
-
-该程序需要依赖于一些外部库和软件包，如Gradio、torch等。用户需要确保这些依赖项已经安装，并且在运行该程序前对config_private.py配置文件进行相应的修改。
-
-## [2/18] 程序摘要: functional.py
-
-该文件定义了一个名为“functional”的函数，函数的作用是返回一个包含多个字典（键值对）的字典，每个键值对表示一种功能。该字典的键值由功能名称和对应的数据组成。其中的每个字典都包含4个键值对，分别为“Prefix”、“Suffix”、“Color”和“PreProcess”，分别表示前缀、后缀、按钮颜色和预处理函数。如果某些键值对没有给出，那么程序中默认相应的值，如按钮颜色默认为“secondary”等。每个功能描述了不同的学术润色/翻译/其他服务，如“英语学术润色”、“中文学术润色”、“查找语法错误”等。函数还引用了一个名为“clear_line_break”的函数，用于预处理修改前的文本。
-
-## [3/18] 程序摘要: show_math.py
-
-该程序文件名为show_math.py，主要用途是将Markdown和LaTeX混合格式转换成带有MathML的HTML格式。该程序通过递归地处理LaTeX和Markdown混合段落逐一转换成HTML/MathML标记出来，并在LaTeX公式创建中进行错误处理。在程序文件中定义了3个变量，分别是incomplete，convError和convert，其中convert函数是用来执行转换的主要函数。程序使用正则表达式进行LaTeX格式和Markdown段落的分割，从而实现转换。如果在Latex转换过程中发生错误，程序将输出相应的错误信息。
-
-## [4/18] 程序摘要: predict.py
-
-本程序文件的文件名为"./predict.py"，主要包含三个函数：
-
-1. predict：正常对话时使用，具备完备的交互功能，不可多线程；
-2. predict_no_ui：高级实验性功能模块调用，不会实时显示在界面上，参数简单，可以多线程并行，方便实现复杂的功能逻辑；
-3. predict_no_ui_long_connection：在实验过程中发现调用predict_no_ui处理长文档时，和openai的连接容易断掉，这个函数用stream的方式解决这个问题，同样支持多线程。
-
-其中，predict函数用于基础的对话功能，发送至chatGPT，流式获取输出，根据点击的哪个按钮，进行对话预处理等额外操作；predict_no_ui函数用于payload比较大的情况，或者用于实现多线、带嵌套的复杂功能；predict_no_ui_long_connection实现调用predict_no_ui处理长文档时，避免连接断掉的情况，支持多线程。
-
-## [5/18] 程序摘要: check_proxy.py
-
-该程序文件名为check_proxy.py，主要功能是检查代理服务器的可用性并返回代理服务器的地理位置信息或错误提示。具体实现方式如下：
-
-首先使用requests模块向指定网站（https://ipapi.co/json/）发送GET请求，请求结果以JSON格式返回。如果代理服务器参数(proxies)是有效的且没有指明'https'代理，则用默认字典值'无'替代。
-
-然后，程序会解析返回的JSON数据，并根据数据中是否包含国家名字字段来判断代理服务器的地理位置。如果有国家名字字段，则将其打印出来并返回代理服务器的相关信息。如果没有国家名字字段，但有错误信息字段，则返回其他错误提示信息。
-
-在程序执行前，程序会先设置环境变量no_proxy，并使用toolbox模块中的get_conf函数从配置文件中读取代理参数。
-
-最后，检测程序会输出检查结果并返回对应的结果字符串。
-
-## [6/18] 程序摘要: config_private.py
-
-本程序文件名为`config_private.py`，其功能为配置私有信息以便在主程序中使用。主要功能包括：
-
-- 配置OpenAI API的密钥和API URL
-- 配置是否使用代理，如果使用代理配置代理地址和端口
-- 配置发送请求的超时时间和失败重试次数的限制
-- 配置并行使用线程数和用户名密码
-- 提供检查功能以确保API密钥已经正确设置
-
-其中，需要特别注意的是：最后一个检查功能要求在运行之前必须将API密钥正确设置，否则程序会直接退出。
-
-## [7/18] 程序摘要: config.py
-
-该程序文件是一个配置文件，用于配置OpenAI的API参数和优化体验的相关参数，具体包括以下几个步骤：
-
-1.设置OpenAI的API密钥。
-
-2.选择是否使用代理，如果使用则需要设置代理地址和端口等参数。
-
-3.设置请求OpenAI后的超时时间、网页的端口、重试次数、选择的OpenAI模型、API的网址等。
-
-4.设置并行使用的线程数和用户名密码。
-
-该程序文件的作用为在使用OpenAI API时进行相关参数的配置，以保证请求的正确性和速度，并且优化使用体验。
-
-## [8/18] 程序摘要: theme.py
-
-该程序是一个自定义Gradio主题的Python模块。主题文件名为"./theme.py"。程序引入了Gradio模块，并定义了一个名为"adjust_theme()"的函数。该函数根据输入值调整Gradio的默认主题，返回一个包含所需自定义属性的主题对象。主题属性包括颜色、字体、过渡、阴影、按钮边框和渐变等。主题颜色列表包括石板色、灰色、锌色、中性色、石头色、红色、橙色、琥珀色、黄色、酸橙色、绿色、祖母绿、青蓝色、青色、天蓝色、蓝色、靛蓝色、紫罗兰色、紫色、洋红色、粉红色和玫瑰色。如果Gradio版本较旧，则不能自定义字体和颜色。
-
-## [9/18] 程序摘要: toolbox.py
-
-该程序文件包含了一系列函数，用于实现聊天程序所需的各种功能，如预测对话、将对话记录写入文件、将普通文本转换为Markdown格式文本、装饰器函数CatchException和HotReload等。其中一些函数用到了第三方库，如Python-Markdown、mdtex2html、zipfile、tarfile、rarfile和py7zr。除此之外，还有一些辅助函数，如get_conf、clear_line_break和extract_archive等。主要功能包括：
-
-1. 导入markdown、mdtex2html、threading、functools等模块。
-2. 定义函数predict_no_ui_but_counting_down，用于生成对话。
-3. 定义函数write_results_to_file，用于将对话记录生成Markdown文件。
-4. 定义函数regular_txt_to_markdown，将普通文本转换为Markdown格式的文本。
-5. 定义装饰器函数CatchException，用于捕获函数执行异常并返回生成器。
-6. 定义函数report_execption，用于向chatbot中添加错误信息。
-7. 定义函数text_divide_paragraph，用于将文本按照段落分隔符分割开，生成带有段落标签的HTML代码。
-8. 定义函数markdown_convertion，用于将Markdown格式的文本转换为HTML格式。
-9. 定义函数format_io，用于将输入和输出解析为HTML格式。
-10. 定义函数find_free_port，用于返回当前系统中可用的未使用端口。
-11. 定义函数extract_archive，用于解压归档文件。
-12. 定义函数find_recent_files，用于查找最近创建的文件。
-13. 定义函数on_file_uploaded，用于处理上传文件的操作。
-14. 定义函数on_report_generated，用于处理生成报告文件的操作。
+| 文件名称 | 功能 |
+| ------------------------------------------------------------ | ------------------------------------------------------------ |
+| .\check_proxy.py | 检查代理设置功能。 |
+| .\config.py | 配置文件，存储程序的基本设置。 |
+| .\config_private.py | 存储代理网络地址的文件。 |
+| .\core_functional.py | 主要的程序逻辑，包括聊天机器人和文件处理。 |
+| .\cradle.py | 程序入口，初始化程序和启动 Web 服务。 |
+| .\crazy_functional.py | 辅助程序功能，包括PDF文档处理、代码处理、函数注释生成等。 |
+| .\main.py | 包含聊天机器人的具体实现。 |
+| .\show_math.py | 处理 LaTeX 公式的函数。 |
+| .\theme.py | 存储 Gradio Web 服务的 CSS 样式文件。 |
+| .\toolbox.py | 提供了一系列工具函数，包括文件读写、网页抓取、解析函数参数、生成 HTML 等。 |
+| ./crazy_functions/crazy_utils.py | 提供各种工具函数，如解析字符串、清洗文本、清理目录结构等。 |
+| ./crazy_functions/\_\_init\_\_.py | crazy_functions 模块的入口文件。 |
+| ./crazy_functions/下载arxiv论文翻译摘要.py | 对 arxiv.org 上的 PDF 论文进行下载和翻译。 |
+| ./crazy_functions/代码重写为全英文_多线程.py | 将代码文件中的中文注释和字符串替换为英文。 |
+| ./crazy_functions/总结word文档.py | 读取 Word 文档并生成摘要。 |
+| ./crazy_functions/批量总结PDF文档.py | 批量读取 PDF 文件并生成摘要。 |
+| ./crazy_functions/批量总结PDF文档pdfminer.py | 使用 pdfminer 库进行 PDF 文件处理。 |
+| ./crazy_functions/批量翻译PDF文档_多线程.py | 使用多线程技术批量翻译 PDF 文件。 |
+| ./crazy_functions/生成函数注释.py | 给 Python 函数自动生成说明文档。 |
+| ./crazy_functions/解析项目源代码.py | 解析项目中的源代码，提取注释和函数名等信息。 |
+| ./crazy_functions/读文章写摘要.py | 读取多个文本文件并生成对应的摘要。 |
+| ./crazy_functions/高级功能函数模板.py | 使用 GPT 模型进行文本处理。 |
-## [10/18] 程序摘要: crazy_functions/生成函数注释.py
-该程序文件是一个Python脚本，文件名为“生成函数注释.py”，位于“./crazy_functions/”目录下。该程序实现了一个批量生成函数注释的功能，可以对指定文件夹下的所有Python和C++源代码文件中的所有函数进行注释，使用Markdown表格输出注释结果。
+## [0/22] 程序概述: check_proxy.py
-该程序引用了predict.py和toolbox.py两个模块，其中predict.py实现了一个基于GPT模型的文本生成功能，用于生成函数注释，而toolbox.py实现了一些工具函数，包括异常处理函数、文本写入函数等。另外，该程序还定义了两个函数，一个是“生成函数注释”函数，用于处理单个文件的注释生成；另一个是“批量生成函数注释”函数，用于批量处理多个文件的注释生成。
+该程序的文件名是check_proxy.py，主要有两个函数：check_proxy和auto_update。
-## [11/18] 程序摘要: crazy_functions/读文章写摘要.py
+check_proxy函数中会借助requests库向一个IP查询API发送请求，并返回该IP的地理位置信息。同时根据返回的数据来判断代理是否有效。
-这个程序文件是一个名为“读文章写摘要”的函数。该函数的输入包括文章的文本内容、top_p（生成文本时选择最可能的词语的概率阈值）、temperature（控制生成文本的随机性的因子）、对话历史等参数，以及一个聊天机器人和一个系统提示的文本。该函数的主要工作是解析一组.tex文件，然后生成一段学术性语言的中文和英文摘要。在解析过程中，该函数使用一个名为“toolbox”的模块中的辅助函数和一个名为“predict”的模块中的函数来执行GPT-2模型的推理工作，然后将结果返回给聊天机器人。另外，该程序还包括一个名为“fast_debug”的bool型变量，用于调试和测试。
+auto_update函数主要用于检查程序更新，会从Github获取程序最新的版本信息，如果当前版本和最新版本相差较大，则会提示用户进行更新。该函数中也会依赖requests库进行网络请求。
-## [12/18] 程序摘要: crazy_functions/代码重写为全英文_多线程.py
+在程序的开头，还添加了一句防止代理网络影响的代码。程序使用了自己编写的toolbox模块中的get_conf函数来获取代理设置。
-该程序文件实现了一个多线程操作，用于将指定目录下的所有 Python 文件中的中文转化为英文，并将转化后的文件存入另一个目录中。具体实现过程如下：
+## [1/22] 程序概述: config.py
-1. 集合目标文件路径并清空历史记录。
-2. 循环目标文件，对每个文件启动一个线程进行任务操作。
-3. 各个线程同时开始执行任务函数，并在任务完成后将转化后的文件写入指定目录，最终生成一份任务执行报告。
+该程序文件是一个Python模块，文件名为config.py。该模块包含了一些变量和配置选项，用于配置一个OpenAI的聊天机器人。具体的配置选项如下：
-## [13/18] 程序摘要: crazy_functions/高级功能函数模板.py
+- API_KEY: 密钥，用于连接OpenAI的API。需要填写有效的API密钥。
+- USE_PROXY: 是否使用代理。如果需要使用代理，需要将其改为True。
+- proxies: 代理的协议、地址和端口。
+- CHATBOT_HEIGHT: 聊天机器人对话框的高度。
+- LAYOUT: 聊天机器人对话框的布局，默认为左右布局。
+- TIMEOUT_SECONDS: 发送请求到OpenAI后，等待多久判定为超时。
+- WEB_PORT: 网页的端口，-1代表随机端口。
+- MAX_RETRY: 如果OpenAI不响应（网络卡顿、代理失败、KEY失效），重试的次数限制。
+- LLM_MODEL: OpenAI模型选择，目前只对某些用户开放的gpt4。
+- API_URL: OpenAI的API地址。
+- CONCURRENT_COUNT: 使用的线程数。
+- AUTHENTICATION: 用户名和密码，如果需要。
-该程序文件名为高级功能函数模板.py，它包含了一个名为“高阶功能模板函数”的函数，这个函数可以作为开发新功能函数的模板。该函数引用了predict.py和toolbox.py文件中的函数。在该函数内部，它首先清空了历史记录，然后对于今天和今天以后的四天，它问用户历史中哪些事件发生在这些日期，并列举两条事件并发送相关的图片。在向用户询问问题时，使用了GPT进行响应。由于请求GPT需要一定的时间，所以函数会在重新显示状态之前等待一段时间。在每次与用户的互动中，使用yield关键字生成器函数来输出聊天机器人的当前状态，包括聊天消息、历史记录和状态（'正常'）。最后，程序调用write_results_to_file函数将聊天的结果写入文件，以供后续的评估和分析。
+## [2/22] 程序概述: config_private.py
-## [14/18] 程序摘要: crazy_functions/总结word文档.py
+该程序文件名为config_private.py，包含了API_KEY的设置和代理的配置。使用了一个名为API_KEY的常量来存储私人的API密钥。此外，还有一个名为USE_PROXY的常量来标记是否需要使用代理。如果需要代理，则使用了一个名为proxies的字典来存储代理网络的地址，其中包括协议类型、地址和端口。
-该程序文件名为总结word文档.py，主要功能是批量总结Word文档。具体实现过程是解析docx格式和doc格式文件，生成文件内容，然后使用自然语言处理工具对文章内容做中英文概述，最后给出建议。该程序需要依赖python-docx和pywin32，如果没有安装，会给出安装建议。
+## [3/22] 程序概述: core_functional.py
-## [15/18] 程序摘要: crazy_functions/批量总结PDF文档pdfminer.py
+该程序文件名为`core_functional.py`，主要是定义了一些核心功能函数，包括英语和中文学术润色、查找语法错误、中译英、学术中英互译、英译中、找图片和解释代码等。每个功能都有一个`Prefix`属性和`Suffix`属性，`Prefix`是指在用户输入的任务前面要显示的文本，`Suffix`是指在任务后面要显示的文本。此外，还有一个`Color`属性指示按钮的颜色，以及一个`PreProcess`函数表示对输入进行预处理的函数。
-该程序文件名为pdfminer.py，位于./crazy_functions/目录下。程序实现了批量读取PDF文件，并使用pdfminer解析PDF文件内容。此外，程序还根据解析得到的文本内容，调用机器学习模型生成对每篇文章的概述，最终生成全文摘要。程序中还对模块依赖进行了导入检查，若缺少依赖，则会提供安装建议。
+## [4/22] 程序概述: cradle.py
-## [16/18] 程序摘要: crazy_functions/解析项目源代码.py
+该程序文件名为cradle.py，主要功能是检测当前版本与远程最新版本是否一致，如果不一致则输出新版本信息并提示更新。其流程大致如下：
-这个程序文件中包含了几个函数，分别是：
+1. 导入相关模块与自定义工具箱函数get_conf
+2. 读取配置文件中的代理proxies
+3. 使用requests模块请求远程版本信息（url为https://raw.githubusercontent.com/binary-husky/chatgpt_academic/master/version）并加载为json格式
+4. 获取远程版本号、是否显示新功能信息、新功能内容
+5. 读取本地版本文件version并加载为json格式
+6. 获取当前版本号
+7. 比较当前版本与远程版本，如果远程版本号比当前版本号高0.05以上，则输出新版本信息并提示更新
+8. 如果不需要更新，则直接返回
-1. `解析源代码(file_manifest, project_folder, top_p, temperature, chatbot, history, systemPromptTxt)`：通过输入文件路径列表对程序文件进行逐文件分析，根据分析结果做出整体功能和构架的概括，并生成包括每个文件功能的markdown表格。
-2. `解析项目本身(txt, top_p, temperature, chatbot, history, systemPromptTxt, WEB_PORT)`：对当前文件夹下的所有Python文件及其子文件夹进行逐文件分析，并生成markdown表格。
-3. `解析一个Python项目(txt, top_p, temperature, chatbot, history, systemPromptTxt, WEB_PORT)`：对指定路径下的所有Python文件及其子文件夹进行逐文件分析，并生成markdown表格。
-4. `解析一个C项目的头文件(txt, top_p, temperature, chatbot, history, systemPromptTxt, WEB_PORT)`：对指定路径下的所有头文件进行逐文件分析，并生成markdown表格。
-5. `解析一个C项目(txt, top_p, temperature, chatbot, history, systemPromptTxt, WEB_PORT)`：对指定路径下的所有.h、.cpp、.c文件及其子文件夹进行逐文件分析，并生成markdown表格。
+## [5/22] 程序概述: crazy_functional.py
-程序中还包含了一些辅助函数和变量，如CatchException装饰器函数，report_execption函数、write_results_to_file函数等。在执行过程中还会调用其他模块中的函数，如toolbox模块的函数和predict模块的函数。
+该程序文件名为.\crazy_functional.py，主要定义了一个名为get_crazy_functions()的函数，该函数返回一个字典类型的变量function_plugins，其中包含了一些函数插件。
-## [17/18] 程序摘要: crazy_functions/批量总结PDF文档.py
+一些重要的函数插件包括：
-这个程序文件是一个名为“批量总结PDF文档”的函数插件。它导入了predict和toolbox模块，并定义了一些函数，包括is_paragraph_break，normalize_text和clean_text。这些函数是对输入文本进行预处理和清洗的功能函数。主要的功能函数是解析PDF，它打开每个PDF文件并将其内容存储在file_content变量中，然后传递给聊天机器人，以产生一句话的概括。在解析PDF文件之后，该函数连接了所有文件的摘要，以产生一段学术语言和英文摘要。最后，函数批量处理目标文件夹中的所有PDF文件，并输出结果。
+- 读文章写摘要：可以自动读取Tex格式的论文，并生成其摘要。
-## 根据以上你自己的分析，对程序的整体功能和构架做出概括。然后用一张markdown表格整理每个文件的功能。
+- 批量生成函数注释：可以批量生成Python函数的文档注释。
-该程序是一个聊天机器人，使用了OpenAI的GPT语言模型以及一些特殊的辅助功能去处理各种学术写作和科研润色任务。整个程序由一些函数组成，每个函数都代表了不同的学术润色/翻译/其他服务。
+- 解析项目源代码：可以解析Python、C++、Golang、Java及React项目的源代码。
-下面是程序中每个文件的功能列表：
+- 批量总结PDF文档：可以对PDF文档进行批量总结，以提取其中的关键信息。
-| 文件名 | 功能 |
-|--------|--------|
-| functional_crazy.py | 实现高级功能函数模板和其他一些辅助功能函数 |
-| main.py | 程序的主要入口，负责程序的启动和UI的展示 |
-| functional.py | 定义各种功能按钮的颜色和响应函数 |
-| show_math.py | 解析LaTeX文本，将其转换为Markdown格式 |
-| predict.py | 基础的对话功能，用于与chatGPT进行交互 |
-| check_proxy.py | 检查代理设置的正确性 |
-| config_private.py | 配置程序的API密钥和其他私有信息 |
-| config.py | 配置OpenAI的API参数和程序的其他属性 |
-| theme.py | 设置程序主题样式 |
-| toolbox.py | 存放一些辅助函数供程序使用 |
-| crazy_functions/生成函数注释.py | 生成Python文件中所有函数的注释 |
-| crazy_functions/读文章写摘要.py | 解析文章文本，生成中英文摘要 |
-| crazy_functions/代码重写为全英文_多线程.py | 将中文代码内容转化为英文 |
-| crazy_functions/高级功能函数模板.py | 实现高级功能函数模板 |
-| crazy_functions/总结word文档.py | 解析Word文件，生成文章内容的概要 |
-| crazy_functions/批量总结PDF文档pdfminer.py | 解析PDF文件，生成文章内容的概要（使用pdfminer库） |
-| crazy_functions/批量总结PDF文档.py | 解析PDF文件，生成文章内容的概要（使用PyMuPDF库） |
-| crazy_functions/解析项目源代码.py | 解析C/C++源代码，生成markdown表格 |
-| crazy_functions/批量总结PDF文档.py | 对PDF文件进行批量摘要生成 |
+- 一键下载arxiv论文并翻译摘要：可以自动下载arxiv.org网站上的PDF论文，并翻译生成其摘要。
-总的来说，该程序提供了一系列的学术润色和翻译的工具，支持对各种类型的文件进行分析和处理。同时也提供了对话式用户界面，便于用户使用和交互。
+- 批量翻译PDF文档（多线程）：可以对PDF文档进行批量翻译，并使用多线程方式提高翻译效率。
+
+## [6/22] 程序概述: main.py
+
+本程序为一个基于 Gradio 和 GPT-3 的交互式聊天机器人，文件名为 main.py。其中主要功能包括：
+
+1. 使用 Gradio 建立 Web 界面，实现用户与聊天机器人的交互；
+2. 通过 bridge_chatgpt 模块，利用 GPT-3 模型实现聊天机器人的逻辑；
+3. 提供一些基础功能和高级函数插件，用户可以通过按钮选择使用；
+4. 提供文档格式转变、外观调整以及代理和自动更新等功能。
+
+程序的主要流程为：
+
+1. 导入所需的库和模块，并通过 get_conf 函数获取配置信息；
+2. 设置 Gradio 界面的各个组件，包括聊天窗口、输入区、功能区、函数插件区等；
+3. 注册各个组件的回调函数，包括用户输入、信号按钮等，实现机器人逻辑的交互；
+4. 通过 Gradio 的 queue 函数和 launch 函数启动 Web 服务，并提供聊天机器人的功能。
+
+此外，程序还提供了代理和自动更新功能，可以确保用户的使用体验。
+
+## [7/22] 程序概述: show_math.py
+
+该程序是一个Python脚本，文件名为show_math.py。它转换Markdown和LaTeX混合语法到带MathML的HTML。程序使用latex2mathml模块来实现从LaTeX到MathML的转换，将符号转换为HTML实体以批量处理。程序利用正则表达式和递归函数的方法处理不同形式的LaTeX语法，支持以下四种情况：$$形式、$形式、\[..]形式和\(...\)形式。如果无法转换某个公式，则在该位置插入一条错误消息。最后，程序输出HTML字符串。
+
+## [8/22] 程序概述: theme.py
+
+该程序文件为一个Python脚本，其功能是调整Gradio应用的主题和样式，包括字体、颜色、阴影、背景等等。在程序中，使用了Gradio提供的默认颜色主题，并针对不同元素设置了相应的样式属性，以达到美化显示的效果。此外，程序中还包含了一段高级CSS样式代码，针对表格、列表、聊天气泡、行内代码等元素进行了样式设定。
+
+## [9/22] 程序概述: toolbox.py
+
+此程序文件主要包含了一系列用于聊天机器人开发的实用工具函数和装饰器函数。主要函数包括：
+
+1. ArgsGeneralWrapper：一个装饰器函数，用于重组输入参数，改变输入参数的顺序与结构。
+
+2. get_reduce_token_percent：一个函数，用于计算自然语言处理时会出现的token溢出比例。
+
+3. predict_no_ui_but_counting_down：一个函数，调用聊天接口，并且保留了一定的界面心跳功能，即当对话太长时，会自动采用二分法截断。
+
+4. write_results_to_file：一个函数，将对话记录history生成Markdown格式的文本，并写入文件中。
+
+5. regular_txt_to_markdown：一个函数，将普通文本转换为Markdown格式的文本。
+
+6. CatchException：一个装饰器函数，捕捉函数调度中的异常，并封装到一个生成器中返回，并显示到聊天当中。
+
+7. HotReload：一个装饰器函数，实现函数插件的热更新。
+
+8. report_execption：一个函数，向chatbot中添加错误信息。
+
+9. text_divide_paragraph：一个函数，将文本按照段落分隔符分割开，生成带有段落标签的HTML代码。
+
+10. markdown_convertion：一个函数，将Markdown格式的文本转换为HTML格式。如果包含数学公式，则先将公式转换为HTML格式。
+
+11. close_up_code_segment_during_stream：一个函数，用于在gpt输出代码的中途，即输出了前面的```，但还没输出完后面的```，补上后面的```。
+
+12. format_io：一个函数，将输入和输出解析为HTML格式。将输出部分的Markdown和数学公式转换为HTML格式。
+
+13. find_free_port：一个函数，返回当前系统中可用的未使用端口。
+
+14. extract_archive：一个函数，解压缩文件。
+
+15. find_recent_files：一个函数，查找目录下一分钟内创建的文件。
+
+16. on_file_uploaded：一个函数，响应用户上传的文件。
+
+## [10/22] 程序概述: crazy_functions\crazy_utils.py
+
+这是一个名为"crazy_utils.py"的Python程序文件，包含了两个函数：
+1. `breakdown_txt_to_satisfy_token_limit()`：接受文本字符串、计算文本单词数量的函数和单词数量限制作为输入参数，将长文本拆分成合适的长度，以满足单词数量限制。这个函数使用一个递归方法去拆分长文本。
+2. `breakdown_txt_to_satisfy_token_limit_for_pdf()`：类似于`breakdown_txt_to_satisfy_token_limit()`，但是它使用一个不同的递归方法来拆分长文本，以满足PDF文档中的需求。当出现无法继续拆分的情况时，该函数将使用一个中文句号标记插入文本来截断长文本。如果还是无法拆分，则会引发运行时异常。
+
+## [11/22] 程序概述: crazy_functions\__init__.py
+
+这个程序文件是一个 Python 的包，包名为 "crazy_functions"，并且是其中的一个子模块 "__init__.py"。该包中可能包含多个函数或类，用于实现各种疯狂的功能。由于该文件的具体代码没有给出，因此无法进一步确定该包中的功能。通常情况下，一个包应该具有 __init__.py、__main__.py 和其它相关的模块文件，用于实现该包的各种功能。
+
+## [12/22] 程序概述: crazy_functions\下载arxiv论文翻译摘要.py
+
+这个程序实现的功能是下载arxiv论文并翻译摘要，文件名为`下载arxiv论文翻译摘要.py`。这个程序引入了`requests`、`unicodedata`、`os`、`re`等Python标准库，以及`pdfminer`、`bs4`等第三方库。其中`download_arxiv_`函数主要实现了从arxiv网站下载论文的功能，包括解析链接、获取论文信息、下载论文和生成文件名等，`get_name`函数则是为了从arxiv网站中获取论文信息创建的辅助函数。`下载arxiv论文并翻译摘要`函数则是实现了从下载好的PDF文件中提取摘要，然后使用预先训练的GPT模型翻译为中文的功能。同时，该函数还会将历史记录写入文件中。函数还会通过`CatchException`函数来捕获程序中出现的异常信息。
+
+## [13/22] 程序概述: crazy_functions\代码重写为全英文_多线程.py
+
+该程序文件为一个Python多线程程序，文件名为"crazy_functions\代码重写为全英文_多线程.py"。该程序使用了多线程技术，将一个大任务拆成多个小任务，同时执行，提高运行效率。
+
+程序的主要功能是将Python文件中的中文转换为英文，同时将转换后的代码输出。程序先清空历史记录，然后尝试导入openai和transformers等依赖库。程序接下来会读取当前路径下的.py文件和crazy_functions文件夹中的.py文件，并将其整合成一个文件清单。随后程序会使用GPT2模型进行中英文的翻译，并将结果保存在本地路径下的"gpt_log/generated_english_version"文件夹中。程序最终会生成一个任务执行报告。
+
+需要注意的是，该程序依赖于"request_llm"和"toolbox"库以及本地的"crazy_utils"模块。
+
+## [14/22] 程序概述: crazy_functions\总结word文档.py
+
+该程序文件是一个 Python 脚本文件，文件名为 ./crazy_functions/总结word文档.py。该脚本是一个函数插件，提供了名为“总结word文档”的函数。该函数的主要功能是批量读取给定文件夹下的 Word 文档文件，并使用 GPT 模型生成对每个文件的概述和意见建议。其中涉及到了读取 Word 文档、使用 GPT 模型等操作，依赖于许多第三方库。该文件也提供了导入依赖的方法，使用该脚本需要安装依赖库 python-docx 和 pywin32。函数功能实现的过程中，使用了一些用于调试的变量（如 fast_debug），可在需要时设置为 True。该脚本文件也提供了对程序功能和贡献者的注释。
+
+## [15/22] 程序概述: crazy_functions\批量总结PDF文档.py
+
+该程序文件名为 `./crazy_functions\批量总结PDF文档.py`，主要实现了批量处理PDF文档的功能。具体实现了以下几个函数：
+
+1. `is_paragraph_break(match)`：根据给定的匹配结果判断换行符是否表示段落分隔。
+2. `normalize_text(text)`：通过将文本特殊符号转换为其基本形式来对文本进行归一化处理。
+3. `clean_text(raw_text)`：对从 PDF 提取出的原始文本进行清洗和格式化处理。
+4. `解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, systemPromptTxt)`：对给定的PDF文件进行分析并生成相应的概述。
+5. `批量总结PDF文档(txt, top_p, temperature, chatbot, history, systemPromptTxt, WEB_PORT)`：批量处理PDF文件，对其进行摘要生成。
+
+其中，主要用到了第三方库`pymupdf`对PDF文件进行处理。程序通过调用`fitz.open`函数打开PDF文件，使用`page.get_text()`方法获取PDF文本内容。然后，使用`clean_text`函数对文本进行清洗和格式化处理，生成最终的摘要。最后，调用`write_results_to_file`函数将历史记录写入文件并输出。
+
+## [16/22] 程序概述: crazy_functions\批量总结PDF文档pdfminer.py
+
+这个程序文件名是./crazy_functions\批量总结PDF文档pdfminer.py，是一个用于批量读取PDF文件，解析其中的内容，并对其进行概括的程序。程序中引用了pdfminer和beautifulsoup4等Python库，读取PDF文件并将其转化为文本内容，然后利用GPT模型生成摘要语言，最终输出一个中文和英文的摘要。程序还有一些错误处理的代码，会输出错误信息。
+
+## [17/22] 程序概述: crazy_functions\批量翻译PDF文档_多线程.py
+
+这是一个 Python 程序文件，文件名为 `批量翻译PDF文档_多线程.py`，包含多个函数。主要功能是批量处理 PDF 文档，解析其中的文本，进行清洗和格式化处理，并使用 OpenAI 的 GPT 模型进行翻译。其中使用了多线程技术来提高程序的效率和并行度。
+
+## [18/22] 程序概述: crazy_functions\生成函数注释.py
+
+该程序文件名为./crazy_functions\生成函数注释.py。该文件包含两个函数，分别为`生成函数注释`和`批量生成函数注释`。
+
+函数`生成函数注释`包含参数`file_manifest`、`project_folder`、`top_p`、`temperature`、`chatbot`、`history`和`systemPromptTxt`。其中，`file_manifest`为一个包含待处理文件路径的列表，`project_folder`表示项目文件夹路径，`top_p`和`temperature`是GPT模型参数，`chatbot`为与用户交互的聊天机器人，`history`记录聊天机器人与用户的历史记录，`systemPromptTxt`为聊天机器人发送信息前的提示语。`生成函数注释`通过读取文件内容，并调用GPT模型对文件中的所有函数生成注释，最后使用markdown表格输出结果。函数中还包含一些条件判断和计时器，以及调用其他自定义模块的函数。
+
+函数`批量生成函数注释`包含参数`txt`、`top_p`、`temperature`、`chatbot`、`history`、`systemPromptTxt`和`WEB_PORT`。其中，`txt`表示用户输入的项目文件夹路径，其他参数含义与`生成函数注释`中相同。`批量生成函数注释`主要是通过解析项目文件夹，获取所有待处理文件的路径，并调用函数`生成函数注释`对每个文件进行处理，最终生成注释表格输出给用户。
+
+## [19/22] 程序概述: crazy_functions\解析项目源代码.py
+
+该程序文件包含了多个函数，用于解析不同类型的项目，如Python项目、C项目、Java项目等。其中，最核心的函数是`解析源代码()`，它会对给定的一组文件进行分析，并返回对应的结果。具体流程如下：
+
+1. 遍历所有待分析的文件，对每个文件进行如下处理：
+
+ 1.1 从文件中读取代码内容，构造成一个字符串。
+
+ 1.2 构造一条GPT请求，向`predict_no_ui_but_counting_down()`函数发送请求，等待GPT回复。
+
+ 1.3 将GPT回复添加到机器人会话列表中，更新历史记录。
+
+ 1.4 如果不是快速调试模式，则等待2秒钟，继续分析下一个文件。
+
+2. 如果所有文件都分析完成，则向机器人会话列表中添加一条新消息，提示用户整个分析过程已经结束。
+
+3. 返回机器人会话列表和历史记录。
+
+除此之外，该程序文件还定义了若干个函数，用于针对不同类型的项目进行解析。这些函数会按照不同的方式调用`解析源代码()`函数。例如，对于Python项目，只需要分析.py文件；对于C项目，需要同时分析.h和.cpp文件等。每个函数中都会首先根据给定的项目路径读取相应的文件，然后调用`解析源代码()`函数进行分析。
+
+## [20/22] 程序概述: crazy_functions\读文章写摘要.py
+
+该程序文件为一个名为“读文章写摘要”的Python函数，用于解析项目文件夹中的.tex文件，并使用GPT模型生成文章的中英文摘要。函数使用了request_llm.bridge_chatgpt和toolbox模块中的函数，并包含两个子函数：解析Paper和CatchException。函数参数包括txt，top_p，temperature，chatbot，history，systemPromptTxt和WEB_PORT。执行过程中函数首先清空历史，然后根据项目文件夹中的.tex文件列表，对每个文件调用解析Paper函数生成中文摘要，最后根据所有文件的中文摘要，调用GPT模型生成英文摘要。函数运行过程中会将结果写入文件并返回聊天机器人和历史记录。
+
+## [21/22] 程序概述: crazy_functions\高级功能函数模板.py
+
+该程序文件为一个高级功能函数模板，文件名为"./crazy_functions\高级功能函数模板.py"。
+
+该文件导入了两个模块，分别是"request_llm.bridge_chatgpt"和"toolbox"。其中"request_llm.bridge_chatgpt"模块包含了一个函数"predict_no_ui_long_connection"，该函数用于请求GPT模型进行对话生成。"toolbox"模块包含了三个函数，分别是"catchException"、"report_exception"和"write_results_to_file"函数，这三个函数主要用于异常处理和日志记录等。
+
+该文件定义了一个名为"高阶功能模板函数"的函数，并通过"decorator"装饰器将该函数装饰为一个异常处理函数，可以处理函数执行过程中出现的错误。该函数的作用是生成历史事件查询的问题，并向用户询问历史中哪些事件发生在指定日期，并索要相关图片。在查询完所有日期后，该函数返回所有历史事件及其相关图片的列表。其中，该函数的输入参数包括：
+
+1. txt: 一个字符串，表示当前消息的文本内容。
+2. top_p: 一个浮点数，表示GPT模型生成文本时的"top_p"参数。
+3. temperature: 一个浮点数，表示GPT模型生成文本时的"temperature"参数。
+4. chatbot: 一个列表，表示当前对话的记录列表。
+5. history: 一个列表，表示当前对话的历史记录列表。
+6. systemPromptTxt: 一个字符串，表示当前对话的系统提示信息。
+7. WEB_PORT: 一个整数，表示当前应用程序的WEB端口号。
+
+该函数在执行过程中，会先清空历史记录，以免输入溢出。然后，它会循环5次，生成5个历史事件查询的问题，并向用户请求输入相关信息。每次询问不携带之前的询问历史。在生成每个问题时，该函数会向"chatbot"列表中添加一条消息记录，并设置该记录的初始状态为"[Local Message] waiting gpt response."。然后，该函数会调用"predict_no_ui_long_connection"函数向GPT模型请求生成一段文本，并将生成的文本作为回答。如果请求过程中出现异常，该函数会忽略异常。最后，该函数将问题和回答添加到"chatbot"列表和"history"列表中，并将"chatbot"和"history"列表作为函数的返回值返回。
From 079916f56ce22436b583f488aa8c37cdd8d81c98 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Thu, 6 Apr 2023 16:59:52 +0800
Subject: [PATCH 131/154] =?UTF-8?q?=E4=BF=AE=E6=AD=A3=E6=89=93=E5=8D=B0?=
=?UTF-8?q?=E6=8F=90=E7=A4=BA?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
crazy_functions/批量翻译PDF文档_多线程.py | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/crazy_functions/批量翻译PDF文档_多线程.py b/crazy_functions/批量翻译PDF文档_多线程.py
index af0b056..ff42e72 100644
--- a/crazy_functions/批量翻译PDF文档_多线程.py
+++ b/crazy_functions/批量翻译PDF文档_多线程.py
@@ -137,7 +137,7 @@ def 批量翻译PDF文档(txt, top_p, temperature, chatbot, history, sys_prompt,
except:
report_execption(chatbot, history,
a=f"解析项目: {txt}",
- b=f"导入软件依赖失败。使用该模块需要额外依赖，安装方法```pip install --upgrade pymupdf```。")
+ b=f"导入软件依赖失败。使用该模块需要额外依赖，安装方法```pip install --upgrade pymupdf tiktoken```。")
yield chatbot, history, '正常'
return
From f8b2524aa3d560d048cf38775af5a90b2cca4b00 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Thu, 6 Apr 2023 17:15:13 +0800
Subject: [PATCH 132/154] =?UTF-8?q?=E6=81=A2=E5=A4=8D=E6=A8=A1=E6=9D=BF?=
=?UTF-8?q?=E5=87=BD=E6=95=B0?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
crazy_functions/高级功能函数模板.py | 7 +++----
1 file changed, 3 insertions(+), 4 deletions(-)
diff --git a/crazy_functions/高级功能函数模板.py b/crazy_functions/高级功能函数模板.py
index 95e8240..10c9156 100644
--- a/crazy_functions/高级功能函数模板.py
+++ b/crazy_functions/高级功能函数模板.py
@@ -1,11 +1,11 @@
from request_llm.bridge_chatgpt import predict_no_ui_long_connection
-from toolbox import CatchException, report_execption, write_results_to_file
+from toolbox import CatchException
import datetime
@CatchException
def 高阶功能模板函数(txt, top_p, temperature, chatbot, history, systemPromptTxt, WEB_PORT):
history = [] # 清空历史，以免输入溢出
- chatbot.append(("这是什么功能？", "[Local Message] 请注意，您正在调用一个[函数插件]的模板，该函数面向希望实现更多有趣功能的开发者，它可以作为创建新功能函数的模板(该函数只有25行代码)。此外我们也提供可同步处理大量文件的多线程Demo供您参考。您若希望分享新的功能模组，请不吝PR！"))
+ chatbot.append(("这是什么功能？", "[Local Message] 请注意，您正在调用一个[函数插件]的模板，该函数面向希望实现更多有趣功能的开发者，它可以作为创建新功能函数的模板。为了做到简单易读，该函数只有25行代码，所以不会实时反馈文字流或心跳，请耐心等待程序输出完成。此外我们也提供可同步处理大量文件的多线程Demo供您参考。您若希望分享新的功能模组，请不吝PR！"))
yield chatbot, history, '正常' # 由于请求gpt需要一段时间，我们先及时地做一次状态显示
for i in range(5):
@@ -15,9 +15,8 @@ def 高阶功能模板函数(txt, top_p, temperature, chatbot, history, systemPr
chatbot.append((i_say, "[Local Message] waiting gpt response."))
yield chatbot, history, '正常' # 由于请求gpt需要一段时间，我们先及时地做一次状态显示
try:
- # history = [] 每次询问不携带之前的询问历史
gpt_say = predict_no_ui_long_connection(
- inputs=i_say, top_p=top_p, temperature=temperature, history=[],
+ inputs=i_say, top_p=top_p, temperature=temperature, history=[], # history = [] 每次询问不携带之前的询问历史
sys_prompt="当你想发送一张照片时，请使用Markdown, 并且不要有反斜线, 不要用代码块。使用 Unsplash API (https://source.unsplash.com/1280x720/? < PUT_YOUR_QUERY_HERE >)。") # 请求gpt，需要一段时间
except:
print("")
From 0b2b0a83d6e61a561f7d75d96ee3806668021805 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Thu, 6 Apr 2023 17:17:31 +0800
Subject: [PATCH 133/154] change UI
---
crazy_functional.py | 17 +++++++++--------
1 file changed, 9 insertions(+), 8 deletions(-)
diff --git a/crazy_functional.py b/crazy_functional.py
index 2876cb8..3beb695 100644
--- a/crazy_functional.py
+++ b/crazy_functional.py
@@ -70,9 +70,17 @@ def get_crazy_functions():
from crazy_functions.批量总结PDF文档 import 批量总结PDF文档
from crazy_functions.批量总结PDF文档pdfminer import 批量总结PDF文档pdfminer
from crazy_functions.总结word文档 import 总结word文档
+ from crazy_functions.批量翻译PDF文档_多线程 import 批量翻译PDF文档
+
function_plugins.update({
+ "批量翻译PDF文档（多线程）": {
+ "Color": "stop",
+ "AsButton": True, # 加入下拉菜单中
+ "Function": HotReload(批量翻译PDF文档)
+ },
"[仅供开发调试] 批量总结PDF文档": {
"Color": "stop",
+ "AsButton": False, # 加入下拉菜单中
"Function": HotReload(批量总结PDF文档) # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效
},
"[仅供开发调试] 批量总结PDF文档pdfminer": {
@@ -97,14 +105,7 @@ def get_crazy_functions():
"Function": HotReload(下载arxiv论文并翻译摘要)
}
})
- from crazy_functions.批量翻译PDF文档_多线程 import 批量翻译PDF文档
- function_plugins.update({
- "批量翻译PDF文档（多线程）": {
- "Color": "stop",
- "AsButton": False, # 加入下拉菜单中
- "Function": HotReload(批量翻译PDF文档)
- }
- })
+
except Exception as err:
print(f'[下载arxiv论文并翻译摘要] 插件导入失败 {str(err)}')
From 62a946e499248530c1a90756d2ab221c99e03c87 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Thu, 6 Apr 2023 17:18:30 +0800
Subject: [PATCH 134/154] change UI
---
crazy_functional.py | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/crazy_functional.py b/crazy_functional.py
index 3beb695..72e8c0d 100644
--- a/crazy_functional.py
+++ b/crazy_functional.py
@@ -88,7 +88,7 @@ def get_crazy_functions():
"AsButton": False, # 加入下拉菜单中
"Function": HotReload(批量总结PDF文档pdfminer)
},
- "[仅供开发调试] 批量总结Word文档": {
+ "批量总结Word文档": {
"Color": "stop",
"Function": HotReload(总结word文档)
},
From aa7574dcec1411bae4e26306ecab31f4e3ba20e1 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Thu, 6 Apr 2023 17:19:25 +0800
Subject: [PATCH 135/154] change UI
---
crazy_functional.py | 4 ++--
1 file changed, 2 insertions(+), 2 deletions(-)
diff --git a/crazy_functional.py b/crazy_functional.py
index 3beb695..44b0918 100644
--- a/crazy_functional.py
+++ b/crazy_functional.py
@@ -20,7 +20,7 @@ def get_crazy_functions():
"AsButton": False, # 加入下拉菜单中
"Function": HotReload(解析项目本身)
},
- "解析整个Py项目": {
+ "解析整个Python项目": {
"Color": "stop", # 按钮颜色
"Function": HotReload(解析一个Python项目)
},
@@ -88,7 +88,7 @@ def get_crazy_functions():
"AsButton": False, # 加入下拉菜单中
"Function": HotReload(批量总结PDF文档pdfminer)
},
- "[仅供开发调试] 批量总结Word文档": {
+ "批量总结Word文档": {
"Color": "stop",
"Function": HotReload(总结word文档)
},
From 06f8094a0a9f13349cfe05d5cfb2375d412d37b1 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Thu, 6 Apr 2023 17:23:26 +0800
Subject: [PATCH 136/154] fix error
---
request_llm/bridge_chatgpt.py | 2 +-
request_llm/bridge_tgui.py | 2 +-
2 files changed, 2 insertions(+), 2 deletions(-)
diff --git a/request_llm/bridge_chatgpt.py b/request_llm/bridge_chatgpt.py
index 237db04..c27a4ec 100644
--- a/request_llm/bridge_chatgpt.py
+++ b/request_llm/bridge_chatgpt.py
@@ -146,7 +146,7 @@ def predict(inputs, top_p, temperature, chatbot=[], history=[], system_prompt=''
if additional_fn is not None:
import core_functional
importlib.reload(core_functional) # 热更新prompt
- core_functional = core_functional.get_functions()
+ core_functional = core_functional.get_core_functions()
if "PreProcess" in core_functional[additional_fn]: inputs = core_functional[additional_fn]["PreProcess"](inputs) # 获取预处理函数（如果有的话）
inputs = core_functional[additional_fn]["Prefix"] + inputs + core_functional[additional_fn]["Suffix"]
diff --git a/request_llm/bridge_tgui.py b/request_llm/bridge_tgui.py
index 15f60b7..fceaa56 100644
--- a/request_llm/bridge_tgui.py
+++ b/request_llm/bridge_tgui.py
@@ -103,7 +103,7 @@ def predict_tgui(inputs, top_p, temperature, chatbot=[], history=[], system_prom
if additional_fn is not None:
import core_functional
importlib.reload(core_functional) # 热更新prompt
- core_functional = core_functional.get_functions()
+ core_functional = core_functional.get_core_functions()
if "PreProcess" in core_functional[additional_fn]: inputs = core_functional[additional_fn]["PreProcess"](inputs) # 获取预处理函数（如果有的话）
inputs = core_functional[additional_fn]["Prefix"] + inputs + core_functional[additional_fn]["Suffix"]
From e8cf757dc02d41bab06b527d4b43f647ce0e755a Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Thu, 6 Apr 2023 18:13:16 +0800
Subject: [PATCH 137/154] =?UTF-8?q?=E4=BF=AE=E5=A4=8D=E5=AE=8C=E6=88=90?=
=?UTF-8?q?=E5=90=8E=E7=9A=84=E6=96=87=E4=BB=B6=E6=98=BE=E7=A4=BA=E9=97=AE?=
=?UTF-8?q?=E9=A2=98?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
crazy_functions/crazy_utils.py | 73 ++++++++++
crazy_functions/批量翻译PDF文档_多线程.py | 159 +++++-----------------
2 files changed, 107 insertions(+), 125 deletions(-)
diff --git a/crazy_functions/crazy_utils.py b/crazy_functions/crazy_utils.py
index 49732f3..a455cff 100644
--- a/crazy_functions/crazy_utils.py
+++ b/crazy_functions/crazy_utils.py
@@ -1,6 +1,79 @@
+def request_gpt_model_in_new_thread_with_ui_alive(inputs, inputs_show_user, top_p, temperature, chatbot, history, sys_prompt, refresh_interval=0.2):
+ import time
+ from concurrent.futures import ThreadPoolExecutor
+ from request_llm.bridge_chatgpt import predict_no_ui_long_connection
+ # 用户反馈
+ chatbot.append([inputs_show_user, ""]); msg = '正常'
+ yield chatbot, [], msg
+ executor = ThreadPoolExecutor(max_workers=16)
+ mutable = ["", time.time()]
+ future = executor.submit(lambda:
+ predict_no_ui_long_connection(inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable)
+ )
+ while True:
+ # yield一次以刷新前端页面
+ time.sleep(refresh_interval)
+ # “喂狗”（看门狗）
+ mutable[1] = time.time()
+ if future.done(): break
+ chatbot[-1] = [chatbot[-1][0], mutable[0]]; msg = "正常"
+ yield chatbot, [], msg
+ return future.result()
+
+
+
+
+def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(inputs_array, inputs_show_user_array, top_p, temperature, chatbot, history_array, sys_prompt_array, refresh_interval=0.2, max_workers=10, scroller_max_len=30):
+ import time
+ from concurrent.futures import ThreadPoolExecutor
+ from request_llm.bridge_chatgpt import predict_no_ui_long_connection
+ assert len(inputs_array) == len(history_array)
+ assert len(inputs_array) == len(sys_prompt_array)
+ executor = ThreadPoolExecutor(max_workers=max_workers)
+ n_frag = len(inputs_array)
+ # 用户反馈
+ chatbot.append(["请开始多线程操作。", ""]); msg = '正常'
+ yield chatbot, [], msg
+ # 异步原子
+ mutable = [["", time.time()] for _ in range(n_frag)]
+ def _req_gpt(index, inputs, history, sys_prompt):
+ gpt_say = predict_no_ui_long_connection(
+ inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable[index]
+ )
+ return gpt_say
+ # 异步任务开始
+ futures = [executor.submit(_req_gpt, index, inputs, history, sys_prompt) for index, inputs, history, sys_prompt in zip(range(len(inputs_array)), inputs_array, history_array, sys_prompt_array)]
+ cnt = 0
+ while True:
+ # yield一次以刷新前端页面
+ time.sleep(refresh_interval); cnt += 1
+ worker_done = [h.done() for h in futures]
+ if all(worker_done): executor.shutdown(); break
+ # 更好的UI视觉效果
+ observe_win = []
+ # 每个线程都要“喂狗”（看门狗）
+ for thread_index, _ in enumerate(worker_done): mutable[thread_index][1] = time.time()
+ # 在前端打印些好玩的东西
+ for thread_index, _ in enumerate(worker_done):
+ print_something_really_funny = "[ ...`"+mutable[thread_index][0][-scroller_max_len:].\
+ replace('\n','').replace('```','...').replace(' ','.').replace('
','.....').replace('$','.')+"`... ]" + observe_win.append(print_something_really_funny) + stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip(worker_done, observe_win)]) + chatbot[-1] = [chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt%10+1))]; msg = "正常" + yield chatbot, [], msg + # 异步任务结束 + gpt_response_collection = [] + for inputs_show_user, f in zip(inputs_show_user_array, futures): + gpt_res = f.result() + gpt_response_collection.extend([inputs_show_user, gpt_res]) + return gpt_response_collection + + + + def breakdown_txt_to_satisfy_token_limit(txt, get_token_fn, limit): def cut(txt_tocut, must_break_at_empty_line): # 递归 if get_token_fn(txt_tocut) <= limit: diff --git a/crazy_functions/批量翻译PDF文档_多线程.py b/crazy_functions/批量翻译PDF文档_多线程.py index ff42e72..e13b072 100644 --- a/crazy_functions/批量翻译PDF文档_多线程.py +++ b/crazy_functions/批量翻译PDF文档_多线程.py @@ -1,66 +1,25 @@ -from toolbox import CatchException, report_execption, write_results_to_file, predict_no_ui_but_counting_down -import re -import unicodedata - - -def is_paragraph_break(match): - """ - 根据给定的匹配结果来判断换行符是否表示段落分隔。 - 如果换行符前为句子结束标志（句号，感叹号，问号），且下一个字符为大写字母，则换行符更有可能表示段落分隔。 - 也可以根据之前的内容长度来判断段落是否已经足够长。 - """ - prev_char, next_char = match.groups() - - # 句子结束标志 - sentence_endings = ".!?" - - # 设定一个最小段落长度阈值 - min_paragraph_length = 140 - - if prev_char in sentence_endings and next_char.isupper() and len(match.string[:match.start(1)]) > min_paragraph_length: - return "\n\n" - else: - return " " - - -def normalize_text(text): - """ - 通过把连字（ligatures）等文本特殊符号转换为其基本形式来对文本进行归一化处理。 - 例如，将连字 "fi" 转换为 "f" 和 "i"。 - """ - # 对文本进行归一化处理，分解连字 - normalized_text = unicodedata.normalize("NFKD", text) - - # 替换其他特殊字符 - cleaned_text = re.sub(r'[^\x00-\x7F]+', '', normalized_text) - - return cleaned_text - - -def clean_text(raw_text): - """ - 对从 PDF 提取出的原始文本进行清洗和格式化处理。 - 1. 对原始文本进行归一化处理。 - 2. 替换跨行的连词，例如 “Espe-\ncially” 转换为 “Especially”。 - 3. 根据 heuristic 规则判断换行符是否是段落分隔，并相应地进行替换。 - """ - # 对文本进行归一化处理 - normalized_text = normalize_text(raw_text) - - # 替换跨行的连词 - text = re.sub(r'(\w+-\n\w+)', - lambda m: m.group(1).replace('-\n', ''), normalized_text) - - # 根据前后相邻字符的特点，找到原文本中的换行符 - newlines = re.compile(r'(\S)\n(\S)') - - # 根据 heuristic 规则，用空格或段落分隔符替换原换行符 - final_text = re.sub(newlines, lambda m: m.group( - 1) + is_paragraph_break(m) + m.group(2), text) - - return final_text.strip() +from toolbox import CatchException, report_execption, write_results_to_file +from .crazy_utils import request_gpt_model_in_new_thread_with_ui_alive +from .crazy_utils import request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency def read_and_clean_pdf_text(fp): + """ + **输入参数说明** + - `fp`：需要读取和清理文本的pdf文件路径 + + **输出参数说明** + - `meta_txt`：清理后的文本内容字符串 + - `page_one_meta`：第一页清理后的文本内容列表 + + **函数功能** + 读取pdf文件并清理其中的文本内容，清理规则包括： + - 提取所有块元的文本信息，并合并为一个字符串 + - 去除短块（字符数小于100）并替换为回车符 + - 清理多余的空行 + - 合并小写字母开头的段落块并替换为空格 + - 清除重复的换行 + - 将每个换行符替换为两个换行符，使每个段落之间有两个换行符分隔 + """ import fitz, re import numpy as np # file_content = "" @@ -170,69 +129,7 @@ def 批量翻译PDF文档(txt, top_p, temperature, chatbot, history, sys_prompt, yield from 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, sys_prompt) -def request_gpt_model_in_new_thread_with_ui_alive(inputs, inputs_show_user, top_p, temperature, chatbot, history, sys_prompt, refresh_interval=0.2): - import time - from concurrent.futures import ThreadPoolExecutor - from request_llm.bridge_chatgpt import predict_no_ui_long_connection - # 用户反馈 - chatbot.append([inputs_show_user, ""]); msg = '正常' - yield chatbot, [], msg - executor = ThreadPoolExecutor(max_workers=16) - mutable = ["", time.time()] - future = executor.submit(lambda: - predict_no_ui_long_connection(inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable) - ) - while True: - # yield一次以刷新前端页面 - time.sleep(refresh_interval) - # “喂狗”（看门狗） - mutable[1] = time.time() - if future.done(): break - chatbot[-1] = [chatbot[-1][0], mutable[0]]; msg = "正常" - yield chatbot, [], msg - return future.result() -def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(inputs_array, inputs_show_user_array, top_p, temperature, chatbot, history_array, sys_prompt_array, refresh_interval=0.2, max_workers=10, scroller_max_len=30): - import time - from concurrent.futures import ThreadPoolExecutor - from request_llm.bridge_chatgpt import predict_no_ui_long_connection - assert len(inputs_array) == len(history_array) - assert len(inputs_array) == len(sys_prompt_array) - executor = ThreadPoolExecutor(max_workers=max_workers) - n_frag = len(inputs_array) - # 异步原子 - mutable = [["", time.time()] for _ in range(n_frag)] - def _req_gpt(index, inputs, history, sys_prompt): - gpt_say = predict_no_ui_long_connection( - inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable[index] - ) - return gpt_say - # 异步任务开始 - futures = [executor.submit(_req_gpt, index, inputs, history, sys_prompt) for index, inputs, history, sys_prompt in zip(range(len(inputs_array)), inputs_array, history_array, sys_prompt_array)] - cnt = 0 - while True: - # yield一次以刷新前端页面 - time.sleep(refresh_interval); cnt += 1 - worker_done = [h.done() for h in futures] - if all(worker_done): executor.shutdown(); break - # 更好的UI视觉效果 - observe_win = [] - # 每个线程都要“喂狗”（看门狗） - for thread_index, _ in enumerate(worker_done): mutable[thread_index][1] = time.time() - # 在前端打印些好玩的东西 - for thread_index, _ in enumerate(worker_done): - print_something_really_funny = "[ ...`"+mutable[thread_index][0][-scroller_max_len:].\ - replace('\n','').replace('```','...').replace(' ','.').replace('
','.....').replace('$','.')+"`... ]" - observe_win.append(print_something_really_funny) - stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip(worker_done, observe_win)]) - chatbot[-1] = [chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt%10+1))]; msg = "正常" - yield chatbot, [], msg - # 异步任务结束 - gpt_response_collection = [] - for inputs_show_user, f in zip(inputs_show_user_array, futures): - gpt_res = f.result() - gpt_response_collection.extend([inputs_show_user, gpt_res]) - return gpt_response_collection def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, sys_prompt): import time @@ -241,7 +138,7 @@ def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, histor import fitz import tiktoken TOKEN_LIMIT_PER_FRAGMENT = 1600 - + generated_conclusion_files = [] for index, fp in enumerate(file_manifest): # 读取PDF文件 file_content, page_one = read_and_clean_pdf_text(fp) @@ -277,7 +174,19 @@ def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, histor final = ["", paper_meta_info + '\n\n---\n\n---\n\n---\n\n'] final.extend(gpt_response_collection) - res = write_results_to_file(final) + create_report_file_name = f"{os.path.basename(fp)}.trans.md" + res = write_results_to_file(final, file_name=create_report_file_name) + generated_conclusion_files.append(f'./gpt_log/{create_report_file_name}') chatbot.append((f"{fp}完成了吗？", res)); msg = "完成" yield chatbot, history, msg + # 准备文件的下载 + import shutil + for pdf_path in generated_conclusion_files: + # 重命名文件 + rename_file = f'./gpt_log/总结论文-{os.path.basename(pdf_path)}' + if os.path.exists(rename_file): os.remove(rename_file) + shutil.copyfile(pdf_path, rename_file); + if os.path.exists(pdf_path): os.remove(pdf_path) + chatbot.append(("给出输出文件清单", str(generated_conclusion_files))) + yield chatbot, history, msg \ No newline at end of file From 0b3f7b8821e8b648af25e1584cd7302d23aacb9a Mon Sep 17 00:00:00 2001 From: qingxu fu <505030475@qq.com> Date: Thu, 6 Apr 2023 18:15:11 +0800 Subject: [PATCH 138/154] format file --- crazy_functions/crazy_utils.py | 77 ++++++++++++++--------- crazy_functions/批量翻译PDF文档_多线程.py | 69 +++++++++++--------- 2 files changed, 86 insertions(+), 60 deletions(-) diff --git a/crazy_functions/crazy_utils.py b/crazy_functions/crazy_utils.py index a455cff..bdd6e2b 100644 --- a/crazy_functions/crazy_utils.py +++ b/crazy_functions/crazy_utils.py @@ -1,31 +1,32 @@ - def request_gpt_model_in_new_thread_with_ui_alive(inputs, inputs_show_user, top_p, temperature, chatbot, history, sys_prompt, refresh_interval=0.2): import time from concurrent.futures import ThreadPoolExecutor from request_llm.bridge_chatgpt import predict_no_ui_long_connection # 用户反馈 - chatbot.append([inputs_show_user, ""]); msg = '正常' + chatbot.append([inputs_show_user, ""]) + msg = '正常' yield chatbot, [], msg executor = ThreadPoolExecutor(max_workers=16) mutable = ["", time.time()] future = executor.submit(lambda: - predict_no_ui_long_connection(inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable) - ) + predict_no_ui_long_connection( + inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable) + ) while True: # yield一次以刷新前端页面 time.sleep(refresh_interval) # “喂狗”（看门狗） mutable[1] = time.time() - if future.done(): break - chatbot[-1] = [chatbot[-1][0], mutable[0]]; msg = "正常" + if future.done(): + break + chatbot[-1] = [chatbot[-1][0], mutable[0]] + msg = "正常" yield chatbot, [], msg return future.result() - - def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(inputs_array, inputs_show_user_array, top_p, temperature, chatbot, history_array, sys_prompt_array, refresh_interval=0.2, max_workers=10, scroller_max_len=30): import time from concurrent.futures import ThreadPoolExecutor @@ -35,34 +36,46 @@ def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(inp executor = ThreadPoolExecutor(max_workers=max_workers) n_frag = len(inputs_array) # 用户反馈 - chatbot.append(["请开始多线程操作。", ""]); msg = '正常' + chatbot.append(["请开始多线程操作。", ""]) + msg = '正常' yield chatbot, [], msg # 异步原子 mutable = [["", time.time()] for _ in range(n_frag)] + def _req_gpt(index, inputs, history, sys_prompt): gpt_say = predict_no_ui_long_connection( - inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable[index] + inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable[ + index] ) return gpt_say # 异步任务开始 - futures = [executor.submit(_req_gpt, index, inputs, history, sys_prompt) for index, inputs, history, sys_prompt in zip(range(len(inputs_array)), inputs_array, history_array, sys_prompt_array)] + futures = [executor.submit(_req_gpt, index, inputs, history, sys_prompt) for index, inputs, history, sys_prompt in zip( + range(len(inputs_array)), inputs_array, history_array, sys_prompt_array)] cnt = 0 while True: # yield一次以刷新前端页面 - time.sleep(refresh_interval); cnt += 1 + time.sleep(refresh_interval) + cnt += 1 worker_done = [h.done() for h in futures] - if all(worker_done): executor.shutdown(); break + if all(worker_done): + executor.shutdown() + break # 更好的UI视觉效果 observe_win = [] # 每个线程都要“喂狗”（看门狗） - for thread_index, _ in enumerate(worker_done): mutable[thread_index][1] = time.time() + for thread_index, _ in enumerate(worker_done): + mutable[thread_index][1] = time.time() # 在前端打印些好玩的东西 - for thread_index, _ in enumerate(worker_done): + for thread_index, _ in enumerate(worker_done): print_something_really_funny = "[ ...`"+mutable[thread_index][0][-scroller_max_len:].\ - replace('\n','').replace('```','...').replace(' ','.').replace('
','.....').replace('$','.')+"`... ]" + replace('\n', '').replace('```', '...').replace( + ' ', '.').replace('
', '.....').replace('$', '.')+"`... ]" observe_win.append(print_something_really_funny) - stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip(worker_done, observe_win)]) - chatbot[-1] = [chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt%10+1))]; msg = "正常" + stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip( + worker_done, observe_win)]) + chatbot[-1] = [chatbot[-1][0], + f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt % 10+1))] + msg = "正常" yield chatbot, [], msg # 异步任务结束 gpt_response_collection = [] @@ -72,23 +85,23 @@ def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(inp return gpt_response_collection - - def breakdown_txt_to_satisfy_token_limit(txt, get_token_fn, limit): - def cut(txt_tocut, must_break_at_empty_line): # 递归 + def cut(txt_tocut, must_break_at_empty_line): # 递归 if get_token_fn(txt_tocut) <= limit: return [txt_tocut] else: lines = txt_tocut.split('\n') - estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines) + estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines) estimated_line_cut = int(estimated_line_cut) for cnt in reversed(range(estimated_line_cut)): - if must_break_at_empty_line: - if lines[cnt] != "": continue + if must_break_at_empty_line: + if lines[cnt] != "": + continue print(cnt) prev = "\n".join(lines[:cnt]) post = "\n".join(lines[cnt:]) - if get_token_fn(prev) < limit: break + if get_token_fn(prev) < limit: + break if cnt == 0: print('what the fuck ?') raise RuntimeError("存在一行极长的文本！") @@ -102,22 +115,25 @@ def breakdown_txt_to_satisfy_token_limit(txt, get_token_fn, limit): except RuntimeError: return cut(txt, must_break_at_empty_line=False) + def breakdown_txt_to_satisfy_token_limit_for_pdf(txt, get_token_fn, limit): - def cut(txt_tocut, must_break_at_empty_line): # 递归 + def cut(txt_tocut, must_break_at_empty_line): # 递归 if get_token_fn(txt_tocut) <= limit: return [txt_tocut] else: lines = txt_tocut.split('\n') - estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines) + estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines) estimated_line_cut = int(estimated_line_cut) cnt = 0 for cnt in reversed(range(estimated_line_cut)): - if must_break_at_empty_line: - if lines[cnt] != "": continue + if must_break_at_empty_line: + if lines[cnt] != "": + continue print(cnt) prev = "\n".join(lines[:cnt]) post = "\n".join(lines[cnt:]) - if get_token_fn(prev) < limit: break + if get_token_fn(prev) < limit: + break if cnt == 0: # print('what the fuck ? 存在一行极长的文本！') raise RuntimeError("存在一行极长的文本！") @@ -135,4 +151,3 @@ def breakdown_txt_to_satisfy_token_limit_for_pdf(txt, get_token_fn, limit): # 这个中文的句号是故意的，作为一个标识而存在 res = cut(txt.replace('.', '。\n'), must_break_at_empty_line=False) return [r.replace('。\n', '.') for r in res] - diff --git a/crazy_functions/批量翻译PDF文档_多线程.py b/crazy_functions/批量翻译PDF文档_多线程.py index e13b072..348ebb9 100644 --- a/crazy_functions/批量翻译PDF文档_多线程.py +++ b/crazy_functions/批量翻译PDF文档_多线程.py @@ -2,6 +2,7 @@ from toolbox import CatchException, report_execption, write_results_to_file from .crazy_utils import request_gpt_model_in_new_thread_with_ui_alive from .crazy_utils import request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency + def read_and_clean_pdf_text(fp): """ **输入参数说明** @@ -20,7 +21,8 @@ def read_and_clean_pdf_text(fp): - 清除重复的换行 - 将每个换行符替换为两个换行符，使每个段落之间有两个换行符分隔 """ - import fitz, re + import fitz + import re import numpy as np # file_content = "" with fitz.open(fp) as doc: @@ -31,10 +33,13 @@ def read_and_clean_pdf_text(fp): text_areas = page.get_text("dict") # 获取页面上的文本信息 # 块元提取 for each word segment with in line for each line cross-line words for each block - meta_txt.extend( [ " ".join(["".join( [wtf['text'] for wtf in l['spans'] ]) for l in t['lines'] ]).replace('- ','') for t in text_areas['blocks'] if 'lines' in t]) - meta_font.extend([ np.mean( [ np.mean([wtf['size'] for wtf in l['spans'] ]) for l in t['lines'] ]) for t in text_areas['blocks'] if 'lines' in t]) - if index==0: - page_one_meta = [" ".join(["".join( [wtf['text'] for wtf in l['spans'] ]) for l in t['lines'] ]).replace('- ','') for t in text_areas['blocks'] if 'lines' in t] + meta_txt.extend([" ".join(["".join([wtf['text'] for wtf in l['spans']]) for l in t['lines']]).replace( + '- ', '') for t in text_areas['blocks'] if 'lines' in t]) + meta_font.extend([np.mean([np.mean([wtf['size'] for wtf in l['spans']]) + for l in t['lines']]) for t in text_areas['blocks'] if 'lines' in t]) + if index == 0: + page_one_meta = [" ".join(["".join([wtf['text'] for wtf in l['spans']]) for l in t['lines']]).replace( + '- ', '') for t in text_areas['blocks'] if 'lines' in t] def 把字符太少的块清除为回车(meta_txt): for index, block_txt in enumerate(meta_txt): @@ -61,8 +66,10 @@ def read_and_clean_pdf_text(fp): for _ in range(100): for index, block_txt in enumerate(meta_txt): if starts_with_lowercase_word(block_txt): - if meta_txt[index-1]!='\n': meta_txt[index-1] += ' ' - else: meta_txt[index-1] = '' + if meta_txt[index-1] != '\n': + meta_txt[index-1] += ' ' + else: + meta_txt[index-1] = '' meta_txt[index-1] += meta_txt[index] meta_txt[index] = '\n' return meta_txt @@ -72,13 +79,14 @@ def read_and_clean_pdf_text(fp): meta_txt = '\n'.join(meta_txt) # 清除重复的换行 for _ in range(5): - meta_txt = meta_txt.replace('\n\n','\n') + meta_txt = meta_txt.replace('\n\n', '\n') # 换行 -> 双换行 meta_txt = meta_txt.replace('\n', '\n\n') return meta_txt, page_one_meta + @CatchException def 批量翻译PDF文档(txt, top_p, temperature, chatbot, history, sys_prompt, WEB_PORT): import glob @@ -92,7 +100,8 @@ def 批量翻译PDF文档(txt, top_p, temperature, chatbot, history, sys_prompt, # 尝试导入依赖，如果缺少依赖，则给出安装建议 try: - import fitz, tiktoken + import fitz + import tiktoken except: report_execption(chatbot, history, a=f"解析项目: {txt}", @@ -129,13 +138,8 @@ def 批量翻译PDF文档(txt, top_p, temperature, chatbot, history, sys_prompt, yield from 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, sys_prompt) - - def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, sys_prompt): - import time - import glob import os - import fitz import tiktoken TOKEN_LIMIT_PER_FRAGMENT = 1600 generated_conclusion_files = [] @@ -145,39 +149,44 @@ def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, histor # 递归地切割PDF文件 from .crazy_utils import breakdown_txt_to_satisfy_token_limit_for_pdf enc = tiktoken.get_encoding("gpt2") - get_token_num = lambda txt: len(enc.encode(txt)) + def get_token_num(txt): return len(enc.encode(txt)) # 分解文本 - paper_fragments = breakdown_txt_to_satisfy_token_limit_for_pdf( + paper_fragments = breakdown_txt_to_satisfy_token_limit_for_pdf( txt=file_content, get_token_fn=get_token_num, limit=TOKEN_LIMIT_PER_FRAGMENT) page_one_fragments = breakdown_txt_to_satisfy_token_limit_for_pdf( txt=str(page_one), get_token_fn=get_token_num, limit=TOKEN_LIMIT_PER_FRAGMENT//4) # 为了更好的效果，我们剥离Introduction之后的部分 - paper_meta = page_one_fragments[0].split('introduction')[0].split('Introduction')[0].split('INTRODUCTION')[0] + paper_meta = page_one_fragments[0].split('introduction')[0].split( + 'Introduction')[0].split('INTRODUCTION')[0] # 单线，获取文章meta信息 paper_meta_info = yield from request_gpt_model_in_new_thread_with_ui_alive( - inputs=f"以下是一篇学术论文的基础信息，请从中提取出“标题”、“收录会议或期刊”、“作者”、“摘要”、“编号”、“作者邮箱”这六个部分。请用markdown格式输出，最后用中文翻译摘要部分。请提取：{paper_meta}", - inputs_show_user=f"请从{fp}中提取出“标题”、“收录会议或期刊”等基本信息。", + inputs=f"以下是一篇学术论文的基础信息，请从中提取出“标题”、“收录会议或期刊”、“作者”、“摘要”、“编号”、“作者邮箱”这六个部分。请用markdown格式输出，最后用中文翻译摘要部分。请提取：{paper_meta}", + inputs_show_user=f"请从{fp}中提取出“标题”、“收录会议或期刊”等基本信息。", top_p=top_p, temperature=temperature, chatbot=chatbot, history=[], sys_prompt="Your job is to collect information from materials。", ) # 多线，翻译 gpt_response_collection = yield from request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency( - inputs_array = [f"以下是你需要翻译的文章段落：\n{frag}" for frag in paper_fragments], - inputs_show_user_array = [f"" for _ in paper_fragments], + inputs_array=[ + f"以下是你需要翻译的文章段落：\n{frag}" for frag in paper_fragments], + inputs_show_user_array=[f"" for _ in paper_fragments], top_p=top_p, temperature=temperature, chatbot=chatbot, history_array=[[paper_meta] for _ in paper_fragments], - sys_prompt_array=["请你作为一个学术翻译，把整个段落翻译成中文，要求语言简洁，禁止重复输出原文。" for _ in paper_fragments], - max_workers=16 # OpenAI所允许的最大并行过载 + sys_prompt_array=[ + "请你作为一个学术翻译，把整个段落翻译成中文，要求语言简洁，禁止重复输出原文。" for _ in paper_fragments], + max_workers=16 # OpenAI所允许的最大并行过载 ) final = ["", paper_meta_info + '\n\n---\n\n---\n\n---\n\n'] final.extend(gpt_response_collection) create_report_file_name = f"{os.path.basename(fp)}.trans.md" res = write_results_to_file(final, file_name=create_report_file_name) - generated_conclusion_files.append(f'./gpt_log/{create_report_file_name}') - chatbot.append((f"{fp}完成了吗？", res)); msg = "完成" + generated_conclusion_files.append( + f'./gpt_log/{create_report_file_name}') + chatbot.append((f"{fp}完成了吗？", res)) + msg = "完成" yield chatbot, history, msg # 准备文件的下载 @@ -185,8 +194,10 @@ def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, histor for pdf_path in generated_conclusion_files: # 重命名文件 rename_file = f'./gpt_log/总结论文-{os.path.basename(pdf_path)}' - if os.path.exists(rename_file): os.remove(rename_file) - shutil.copyfile(pdf_path, rename_file); - if os.path.exists(pdf_path): os.remove(pdf_path) + if os.path.exists(rename_file): + os.remove(rename_file) + shutil.copyfile(pdf_path, rename_file) + if os.path.exists(pdf_path): + os.remove(pdf_path) chatbot.append(("给出输出文件清单", str(generated_conclusion_files))) - yield chatbot, history, msg \ No newline at end of file + yield chatbot, history, msg From 1055fdaab7a611d7b5ecf9f7685a9f9f4ee7db2b Mon Sep 17 00:00:00 2001 From: qingxu fu <505030475@qq.com> Date: Thu, 6 Apr 2023 18:26:46 +0800 Subject: [PATCH 139/154] =?UTF-8?q?=E5=B0=8F=E9=97=AE=E9=A2=98=E4=BF=AE?= =?UTF-8?q?=E5=A4=8D?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- toolbox.py | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/toolbox.py b/toolbox.py index 6678dec..6f89a30 100644 --- a/toolbox.py +++ b/toolbox.py @@ -279,7 +279,7 @@ def find_recent_files(directory): for filename in os.listdir(directory): file_path = os.path.join(directory, filename) if file_path.endswith('.log'): continue - created_time = os.path.getctime(file_path) + created_time = os.path.getmtime(file_path) if created_time >= one_minute_ago: if os.path.isdir(file_path): continue recent_files.append(file_path) From 0079733bfd31716ba7fdd14027006d9761113a4f Mon Sep 17 00:00:00 2001 From: qingxu fu <505030475@qq.com> Date: Thu, 6 Apr 2023 18:29:49 +0800 Subject: [PATCH 140/154] =?UTF-8?q?=E4=B8=BB=E8=A6=81=E4=BB=A3=E7=A0=81?= =?UTF-8?q?=E8=A7=84=E6=95=B4=E5=8C=96?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- check_proxy.py | 18 +++--- config.py | 11 ++-- core_functional.py | 5 +- crazy_functional.py | 10 ++- theme.py | 24 ++++--- toolbox.py | 149 ++++++++++++++++++++++++++++++-------------- 6 files changed, 140 insertions(+), 77 deletions(-) diff --git a/check_proxy.py b/check_proxy.py index abc75d0..95a439e 100644 --- a/check_proxy.py +++ b/check_proxy.py @@ -3,7 +3,8 @@ def check_proxy(proxies): import requests proxies_https = proxies['https'] if proxies is not None else '无' try: - response = requests.get("https://ipapi.co/json/", proxies=proxies, timeout=4) + response = requests.get("https://ipapi.co/json/", + proxies=proxies, timeout=4) data = response.json() print(f'查询代理的地理位置，返回的结果是{data}') if 'country_name' in data: @@ -21,9 +22,11 @@ def check_proxy(proxies): def auto_update(): from toolbox import get_conf - import requests, time, json + import requests + import time + import json proxies, = get_conf('proxies') - response = requests.get("https://raw.githubusercontent.com/binary-husky/chatgpt_academic/master/version", + response = requests.get("https://raw.githubusercontent.com/binary-husky/chatgpt_academic/master/version", proxies=proxies, timeout=1) remote_json_data = json.loads(response.text) remote_version = remote_json_data['version'] @@ -31,11 +34,12 @@ def auto_update(): new_feature = "新功能：" + remote_json_data["new_feature"] else: new_feature = "" - with open('./version', 'r', encoding='utf8') as f: + with open('./version', 'r', encoding='utf8') as f: current_version = f.read() current_version = json.loads(current_version)['version'] if (remote_version - current_version) >= 0.05: - print(f'\n新版本可用。新版本:{remote_version}，当前版本:{current_version}。{new_feature}') + print( + f'\n新版本可用。新版本:{remote_version}，当前版本:{current_version}。{new_feature}') print('Github更新地址:\nhttps://github.com/binary-husky/chatgpt_academic\n') time.sleep(3) return @@ -44,8 +48,8 @@ def auto_update(): if __name__ == '__main__': - import os; os.environ['no_proxy'] = '*' # 避免代理网络产生意外污染 + import os + os.environ['no_proxy'] = '*' # 避免代理网络产生意外污染 from toolbox import get_conf proxies, = get_conf('proxies') check_proxy(proxies) - \ No newline at end of file diff --git a/config.py b/config.py index 8c98657..f94f183 100644 --- a/config.py +++ b/config.py @@ -11,10 +11,10 @@ if USE_PROXY: # [端口] 在代理软件的设置里找。虽然不同的代理软件界面不一样，但端口号都应该在最显眼的位置上 # 代理网络的地址，打开你的科学上网软件查看代理的协议(socks5/http)、地址(localhost)和端口(11284) - proxies = { + proxies = { # [协议]:// [地址] :[端口] - "http": "socks5h://localhost:11284", - "https": "socks5h://localhost:11284", + "http": "socks5h://localhost:11284", + "https": "socks5h://localhost:11284", } else: proxies = None @@ -25,7 +25,7 @@ else: CHATBOT_HEIGHT = 1115 # 窗口布局 -LAYOUT = "LEFT-RIGHT" # "LEFT-RIGHT"（左右布局） # "TOP-DOWN"（上下布局） +LAYOUT = "LEFT-RIGHT" # "LEFT-RIGHT"（左右布局） # "TOP-DOWN"（上下布局） # 发送请求到OpenAI后，等待多久判定为超时 TIMEOUT_SECONDS = 25 @@ -46,4 +46,5 @@ API_URL = "https://api.openai.com/v1/chat/completions" CONCURRENT_COUNT = 100 # 设置用户名和密码（相关功能不稳定，与gradio版本和网络都相关，如果本地使用不建议加这个） -AUTHENTICATION = [] # [("username", "password"), ("username2", "password2"), ...] +# [("username", "password"), ("username2", "password2"), ...] +AUTHENTICATION = [] diff --git a/core_functional.py b/core_functional.py index 22d2c2b..722abc1 100644 --- a/core_functional.py +++ b/core_functional.py @@ -4,6 +4,7 @@ # 默认按钮颜色是 secondary from toolbox import clear_line_break + def get_core_functions(): return { "英语学术润色": { @@ -11,12 +12,12 @@ def get_core_functions(): "Prefix": r"Below is a paragraph from an academic paper. Polish the writing to meet the academic style, " + r"improve the spelling, grammar, clarity, concision and overall readability. When necessary, rewrite the whole sentence. " + r"Furthermore, list all modification and explain the reasons to do so in markdown table." + "\n\n", - # 后语 + # 后语 "Suffix": r"", "Color": r"secondary", # 按钮颜色 }, "中文学术润色": { - "Prefix": r"作为一名中文学术论文写作改进助理，你的任务是改进所提供文本的拼写、语法、清晰、简洁和整体可读性，" + + "Prefix": r"作为一名中文学术论文写作改进助理，你的任务是改进所提供文本的拼写、语法、清晰、简洁和整体可读性，" + r"同时分解长句，减少重复，并提供改进建议。请只提供文本的更正版本，避免包括解释。请编辑以下文本" + "\n\n", "Suffix": r"", }, diff --git a/crazy_functional.py b/crazy_functional.py index 44b0918..3e53f54 100644 --- a/crazy_functional.py +++ b/crazy_functional.py @@ -1,4 +1,5 @@ -from toolbox import HotReload # HotReload 的意思是热更新，修改函数插件后，不需要重启程序，代码直接生效 +from toolbox import HotReload # HotReload 的意思是热更新，修改函数插件后，不需要重启程序，代码直接生效 + def get_crazy_functions(): ###################### 第一组插件 ########################### @@ -81,7 +82,8 @@ def get_crazy_functions(): "[仅供开发调试] 批量总结PDF文档": { "Color": "stop", "AsButton": False, # 加入下拉菜单中 - "Function": HotReload(批量总结PDF文档) # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效 + # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效 + "Function": HotReload(批量总结PDF文档) }, "[仅供开发调试] 批量总结PDF文档pdfminer": { "Color": "stop", @@ -109,9 +111,5 @@ def get_crazy_functions(): except Exception as err: print(f'[下载arxiv论文并翻译摘要] 插件导入失败 {str(err)}') - - ###################### 第n组插件 ########################### return function_plugins - - diff --git a/theme.py b/theme.py index 4ddae5a..0c368c4 100644 --- a/theme.py +++ b/theme.py @@ -1,4 +1,4 @@ -import gradio as gr +import gradio as gr # gradio可用颜色列表 # gr.themes.utils.colors.slate (石板色) @@ -24,14 +24,16 @@ import gradio as gr # gr.themes.utils.colors.pink (粉红色) # gr.themes.utils.colors.rose (玫瑰色) + def adjust_theme(): - try: + try: color_er = gr.themes.utils.colors.fuchsia - set_theme = gr.themes.Default( - primary_hue=gr.themes.utils.colors.orange, - neutral_hue=gr.themes.utils.colors.gray, - font=["sans-serif", "Microsoft YaHei", "ui-sans-serif", "system-ui", "sans-serif", gr.themes.utils.fonts.GoogleFont("Source Sans Pro")], - font_mono=["ui-monospace", "Consolas", "monospace", gr.themes.utils.fonts.GoogleFont("IBM Plex Mono")]) + set_theme = gr.themes.Default( + primary_hue=gr.themes.utils.colors.orange, + neutral_hue=gr.themes.utils.colors.gray, + font=["sans-serif", "Microsoft YaHei", "ui-sans-serif", "system-ui", + "sans-serif", gr.themes.utils.fonts.GoogleFont("Source Sans Pro")], + font_mono=["ui-monospace", "Consolas", "monospace", gr.themes.utils.fonts.GoogleFont("IBM Plex Mono")]) set_theme.set( # Colors input_background_fill_dark="*neutral_800", @@ -77,10 +79,12 @@ def adjust_theme(): button_cancel_text_color=color_er.c600, button_cancel_text_color_dark="white", ) - except: - set_theme = None; print('gradio版本较旧, 不能自定义字体和颜色') + except: + set_theme = None + print('gradio版本较旧, 不能自定义字体和颜色') return set_theme + advanced_css = """ /* 设置表格的外边距为1em，内部单元格之间边框合并，空单元格显示. */ .markdown-body table { @@ -149,4 +153,4 @@ advanced_css = """ padding: 1em; margin: 1em 2em 1em 0.5em; } -""" \ No newline at end of file +""" diff --git a/toolbox.py b/toolbox.py index 6f89a30..0b1c85c 100644 --- a/toolbox.py +++ b/toolbox.py @@ -1,14 +1,23 @@ -import markdown, mdtex2html, threading, importlib, traceback, importlib, inspect, re +import markdown +import mdtex2html +import threading +import importlib +import traceback +import importlib +import inspect +import re from show_math import convert as convert_math from functools import wraps, lru_cache + def ArgsGeneralWrapper(f): """ 装饰器函数，用于重组输入参数，改变输入参数的顺序与结构。 """ def decorated(txt, txt2, *args, **kwargs): txt_passon = txt - if txt == "" and txt2 != "": txt_passon = txt2 + if txt == "" and txt2 != "": + txt_passon = txt2 yield from f(txt_passon, *args, **kwargs) return decorated @@ -18,7 +27,7 @@ def get_reduce_token_percent(text): # text = "maximum context length is 4097 tokens. However, your messages resulted in 4870 tokens" pattern = r"(\d+)\s+tokens\b" match = re.findall(pattern, text) - EXCEED_ALLO = 500 # 稍微留一点余地，否则在回复时会因余量太少出问题 + EXCEED_ALLO = 500 # 稍微留一点余地，否则在回复时会因余量太少出问题 max_limit = float(match[0]) - EXCEED_ALLO current_tokens = float(match[1]) ratio = max_limit/current_tokens @@ -27,6 +36,7 @@ def get_reduce_token_percent(text): except: return 0.5, '不详' + def predict_no_ui_but_counting_down(i_say, i_say_show_user, chatbot, top_p, temperature, history=[], sys_prompt='', long_connection=True): """ 调用简单的predict_no_ui接口，但是依然保留了些许界面心跳功能，当对话太长时，会自动采用二分法截断 @@ -46,21 +56,26 @@ def predict_no_ui_but_counting_down(i_say, i_say_show_user, chatbot, top_p, temp # list就是最简单的mutable结构，我们第一个位置放gpt输出，第二个位置传递报错信息 mutable = [None, ''] # multi-threading worker + def mt(i_say, history): while True: try: if long_connection: - mutable[0] = predict_no_ui_long_connection(inputs=i_say, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt) + mutable[0] = predict_no_ui_long_connection( + inputs=i_say, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt) else: - mutable[0] = predict_no_ui(inputs=i_say, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt) + mutable[0] = predict_no_ui( + inputs=i_say, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt) break except ConnectionAbortedError as token_exceeded_error: # 尝试计算比例，尽可能多地保留文本 - p_ratio, n_exceed = get_reduce_token_percent(str(token_exceeded_error)) + p_ratio, n_exceed = get_reduce_token_percent( + str(token_exceeded_error)) if len(history) > 0: - history = [his[ int(len(his) *p_ratio): ] for his in history if his is not None] + history = [his[int(len(his) * p_ratio):] + for his in history if his is not None] else: - i_say = i_say[: int(len(i_say) *p_ratio) ] + i_say = i_say[: int(len(i_say) * p_ratio)] mutable[1] = f'警告，文本过长将进行截断，Token溢出数：{n_exceed}，截断比例：{(1-p_ratio):.0%}。' except TimeoutError as e: mutable[0] = '[Local Message] 请求超时。' @@ -69,42 +84,51 @@ def predict_no_ui_but_counting_down(i_say, i_say_show_user, chatbot, top_p, temp mutable[0] = f'[Local Message] 异常：{str(e)}.' raise RuntimeError(f'[Local Message] 异常：{str(e)}.') # 创建新线程发出http请求 - thread_name = threading.Thread(target=mt, args=(i_say, history)); thread_name.start() + thread_name = threading.Thread(target=mt, args=(i_say, history)) + thread_name.start() # 原来的线程则负责持续更新UI，实现一个超时倒计时，并等待新线程的任务完成 cnt = 0 while thread_name.is_alive(): cnt += 1 - chatbot[-1] = (i_say_show_user, f"[Local Message] {mutable[1]}waiting gpt response {cnt}/{TIMEOUT_SECONDS*2*(MAX_RETRY+1)}"+''.join(['.']*(cnt%4))) + chatbot[-1] = (i_say_show_user, + f"[Local Message] {mutable[1]}waiting gpt response {cnt}/{TIMEOUT_SECONDS*2*(MAX_RETRY+1)}"+''.join(['.']*(cnt % 4))) yield chatbot, history, '正常' time.sleep(1) # 把gpt的输出从mutable中取出来 gpt_say = mutable[0] - if gpt_say=='[Local Message] Failed with timeout.': raise TimeoutError + if gpt_say == '[Local Message] Failed with timeout.': + raise TimeoutError return gpt_say + def write_results_to_file(history, file_name=None): """ 将对话记录history以Markdown格式写入文件中。如果没有指定文件名，则使用当前时间生成文件名。 """ - import os, time + import os + import time if file_name is None: # file_name = time.strftime("chatGPT分析报告%Y-%m-%d-%H-%M-%S", time.localtime()) + '.md' - file_name = 'chatGPT分析报告' + time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime()) + '.md' + file_name = 'chatGPT分析报告' + \ + time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime()) + '.md' os.makedirs('./gpt_log/', exist_ok=True) - with open(f'./gpt_log/{file_name}', 'w', encoding = 'utf8') as f: + with open(f'./gpt_log/{file_name}', 'w', encoding='utf8') as f: f.write('# chatGPT 分析报告\n') for i, content in enumerate(history): try: # 这个bug没找到触发条件，暂时先这样顶一下 - if type(content) != str: content = str(content) + if type(content) != str: + content = str(content) except: continue - if i%2==0: f.write('## ') + if i % 2 == 0: + f.write('## ') f.write(content) f.write('\n\n') res = '以上材料已经被写入' + os.path.abspath(f'./gpt_log/{file_name}') print(res) return res + def regular_txt_to_markdown(text): """ 将普通文本转换为Markdown格式的文本。 @@ -114,6 +138,7 @@ def regular_txt_to_markdown(text): text = text.replace('\n\n\n', '\n\n') return text + def CatchException(f): """ 装饰器函数，捕捉函数f中的异常并封装到一个生成器中返回，并显示到聊天当中。 @@ -127,11 +152,14 @@ def CatchException(f): from toolbox import get_conf proxies, = get_conf('proxies') tb_str = '```\n' + traceback.format_exc() + '```' - if chatbot is None or len(chatbot) == 0: chatbot = [["插件调度异常","异常原因"]] - chatbot[-1] = (chatbot[-1][0], f"[Local Message] 实验性函数调用出错: \n\n{tb_str} \n\n当前代理可用性: \n\n{check_proxy(proxies)}") + if chatbot is None or len(chatbot) == 0: + chatbot = [["插件调度异常", "异常原因"]] + chatbot[-1] = (chatbot[-1][0], + f"[Local Message] 实验性函数调用出错: \n\n{tb_str} \n\n当前代理可用性: \n\n{check_proxy(proxies)}") yield chatbot, history, f'异常 {e}' return decorated + def HotReload(f): """ 装饰器函数，实现函数插件热更新 @@ -143,12 +171,15 @@ def HotReload(f): yield from f_hot_reload(*args, **kwargs) return decorated + def report_execption(chatbot, history, a, b): """ 向chatbot中添加错误信息 """ chatbot.append((a, b)) - history.append(a); history.append(b) + history.append(a) + history.append(b) + def text_divide_paragraph(text): """ @@ -165,6 +196,7 @@ def text_divide_paragraph(text): text = "".join(lines) return text + def markdown_convertion(txt): """ 将Markdown格式的文本转换为HTML格式。如果包含数学公式，则先将公式转换为HTML格式。 @@ -172,16 +204,19 @@ def markdown_convertion(txt): pre = '
' + markdown.markdown(convert_math(txt, splitParagraphs=False),extensions=['fenced_code','tables']) + suf + return pre + markdown.markdown(txt, extensions=['fenced_code', 'tables']) + '
' + markdown.markdown(convert_math(txt, splitParagraphs=False), extensions=['fenced_code', 'tables']) + suf else: - return pre + markdown.markdown(txt,extensions=['fenced_code','tables']) + suf + return pre + markdown.markdown(txt, extensions=['fenced_code', 'tables']) + suf + def close_up_code_segment_during_stream(gpt_reply): """ 在gpt输出代码的中途（输出了前面的```，但还没输出完后面的```），补上后面的``` """ - if '```' not in gpt_reply: return gpt_reply - if gpt_reply.endswith('```'): return gpt_reply + if '```' not in gpt_reply: + return gpt_reply + if gpt_reply.endswith('```'): + return gpt_reply # 排除了以上两个情况，我们 segments = gpt_reply.split('```') @@ -191,19 +226,21 @@ def close_up_code_segment_during_stream(gpt_reply): return gpt_reply+'\n```' else: return gpt_reply - def format_io(self, y): """ 将输入和输出解析为HTML格式。将y中最后一项的输入部分段落化，并将输出部分的Markdown和数学公式转换为HTML格式。 """ - if y is None or y == []: return [] + if y is None or y == []: + return [] i_ask, gpt_reply = y[-1] - i_ask = text_divide_paragraph(i_ask) # 输入部分太自由，预处理一波 - gpt_reply = close_up_code_segment_during_stream(gpt_reply) # 当代码输出半截的时候，试着补上后个``` + i_ask = text_divide_paragraph(i_ask) # 输入部分太自由，预处理一波 + gpt_reply = close_up_code_segment_during_stream( + gpt_reply) # 当代码输出半截的时候，试着补上后个``` y[-1] = ( - None if i_ask is None else markdown.markdown(i_ask, extensions=['fenced_code','tables']), + None if i_ask is None else markdown.markdown( + i_ask, extensions=['fenced_code', 'tables']), None if gpt_reply is None else markdown_convertion(gpt_reply) ) return y @@ -265,6 +302,7 @@ def extract_archive(file_path, dest_dir): return '' return '' + def find_recent_files(directory): """ me: find files that is created with in one minutes under a directory with python, write a function @@ -278,21 +316,29 @@ def find_recent_files(directory): for filename in os.listdir(directory): file_path = os.path.join(directory, filename) - if file_path.endswith('.log'): continue + if file_path.endswith('.log'): + continue created_time = os.path.getmtime(file_path) if created_time >= one_minute_ago: - if os.path.isdir(file_path): continue + if os.path.isdir(file_path): + continue recent_files.append(file_path) return recent_files def on_file_uploaded(files, chatbot, txt): - if len(files) == 0: return chatbot, txt - import shutil, os, time, glob + if len(files) == 0: + return chatbot, txt + import shutil + import os + import time + import glob from toolbox import extract_archive - try: shutil.rmtree('./private_upload/') - except: pass + try: + shutil.rmtree('./private_upload/') + except: + pass time_tag = time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime()) os.makedirs(f'private_upload/{time_tag}', exist_ok=True) err_msg = '' @@ -300,13 +346,14 @@ def on_file_uploaded(files, chatbot, txt): file_origin_name = os.path.basename(file.orig_name) shutil.copy(file.name, f'private_upload/{time_tag}/{file_origin_name}') err_msg += extract_archive(f'private_upload/{time_tag}/{file_origin_name}', - dest_dir=f'private_upload/{time_tag}/{file_origin_name}.extract') - moved_files = [fp for fp in glob.glob('private_upload/**/*', recursive=True)] + dest_dir=f'private_upload/{time_tag}/{file_origin_name}.extract') + moved_files = [fp for fp in glob.glob( + 'private_upload/**/*', recursive=True)] txt = f'private_upload/{time_tag}' moved_files_str = '\t\n\n'.join(moved_files) chatbot.append(['我上传了文件，请查收', - f'[Local Message] 收到以下文件: \n\n{moved_files_str}'+ - f'\n\n调用路径参数已自动修正到: \n\n{txt}'+ + f'[Local Message] 收到以下文件: \n\n{moved_files_str}' + + f'\n\n调用路径参数已自动修正到: \n\n{txt}' + f'\n\n现在您点击任意实验功能时，以上文件将被作为输入参数'+err_msg]) return chatbot, txt @@ -314,32 +361,37 @@ def on_file_uploaded(files, chatbot, txt): def on_report_generated(files, chatbot): from toolbox import find_recent_files report_files = find_recent_files('gpt_log') - if len(report_files) == 0: return None, chatbot + if len(report_files) == 0: + return None, chatbot # files.extend(report_files) chatbot.append(['汇总报告如何远程获取？', '汇总报告已经添加到右侧“文件上传区”（可能处于折叠状态），请查收。']) return report_files, chatbot + @lru_cache(maxsize=128) def read_single_conf_with_lru_cache(arg): - try: r = getattr(importlib.import_module('config_private'), arg) - except: r = getattr(importlib.import_module('config'), arg) + try: + r = getattr(importlib.import_module('config_private'), arg) + except: + r = getattr(importlib.import_module('config'), arg) # 在读取API_KEY时，检查一下是不是忘了改config - if arg=='API_KEY': + if arg == 'API_KEY': # 正确的 API_KEY 是 "sk-" + 48 位大小写字母数字的组合 API_MATCH = re.match(r"sk-[a-zA-Z0-9]{48}$", r) if API_MATCH: print(f"[API_KEY] 您的 API_KEY 是: {r[:15]}*** API_KEY 导入成功") else: assert False, "正确的 API_KEY 是 'sk-' + '48 位大小写字母数字' 的组合，请在config文件中修改API密钥, 添加海外代理之后再运行。" + \ - "（如果您刚更新过代码，请确保旧版config_private文件中没有遗留任何新增键值）" - if arg=='proxies': - if r is None: + "（如果您刚更新过代码，请确保旧版config_private文件中没有遗留任何新增键值）" + if arg == 'proxies': + if r is None: print('[PROXY] 网络代理状态：未配置。无代理状态下很可能无法访问。建议：检查USE_PROXY选项是否修改。') - else: + else: print('[PROXY] 网络代理状态：已配置。配置信息如下：', r) assert isinstance(r, dict), 'proxies格式错误，请注意proxies选项的格式，不要遗漏括号。' return r + def get_conf(*args): # 建议您复制一个config_private.py放自己的秘密, 如API和代理网址, 避免不小心传github被别人看到 res = [] @@ -348,14 +400,17 @@ def get_conf(*args): res.append(r) return res + def clear_line_break(txt): txt = txt.replace('\n', ' ') txt = txt.replace(' ', ' ') txt = txt.replace(' ', ' ') return txt + class DummyWith(): def __enter__(self): return self + def __exit__(self, exc_type, exc_value, traceback): - return \ No newline at end of file + return From a4d731b190f1fbebcb3aa7483cca2d12ad6176df Mon Sep 17 00:00:00 2001 From: Your Name
Date: Thu, 6 Apr 2023 18:41:04 +0800
Subject: [PATCH 141/154] =?UTF-8?q?=E6=9B=BF=E6=8D=A2=E5=9F=BA=E7=A1=80?=
=?UTF-8?q?=E5=87=BD=E6=95=B0?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
crazy_functions/高级功能函数模板.py | 20 ++++++++------------
1 file changed, 8 insertions(+), 12 deletions(-)
diff --git a/crazy_functions/高级功能函数模板.py b/crazy_functions/高级功能函数模板.py
index 10c9156..93f078e 100644
--- a/crazy_functions/高级功能函数模板.py
+++ b/crazy_functions/高级功能函数模板.py
@@ -1,25 +1,21 @@
from request_llm.bridge_chatgpt import predict_no_ui_long_connection
from toolbox import CatchException
+from .crazy_utils import request_gpt_model_in_new_thread_with_ui_alive
import datetime
-
@CatchException
def 高阶功能模板函数(txt, top_p, temperature, chatbot, history, systemPromptTxt, WEB_PORT):
history = [] # 清空历史，以免输入溢出
- chatbot.append(("这是什么功能？", "[Local Message] 请注意，您正在调用一个[函数插件]的模板，该函数面向希望实现更多有趣功能的开发者，它可以作为创建新功能函数的模板。为了做到简单易读，该函数只有25行代码，所以不会实时反馈文字流或心跳，请耐心等待程序输出完成。此外我们也提供可同步处理大量文件的多线程Demo供您参考。您若希望分享新的功能模组，请不吝PR！"))
+ chatbot.append(("这是什么功能？", "[Local Message] 请注意，您正在调用一个[函数插件]的模板，该函数面向希望实现更多有趣功能的开发者，它可以作为创建新功能函数的模板（该函数只有21行代码）。此外我们也提供可同步处理大量文件的多线程Demo供您参考。您若希望分享新的功能模组，请不吝PR！"))
yield chatbot, history, '正常' # 由于请求gpt需要一段时间，我们先及时地做一次状态显示
-
for i in range(5):
currentMonth = (datetime.date.today() + datetime.timedelta(days=i)).month
currentDay = (datetime.date.today() + datetime.timedelta(days=i)).day
i_say = f'历史中哪些事件发生在{currentMonth}月{currentDay}日？列举两条并发送相关图片。发送图片时，请使用Markdown，将Unsplash API中的PUT_YOUR_QUERY_HERE替换成描述该事件的一个最重要的单词。'
- chatbot.append((i_say, "[Local Message] waiting gpt response."))
- yield chatbot, history, '正常' # 由于请求gpt需要一段时间，我们先及时地做一次状态显示
- try:
- gpt_say = predict_no_ui_long_connection(
- inputs=i_say, top_p=top_p, temperature=temperature, history=[], # history = [] 每次询问不携带之前的询问历史
- sys_prompt="当你想发送一张照片时，请使用Markdown, 并且不要有反斜线, 不要用代码块。使用 Unsplash API (https://source.unsplash.com/1280x720/? < PUT_YOUR_QUERY_HERE >)。") # 请求gpt，需要一段时间
- except:
- print("")
+ gpt_say = yield from request_gpt_model_in_new_thread_with_ui_alive(
+ inputs=i_say, inputs_show_user=i_say,
+ top_p=top_p, temperature=temperature, chatbot=chatbot, history=[],
+ sys_prompt="当你想发送一张照片时，请使用Markdown, 并且不要有反斜线, 不要用代码块。使用 Unsplash API (https://source.unsplash.com/1280x720/? < PUT_YOUR_QUERY_HERE >)。"
+ )
chatbot[-1] = (i_say, gpt_say)
history.append(i_say);history.append(gpt_say)
- yield chatbot, history, '正常' # 显示
\ No newline at end of file
+ yield chatbot, history, '正常'
\ No newline at end of file
From f14aa4818a6eba7ea989ddaedb320ea09ab007bf Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Thu, 6 Apr 2023 18:45:24 +0800
Subject: [PATCH 142/154] =?UTF-8?q?=E6=94=B9=E5=96=84=E6=8F=90=E7=A4=BA?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
crazy_functions/高级功能函数模板.py | 3 +--
1 file changed, 1 insertion(+), 2 deletions(-)
diff --git a/crazy_functions/高级功能函数模板.py b/crazy_functions/高级功能函数模板.py
index 93f078e..6530044 100644
--- a/crazy_functions/高级功能函数模板.py
+++ b/crazy_functions/高级功能函数模板.py
@@ -1,11 +1,10 @@
-from request_llm.bridge_chatgpt import predict_no_ui_long_connection
from toolbox import CatchException
from .crazy_utils import request_gpt_model_in_new_thread_with_ui_alive
import datetime
@CatchException
def 高阶功能模板函数(txt, top_p, temperature, chatbot, history, systemPromptTxt, WEB_PORT):
history = [] # 清空历史，以免输入溢出
- chatbot.append(("这是什么功能？", "[Local Message] 请注意，您正在调用一个[函数插件]的模板，该函数面向希望实现更多有趣功能的开发者，它可以作为创建新功能函数的模板（该函数只有21行代码）。此外我们也提供可同步处理大量文件的多线程Demo供您参考。您若希望分享新的功能模组，请不吝PR！"))
+ chatbot.append(("这是什么功能？", "[Local Message] 请注意，您正在调用一个[函数插件]的模板，该函数面向希望实现更多有趣功能的开发者，它可以作为创建新功能函数的模板（该函数只有20行代码）。此外我们也提供可同步处理大量文件的多线程Demo供您参考。您若希望分享新的功能模组，请不吝PR！"))
yield chatbot, history, '正常' # 由于请求gpt需要一段时间，我们先及时地做一次状态显示
for i in range(5):
currentMonth = (datetime.date.today() + datetime.timedelta(days=i)).month
From 928bef898309da15d0cb2b074c38b545139d183a Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Thu, 6 Apr 2023 18:49:49 +0800
Subject: [PATCH 143/154] Update README.md
---
README.md | 1 +
1 file changed, 1 insertion(+)
diff --git a/README.md b/README.md
index 73fff2e..91ad3cf 100644
--- a/README.md
+++ b/README.md
@@ -32,6 +32,7 @@ If you like this project, please give it a Star. If you've come up with more use
批量注释生成 | [函数插件] 一键批量生成函数注释
chat分析报告生成 | [函数插件] 运行后自动生成总结汇报
[arxiv小助手](https://www.bilibili.com/video/BV1LM4y1279X) | [函数插件] 输入arxiv文章url即可一键翻译摘要+下载PDF
+PDF论文全文翻译功能 | [函数插件] PDF论文提取题目&摘要+翻译全文（多线程）
公式显示 | 可以同时显示公式的tex形式和渲染形式
图片显示 | 可以在markdown中显示图片
多线程函数插件支持 | 支持多线调用chatgpt，一键处理海量文本或程序
From 9a12adf853a1b1caf5a8a03bb1b72794024f72c2 Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Thu, 6 Apr 2023 18:55:16 +0800
Subject: [PATCH 144/154] Update README.md
---
README.md | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/README.md b/README.md
index 91ad3cf..cc9c690 100644
--- a/README.md
+++ b/README.md
@@ -32,7 +32,7 @@ If you like this project, please give it a Star. If you've come up with more use
批量注释生成 | [函数插件] 一键批量生成函数注释
chat分析报告生成 | [函数插件] 运行后自动生成总结汇报
[arxiv小助手](https://www.bilibili.com/video/BV1LM4y1279X) | [函数插件] 输入arxiv文章url即可一键翻译摘要+下载PDF
-PDF论文全文翻译功能 | [函数插件] PDF论文提取题目&摘要+翻译全文（多线程）
+[PDF论文全文翻译功能](https://www.bilibili.com/video/BV1KT411x7Wn) | [函数插件] PDF论文提取题目&摘要+翻译全文（多线程）
公式显示 | 可以同时显示公式的tex形式和渲染形式
图片显示 | 可以在markdown中显示图片
多线程函数插件支持 | 支持多线调用chatgpt，一键处理海量文本或程序
From 991cd2939537bd498ef2f9779d6afb7afcb2761a Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Thu, 6 Apr 2023 19:15:58 +0800
Subject: [PATCH 145/154] Update README.md
---
README.md | 3 ++-
1 file changed, 2 insertions(+), 1 deletion(-)
diff --git a/README.md b/README.md
index cc9c690..56c4a96 100644
--- a/README.md
+++ b/README.md
@@ -46,10 +46,11 @@ huggingface免科学上网[在线体验](https://huggingface.co/spaces/qingxu98/
- 新界面
From 769f2fe7d73c79162e9ebc66058815ba65ed134a Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Thu, 6 Apr 2023 19:24:37 +0800
Subject: [PATCH 146/154] Update README.md
---
README.md | 3 ++-
1 file changed, 2 insertions(+), 1 deletion(-)
diff --git a/README.md b/README.md
index 56c4a96..2eb81da 100644
--- a/README.md
+++ b/README.md
@@ -260,11 +260,12 @@ python check_proxy.py
- version 3 (Todo):
- - 支持gpt4和其他更多llm
-- version 2.3+ (Todo):
+- version 2.4+ (Todo):
- - 总结大工程源代码时文本过长、token溢出的问题
- - 实现项目打包部署
- - 函数插件参数接口优化
- - 自更新
+- version 2.4: (1)新增PDF全文翻译功能; (2)新增输入区切换位置的功能; (3)新增垂直布局选项; (4)多线程函数插件优化。
- version 2.3: 增强多线程交互性
- version 2.2: 函数插件支持热重载
- version 2.1: 可折叠式布局
From d1a18d293a70cd5e60f9512dc6096522480feb48 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Fri, 7 Apr 2023 12:45:47 +0800
Subject: [PATCH 147/154] =?UTF-8?q?=E6=9B=B4=E6=96=B0requirements.txt?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
.gitignore | 3 ++-
requirements.txt | 12 ++++++++----
2 files changed, 10 insertions(+), 5 deletions(-)
diff --git a/.gitignore b/.gitignore
index d2c0f96..a5b6d85 100644
--- a/.gitignore
+++ b/.gitignore
@@ -140,4 +140,5 @@ gpt_log
private.md
private_upload
other_llms
-cradle.py
\ No newline at end of file
+cradle*
+debug*
\ No newline at end of file
diff --git a/requirements.txt b/requirements.txt
index 8034392..d864593 100644
--- a/requirements.txt
+++ b/requirements.txt
@@ -1,8 +1,12 @@
gradio>=3.23
requests[socks]
-mdtex2html
-Markdown
-latex2mathml
-openai
transformers
+python-markdown-math
+beautifulsoup4
+latex2mathml
+mdtex2html
+tiktoken
+Markdown
+pymupdf
+openai
numpy
\ No newline at end of file
From 2df4742815f2076abe16134752cd4798847fc128 Mon Sep 17 00:00:00 2001
From: Your Name
Date: Fri, 7 Apr 2023 18:14:27 +0800
Subject: [PATCH 148/154] =?UTF-8?q?=E4=BF=AE=E5=A4=8D=E5=85=AC=E5=BC=8F?=
=?UTF-8?q?=E6=98=BE=E7=A4=BA=E9=94=99=E8=AF=AF?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
toolbox.py | 49 ++++++++++++++++++++++++++++++++++++++++++++++---
1 file changed, 46 insertions(+), 3 deletions(-)
diff --git a/toolbox.py b/toolbox.py
index 0b1c85c..75cc847 100644
--- a/toolbox.py
+++ b/toolbox.py
@@ -6,7 +6,7 @@ import traceback
import importlib
import inspect
import re
-from show_math import convert as convert_math
+from latex2mathml.converter import convert as tex2mathml
from functools import wraps, lru_cache
@@ -203,8 +203,51 @@ def markdown_convertion(txt):
"""
pre = '
' + markdown.markdown(convert_math(txt, splitParagraphs=False), extensions=['fenced_code', 'tables']) + suf + markdown_extension_configs = { + 'mdx_math': { + 'enable_dollar_delimiter': True, + 'use_gitlab_delimiters': False, + }, + } + find_equation_pattern = r'\n', '') + return content + + if ('$' in txt) and ('```' not in txt): # 有$标识的公式符号，且没有代码段```的标识 # convert everything to html format split = markdown.markdown(text='---') convert_stage_1 = markdown.markdown(text=txt, extensions=['mdx_math', 'fenced_code', 'tables', 'sane_lists'], extension_configs=markdown_extension_configs) + convert_stage_1 = markdown_bug_hunt(convert_stage_1) # re.DOTALL: Make the '.' special character match any character at all, including a newline; without this flag, '.' will match anything except a newline. Corresponds to the inline flag (?s). # 1. convert to easy-to-copy tex (do not render math) convert_stage_2_1, n = re.subn(find_equation_pattern, replace_math_no_render, convert_stage_1, flags=re.DOTALL)
','.....').replace('$','.')+"`... ]" + observe_win.append(print_something_really_funny) + stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip(worker_done, observe_win)]) + chatbot[-1] = [chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt%10+1))]; msg = "正常" + yield chatbot, history, msg + + # Wait for tasks to complete + results = [future.result() for future in futures] + + print(results) + # full_result += gpt_say + + # history.extend([fp, full_result]) + + res = write_results_to_file(history) + chatbot.append(("完成了吗？", res)); msg = "完成" + yield chatbot, history, msg + + +# if __name__ == '__main__': +# pro() diff --git a/crazy_functions/高级功能函数模板.py b/crazy_functions/高级功能函数模板.py index d3fdde0..69fd379 100644 --- a/crazy_functions/高级功能函数模板.py +++ b/crazy_functions/高级功能函数模板.py @@ -14,12 +14,13 @@ def 高阶功能模板函数(txt, top_p, temperature, chatbot, history, systemPr i_say = f'历史中哪些事件发生在{currentMonth}月{currentDay}日？列举两条并发送相关图片。发送图片时，请使用Markdown，将Unsplash API中的PUT_YOUR_QUERY_HERE替换成描述该事件的一个最重要的单词。' chatbot.append((i_say, "[Local Message] waiting gpt response.")) yield chatbot, history, '正常' # 由于请求gpt需要一段时间，我们先及时地做一次状态显示 - - # history = [] 每次询问不携带之前的询问历史 - gpt_say = predict_no_ui_long_connection( - inputs=i_say, top_p=top_p, temperature=temperature, history=[], - sys_prompt="当你想发送一张照片时，请使用Markdown, 并且不要有反斜线, 不要用代码块。使用 Unsplash API (https://source.unsplash.com/1280x720/? < PUT_YOUR_QUERY_HERE >)。") # 请求gpt，需要一段时间 - + try: + # history = [] 每次询问不携带之前的询问历史 + gpt_say = predict_no_ui_long_connection( + inputs=i_say, top_p=top_p, temperature=temperature, history=[], + sys_prompt="当你想发送一张照片时，请使用Markdown, 并且不要有反斜线, 不要用代码块。使用 Unsplash API (https://source.unsplash.com/1280x720/? < PUT_YOUR_QUERY_HERE >)。") # 请求gpt，需要一段时间 + except: + print("") chatbot[-1] = (i_say, gpt_say) history.append(i_say);history.append(gpt_say) yield chatbot, history, '正常' # 显示 \ No newline at end of file diff --git a/main.py b/main.py index ae80050..67ee00a 100644 --- a/main.py +++ b/main.py @@ -23,12 +23,12 @@ except:logging.basicConfig(filename="gpt_log/chat_secrets.log", level=logging.IN print("所有问询记录将自动保存在本地目录./gpt_log/chat_secrets.log, 请注意自我隐私保护哦！") # 一些普通功能模块 -from functional import get_functionals -functional = get_functionals() +from core_functional import get_core_functions +functional = get_core_functions() # 高级函数插件 -from functional_crazy import get_crazy_functionals -crazy_fns = get_crazy_functionals() +from crazy_functional import get_crazy_functions +crazy_fns = get_crazy_functions() # 处理markdown文本格式的转变 gr.Chatbot.postprocess = format_io diff --git a/request_llm/bridge_chatgpt.py b/request_llm/bridge_chatgpt.py index 2a1ef4d..237db04 100644 --- a/request_llm/bridge_chatgpt.py +++ b/request_llm/bridge_chatgpt.py @@ -12,6 +12,7 @@ """ import json +import time import gradio as gr import logging import traceback @@ -73,11 +74,20 @@ def predict_no_ui(inputs, top_p, temperature, history=[], sys_prompt=""): def predict_no_ui_long_connection(inputs, top_p, temperature, history=[], sys_prompt="", observe_window=None): """ - 发送至chatGPT，等待回复，一次性完成，不显示中间过程。但内部用stream的方法避免有人中途掐网线。 - observe_window：用于负责跨越线程传递已经输出的部分，大部分时候仅仅为了fancy的视觉效果，留空即可 + 发送至chatGPT，等待回复，一次性完成，不显示中间过程。但内部用stream的方法避免中途网线被掐。 + inputs： + 是本次问询的输入 + sys_prompt: + 系统静默prompt + top_p, temperature： + chatGPT的内部调优参数 + history： + 是之前的对话列表 + observe_window = None： + 用于负责跨越线程传递已经输出的部分，大部分时候仅仅为了fancy的视觉效果，留空即可。observe_window[0]：观测窗。observe_window[1]：看门狗 """ + watch_dog_patience = 5 # 看门狗的耐心, 设置5秒即可 headers, payload = generate_payload(inputs, top_p, temperature, history, system_prompt=sys_prompt, stream=True) - retry = 0 while True: try: @@ -109,10 +119,16 @@ def predict_no_ui_long_connection(inputs, top_p, temperature, history=[], sys_pr if "content" in delta: result += delta["content"] print(delta["content"], end='') - if observe_window is not None: observe_window[0] += delta["content"] + if observe_window is not None: + # 观测窗，把已经获取的数据显示出去 + if len(observe_window) >= 1: observe_window[0] += delta["content"] + # 看门狗，如果超过期限没有喂狗，则终止 + if len(observe_window) >= 2: + if (time.time()-observe_window[1]) > watch_dog_patience: + raise RuntimeError("程序终止。") else: raise RuntimeError("意外Json结构："+delta) if json_data['finish_reason'] == 'length': - raise ConnectionAbortedError("正常结束，但显示Token不足。") + raise ConnectionAbortedError("正常结束，但显示Token不足，导致输出不完整，请削减单次输入的文本量。") return result @@ -128,11 +144,11 @@ def predict(inputs, top_p, temperature, chatbot=[], history=[], system_prompt='' additional_fn代表点击的哪个按钮，按钮见functional.py """ if additional_fn is not None: - import functional - importlib.reload(functional) # 热更新prompt - functional = functional.get_functionals() - if "PreProcess" in functional[additional_fn]: inputs = functional[additional_fn]["PreProcess"](inputs) # 获取预处理函数（如果有的话） - inputs = functional[additional_fn]["Prefix"] + inputs + functional[additional_fn]["Suffix"] + import core_functional + importlib.reload(core_functional) # 热更新prompt + core_functional = core_functional.get_functions() + if "PreProcess" in core_functional[additional_fn]: inputs = core_functional[additional_fn]["PreProcess"](inputs) # 获取预处理函数（如果有的话） + inputs = core_functional[additional_fn]["Prefix"] + inputs + core_functional[additional_fn]["Suffix"] if stream: raw_input = inputs @@ -189,10 +205,10 @@ def predict(inputs, top_p, temperature, chatbot=[], history=[], system_prompt='' chunk = get_full_error(chunk, stream_response) error_msg = chunk.decode() if "reduce the length" in error_msg: - chatbot[-1] = (chatbot[-1][0], "[Local Message] Input (or history) is too long, please reduce input or clear history by refreshing this page.") + chatbot[-1] = (chatbot[-1][0], "[Local Message] Reduce the length. 本次输入过长，或历史数据过长. 历史缓存数据现已释放，您可以请再次尝试.") history = [] # 清除历史 elif "Incorrect API key" in error_msg: - chatbot[-1] = (chatbot[-1][0], "[Local Message] Incorrect API key provided.") + chatbot[-1] = (chatbot[-1][0], "[Local Message] Incorrect API key. OpenAI以提供了不正确的API_KEY为由，拒绝服务.") elif "exceeded your current quota" in error_msg: chatbot[-1] = (chatbot[-1][0], "[Local Message] You exceeded your current quota. OpenAI以账户额度不足为由，拒绝服务.") else: diff --git a/request_llm/bridge_tgui.py b/request_llm/bridge_tgui.py index d7cbe10..15f60b7 100644 --- a/request_llm/bridge_tgui.py +++ b/request_llm/bridge_tgui.py @@ -101,11 +101,11 @@ def predict_tgui(inputs, top_p, temperature, chatbot=[], history=[], system_prom additional_fn代表点击的哪个按钮，按钮见functional.py """ if additional_fn is not None: - import functional - importlib.reload(functional) # 热更新prompt - functional = functional.get_functionals() - if "PreProcess" in functional[additional_fn]: inputs = functional[additional_fn]["PreProcess"](inputs) # 获取预处理函数（如果有的话） - inputs = functional[additional_fn]["Prefix"] + inputs + functional[additional_fn]["Suffix"] + import core_functional + importlib.reload(core_functional) # 热更新prompt + core_functional = core_functional.get_functions() + if "PreProcess" in core_functional[additional_fn]: inputs = core_functional[additional_fn]["PreProcess"](inputs) # 获取预处理函数（如果有的话） + inputs = core_functional[additional_fn]["Prefix"] + inputs + core_functional[additional_fn]["Suffix"] raw_input = "What I would like to say is the following: " + inputs logging.info(f'[raw_input] {raw_input}') diff --git a/requirements.txt b/requirements.txt index bdafbe3..8034392 100644 --- a/requirements.txt +++ b/requirements.txt @@ -5,3 +5,4 @@ Markdown latex2mathml openai transformers +numpy \ No newline at end of file From 85d85d850a25bb3c380e33ab278fcc1ce7e4b99c Mon Sep 17 00:00:00 2001 From: Your Name
','.....').replace('$','.')+"`... ]" + observe_win.append(print_something_really_funny) + stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip(worker_done, observe_win)]) + chatbot[-1] = [chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt%10+1))]; msg = "正常" + yield chatbot, [], msg + # 异步任务结束 + gpt_response_collection = [] + for inputs_show_user, f in zip(inputs_show_user_array, futures): + gpt_res = f.result() + gpt_response_collection.extend([inputs_show_user, gpt_res]) + return gpt_response_collection + +def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, sys_prompt): import time import glob import os import fitz import tiktoken - from concurrent.futures import ThreadPoolExecutor - print('begin analysis on:', file_manifest) + TOKEN_LIMIT_PER_FRAGMENT = 1600 + for index, fp in enumerate(file_manifest): - ### 1. 读取PDF文件 - file_content = read_and_clean_pdf_text(fp) - ### 2. 递归地切割PDF文件 + # 读取PDF文件 + file_content, page_one = read_and_clean_pdf_text(fp) + # 递归地切割PDF文件 from .crazy_utils import breakdown_txt_to_satisfy_token_limit_for_pdf enc = tiktoken.get_encoding("gpt2") - TOKEN_LIMIT_PER_FRAGMENT = 2048 get_token_num = lambda txt: len(enc.encode(txt)) - # 分解 - paper_fragments = breakdown_txt_to_satisfy_token_limit_for_pdf( - txt=file_content, get_token_fn=get_token_num, limit=TOKEN_LIMIT_PER_FRAGMENT) - print([get_token_num(frag) for frag in paper_fragments]) - ### 3. 逐个段落翻译 - ## 3.1. 多线程开始 - from request_llm.bridge_chatgpt import predict_no_ui_long_connection - n_frag = len(paper_fragments) - # 异步原子 - mutable = [["", time.time()] for _ in range(n_frag)] - # 翻译函数 - def translate_(index, fragment, mutable): - i_say = f"以下是你需要翻译的文章段落：{fragment}" - # 请求gpt，需要一段时间 - gpt_say = predict_no_ui_long_connection( - inputs=i_say, top_p=top_p, temperature=temperature, history=[], # ["请翻译：" if len(previous_result)!=0 else "", previous_result], - sys_prompt="请你作为一个学术翻译，负责将给定的文章段落翻译成中文，要求语言简洁、精准、凝练。你只需要给出翻译后的文本，不能重复原文。", - observe_window=mutable[index]) - return gpt_say - ### 4. 异步任务开始 - executor = ThreadPoolExecutor(max_workers=16) - # Submit tasks to the pool - futures = [executor.submit(translate_, index, frag, mutable) for index, frag in enumerate(paper_fragments)] - - ### 5. UI主线程，在任务期间提供实时的前端显示 - cnt = 0 - while True: - cnt += 1 - time.sleep(1) - worker_done = [h.done() for h in futures] - if all(worker_done): - executor.shutdown(); break - # 更好的UI视觉效果 - observe_win = [] - # 每个线程都要喂狗（看门狗） - for thread_index, _ in enumerate(worker_done): - mutable[thread_index][1] = time.time() - # 在前端打印些好玩的东西 - for thread_index, _ in enumerate(worker_done): - print_something_really_funny = "[ ...`"+mutable[thread_index][0][-30:].replace('\n','').replace('```','...').replace(' ','.').replace('
','.....').replace('$','.')+"`... ]" - observe_win.append(print_something_really_funny) - stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip(worker_done, observe_win)]) - chatbot[-1] = [chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt%10+1))]; msg = "正常" - yield chatbot, history, msg + # 分解文本 + paper_fragments = breakdown_txt_to_satisfy_token_limit_for_pdf( + txt=file_content, get_token_fn=get_token_num, limit=TOKEN_LIMIT_PER_FRAGMENT) + page_one_fragments = breakdown_txt_to_satisfy_token_limit_for_pdf( + txt=str(page_one), get_token_fn=get_token_num, limit=TOKEN_LIMIT_PER_FRAGMENT//4) + # 为了更好的效果，我们剥离Introduction之后的部分 + paper_meta = page_one_fragments[0].split('introduction')[0].split('Introduction')[0].split('INTRODUCTION')[0] + # 单线，获取文章meta信息 + paper_meta_info = yield from request_gpt_model_in_new_thread_with_ui_alive( + inputs=f"以下是一篇学术论文的基础信息，请从中提取出“标题”、“收录会议或期刊”、“作者”、“摘要”、“编号”、“作者邮箱”这六个部分。请用markdown格式输出，最后用中文翻译摘要部分。请提取：{paper_meta}", + inputs_show_user=f"请从{fp}中提取出“标题”、“收录会议或期刊”等基本信息。", + top_p=top_p, temperature=temperature, + chatbot=chatbot, history=[], + sys_prompt="Your job is to collect information from materials。", + ) + # 多线，翻译 + gpt_response_collection = yield from request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency( + inputs_array = [f"以下是你需要翻译的文章段落：\n{frag}" for frag in paper_fragments], + inputs_show_user_array = [f"" for _ in paper_fragments], + top_p=top_p, temperature=temperature, + chatbot=chatbot, + history_array=[[paper_meta] for _ in paper_fragments], + sys_prompt_array=["请你作为一个学术翻译，把整个段落翻译成中文，要求语言简洁，禁止重复输出原文。" for _ in paper_fragments], + max_workers=16 # OpenAI所允许的最大并行过载 + ) - # Wait for tasks to complete - results = [future.result() for future in futures] + final = ["", paper_meta_info + '\n\n---\n\n---\n\n---\n\n'].extend(gpt_response_collection) + res = write_results_to_file(final) + chatbot.append((f"{fp}完成了吗？", res)); msg = "完成" + yield chatbot, history, msg - print(results) - # full_result += gpt_say - - # history.extend([fp, full_result]) - - res = write_results_to_file(history) - chatbot.append(("完成了吗？", res)); msg = "完成" - yield chatbot, history, msg - - -# if __name__ == '__main__': -# pro() diff --git a/crazy_functions/高级功能函数模板.py b/crazy_functions/高级功能函数模板.py index 69fd379..95e8240 100644 --- a/crazy_functions/高级功能函数模板.py +++ b/crazy_functions/高级功能函数模板.py @@ -5,7 +5,7 @@ import datetime @CatchException def 高阶功能模板函数(txt, top_p, temperature, chatbot, history, systemPromptTxt, WEB_PORT): history = [] # 清空历史，以免输入溢出 - chatbot.append(("这是什么功能？", "[Local Message] 请注意，您正在调用一个[函数插件]的模板，该函数面向希望实现更多有趣功能的开发者，它可以作为创建新功能函数的模板。为了做到简单易读，该函数只有25行代码，所以不会实时反馈文字流或心跳，请耐心等待程序输出完成。此外我们也提供可同步处理大量文件的多线程Demo供您参考。您若希望分享新的功能模组，请不吝PR！")) + chatbot.append(("这是什么功能？", "[Local Message] 请注意，您正在调用一个[函数插件]的模板，该函数面向希望实现更多有趣功能的开发者，它可以作为创建新功能函数的模板(该函数只有25行代码)。此外我们也提供可同步处理大量文件的多线程Demo供您参考。您若希望分享新的功能模组，请不吝PR！")) yield chatbot, history, '正常' # 由于请求gpt需要一段时间，我们先及时地做一次状态显示 for i in range(5): From d32a52c8e992ac72a536843eaabd66e458278f73 Mon Sep 17 00:00:00 2001 From: Your Name
','.....').replace('$','.')+"`... ]" + observe_win.append(print_something_really_funny) + stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip(worker_done, observe_win)]) + chatbot[-1] = [chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt%10+1))]; msg = "正常" + yield chatbot, [], msg + # 异步任务结束 + gpt_response_collection = [] + for inputs_show_user, f in zip(inputs_show_user_array, futures): + gpt_res = f.result() + gpt_response_collection.extend([inputs_show_user, gpt_res]) + return gpt_response_collection + + + + def breakdown_txt_to_satisfy_token_limit(txt, get_token_fn, limit): def cut(txt_tocut, must_break_at_empty_line): # 递归 if get_token_fn(txt_tocut) <= limit: diff --git a/crazy_functions/批量翻译PDF文档_多线程.py b/crazy_functions/批量翻译PDF文档_多线程.py index ff42e72..e13b072 100644 --- a/crazy_functions/批量翻译PDF文档_多线程.py +++ b/crazy_functions/批量翻译PDF文档_多线程.py @@ -1,66 +1,25 @@ -from toolbox import CatchException, report_execption, write_results_to_file, predict_no_ui_but_counting_down -import re -import unicodedata - - -def is_paragraph_break(match): - """ - 根据给定的匹配结果来判断换行符是否表示段落分隔。 - 如果换行符前为句子结束标志（句号，感叹号，问号），且下一个字符为大写字母，则换行符更有可能表示段落分隔。 - 也可以根据之前的内容长度来判断段落是否已经足够长。 - """ - prev_char, next_char = match.groups() - - # 句子结束标志 - sentence_endings = ".!?" - - # 设定一个最小段落长度阈值 - min_paragraph_length = 140 - - if prev_char in sentence_endings and next_char.isupper() and len(match.string[:match.start(1)]) > min_paragraph_length: - return "\n\n" - else: - return " " - - -def normalize_text(text): - """ - 通过把连字（ligatures）等文本特殊符号转换为其基本形式来对文本进行归一化处理。 - 例如，将连字 "fi" 转换为 "f" 和 "i"。 - """ - # 对文本进行归一化处理，分解连字 - normalized_text = unicodedata.normalize("NFKD", text) - - # 替换其他特殊字符 - cleaned_text = re.sub(r'[^\x00-\x7F]+', '', normalized_text) - - return cleaned_text - - -def clean_text(raw_text): - """ - 对从 PDF 提取出的原始文本进行清洗和格式化处理。 - 1. 对原始文本进行归一化处理。 - 2. 替换跨行的连词，例如 “Espe-\ncially” 转换为 “Especially”。 - 3. 根据 heuristic 规则判断换行符是否是段落分隔，并相应地进行替换。 - """ - # 对文本进行归一化处理 - normalized_text = normalize_text(raw_text) - - # 替换跨行的连词 - text = re.sub(r'(\w+-\n\w+)', - lambda m: m.group(1).replace('-\n', ''), normalized_text) - - # 根据前后相邻字符的特点，找到原文本中的换行符 - newlines = re.compile(r'(\S)\n(\S)') - - # 根据 heuristic 规则，用空格或段落分隔符替换原换行符 - final_text = re.sub(newlines, lambda m: m.group( - 1) + is_paragraph_break(m) + m.group(2), text) - - return final_text.strip() +from toolbox import CatchException, report_execption, write_results_to_file +from .crazy_utils import request_gpt_model_in_new_thread_with_ui_alive +from .crazy_utils import request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency def read_and_clean_pdf_text(fp): + """ + **输入参数说明** + - `fp`：需要读取和清理文本的pdf文件路径 + + **输出参数说明** + - `meta_txt`：清理后的文本内容字符串 + - `page_one_meta`：第一页清理后的文本内容列表 + + **函数功能** + 读取pdf文件并清理其中的文本内容，清理规则包括： + - 提取所有块元的文本信息，并合并为一个字符串 + - 去除短块（字符数小于100）并替换为回车符 + - 清理多余的空行 + - 合并小写字母开头的段落块并替换为空格 + - 清除重复的换行 + - 将每个换行符替换为两个换行符，使每个段落之间有两个换行符分隔 + """ import fitz, re import numpy as np # file_content = "" @@ -170,69 +129,7 @@ def 批量翻译PDF文档(txt, top_p, temperature, chatbot, history, sys_prompt, yield from 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, sys_prompt) -def request_gpt_model_in_new_thread_with_ui_alive(inputs, inputs_show_user, top_p, temperature, chatbot, history, sys_prompt, refresh_interval=0.2): - import time - from concurrent.futures import ThreadPoolExecutor - from request_llm.bridge_chatgpt import predict_no_ui_long_connection - # 用户反馈 - chatbot.append([inputs_show_user, ""]); msg = '正常' - yield chatbot, [], msg - executor = ThreadPoolExecutor(max_workers=16) - mutable = ["", time.time()] - future = executor.submit(lambda: - predict_no_ui_long_connection(inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable) - ) - while True: - # yield一次以刷新前端页面 - time.sleep(refresh_interval) - # “喂狗”（看门狗） - mutable[1] = time.time() - if future.done(): break - chatbot[-1] = [chatbot[-1][0], mutable[0]]; msg = "正常" - yield chatbot, [], msg - return future.result() -def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(inputs_array, inputs_show_user_array, top_p, temperature, chatbot, history_array, sys_prompt_array, refresh_interval=0.2, max_workers=10, scroller_max_len=30): - import time - from concurrent.futures import ThreadPoolExecutor - from request_llm.bridge_chatgpt import predict_no_ui_long_connection - assert len(inputs_array) == len(history_array) - assert len(inputs_array) == len(sys_prompt_array) - executor = ThreadPoolExecutor(max_workers=max_workers) - n_frag = len(inputs_array) - # 异步原子 - mutable = [["", time.time()] for _ in range(n_frag)] - def _req_gpt(index, inputs, history, sys_prompt): - gpt_say = predict_no_ui_long_connection( - inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable[index] - ) - return gpt_say - # 异步任务开始 - futures = [executor.submit(_req_gpt, index, inputs, history, sys_prompt) for index, inputs, history, sys_prompt in zip(range(len(inputs_array)), inputs_array, history_array, sys_prompt_array)] - cnt = 0 - while True: - # yield一次以刷新前端页面 - time.sleep(refresh_interval); cnt += 1 - worker_done = [h.done() for h in futures] - if all(worker_done): executor.shutdown(); break - # 更好的UI视觉效果 - observe_win = [] - # 每个线程都要“喂狗”（看门狗） - for thread_index, _ in enumerate(worker_done): mutable[thread_index][1] = time.time() - # 在前端打印些好玩的东西 - for thread_index, _ in enumerate(worker_done): - print_something_really_funny = "[ ...`"+mutable[thread_index][0][-scroller_max_len:].\ - replace('\n','').replace('```','...').replace(' ','.').replace('
','.....').replace('$','.')+"`... ]" - observe_win.append(print_something_really_funny) - stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip(worker_done, observe_win)]) - chatbot[-1] = [chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt%10+1))]; msg = "正常" - yield chatbot, [], msg - # 异步任务结束 - gpt_response_collection = [] - for inputs_show_user, f in zip(inputs_show_user_array, futures): - gpt_res = f.result() - gpt_response_collection.extend([inputs_show_user, gpt_res]) - return gpt_response_collection def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, sys_prompt): import time @@ -241,7 +138,7 @@ def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, histor import fitz import tiktoken TOKEN_LIMIT_PER_FRAGMENT = 1600 - + generated_conclusion_files = [] for index, fp in enumerate(file_manifest): # 读取PDF文件 file_content, page_one = read_and_clean_pdf_text(fp) @@ -277,7 +174,19 @@ def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, histor final = ["", paper_meta_info + '\n\n---\n\n---\n\n---\n\n'] final.extend(gpt_response_collection) - res = write_results_to_file(final) + create_report_file_name = f"{os.path.basename(fp)}.trans.md" + res = write_results_to_file(final, file_name=create_report_file_name) + generated_conclusion_files.append(f'./gpt_log/{create_report_file_name}') chatbot.append((f"{fp}完成了吗？", res)); msg = "完成" yield chatbot, history, msg + # 准备文件的下载 + import shutil + for pdf_path in generated_conclusion_files: + # 重命名文件 + rename_file = f'./gpt_log/总结论文-{os.path.basename(pdf_path)}' + if os.path.exists(rename_file): os.remove(rename_file) + shutil.copyfile(pdf_path, rename_file); + if os.path.exists(pdf_path): os.remove(pdf_path) + chatbot.append(("给出输出文件清单", str(generated_conclusion_files))) + yield chatbot, history, msg \ No newline at end of file From 0b3f7b8821e8b648af25e1584cd7302d23aacb9a Mon Sep 17 00:00:00 2001 From: qingxu fu <505030475@qq.com> Date: Thu, 6 Apr 2023 18:15:11 +0800 Subject: [PATCH 138/154] format file --- crazy_functions/crazy_utils.py | 77 ++++++++++++++--------- crazy_functions/批量翻译PDF文档_多线程.py | 69 +++++++++++--------- 2 files changed, 86 insertions(+), 60 deletions(-) diff --git a/crazy_functions/crazy_utils.py b/crazy_functions/crazy_utils.py index a455cff..bdd6e2b 100644 --- a/crazy_functions/crazy_utils.py +++ b/crazy_functions/crazy_utils.py @@ -1,31 +1,32 @@ - def request_gpt_model_in_new_thread_with_ui_alive(inputs, inputs_show_user, top_p, temperature, chatbot, history, sys_prompt, refresh_interval=0.2): import time from concurrent.futures import ThreadPoolExecutor from request_llm.bridge_chatgpt import predict_no_ui_long_connection # 用户反馈 - chatbot.append([inputs_show_user, ""]); msg = '正常' + chatbot.append([inputs_show_user, ""]) + msg = '正常' yield chatbot, [], msg executor = ThreadPoolExecutor(max_workers=16) mutable = ["", time.time()] future = executor.submit(lambda: - predict_no_ui_long_connection(inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable) - ) + predict_no_ui_long_connection( + inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable) + ) while True: # yield一次以刷新前端页面 time.sleep(refresh_interval) # “喂狗”（看门狗） mutable[1] = time.time() - if future.done(): break - chatbot[-1] = [chatbot[-1][0], mutable[0]]; msg = "正常" + if future.done(): + break + chatbot[-1] = [chatbot[-1][0], mutable[0]] + msg = "正常" yield chatbot, [], msg return future.result() - - def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(inputs_array, inputs_show_user_array, top_p, temperature, chatbot, history_array, sys_prompt_array, refresh_interval=0.2, max_workers=10, scroller_max_len=30): import time from concurrent.futures import ThreadPoolExecutor @@ -35,34 +36,46 @@ def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(inp executor = ThreadPoolExecutor(max_workers=max_workers) n_frag = len(inputs_array) # 用户反馈 - chatbot.append(["请开始多线程操作。", ""]); msg = '正常' + chatbot.append(["请开始多线程操作。", ""]) + msg = '正常' yield chatbot, [], msg # 异步原子 mutable = [["", time.time()] for _ in range(n_frag)] + def _req_gpt(index, inputs, history, sys_prompt): gpt_say = predict_no_ui_long_connection( - inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable[index] + inputs=inputs, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt, observe_window=mutable[ + index] ) return gpt_say # 异步任务开始 - futures = [executor.submit(_req_gpt, index, inputs, history, sys_prompt) for index, inputs, history, sys_prompt in zip(range(len(inputs_array)), inputs_array, history_array, sys_prompt_array)] + futures = [executor.submit(_req_gpt, index, inputs, history, sys_prompt) for index, inputs, history, sys_prompt in zip( + range(len(inputs_array)), inputs_array, history_array, sys_prompt_array)] cnt = 0 while True: # yield一次以刷新前端页面 - time.sleep(refresh_interval); cnt += 1 + time.sleep(refresh_interval) + cnt += 1 worker_done = [h.done() for h in futures] - if all(worker_done): executor.shutdown(); break + if all(worker_done): + executor.shutdown() + break # 更好的UI视觉效果 observe_win = [] # 每个线程都要“喂狗”（看门狗） - for thread_index, _ in enumerate(worker_done): mutable[thread_index][1] = time.time() + for thread_index, _ in enumerate(worker_done): + mutable[thread_index][1] = time.time() # 在前端打印些好玩的东西 - for thread_index, _ in enumerate(worker_done): + for thread_index, _ in enumerate(worker_done): print_something_really_funny = "[ ...`"+mutable[thread_index][0][-scroller_max_len:].\ - replace('\n','').replace('```','...').replace(' ','.').replace('
','.....').replace('$','.')+"`... ]" + replace('\n', '').replace('```', '...').replace( + ' ', '.').replace('
', '.....').replace('$', '.')+"`... ]" observe_win.append(print_something_really_funny) - stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip(worker_done, observe_win)]) - chatbot[-1] = [chatbot[-1][0], f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt%10+1))]; msg = "正常" + stat_str = ''.join([f'执行中: {obs}\n\n' if not done else '已完成\n\n' for done, obs in zip( + worker_done, observe_win)]) + chatbot[-1] = [chatbot[-1][0], + f'多线程操作已经开始，完成情况: \n\n{stat_str}' + ''.join(['.']*(cnt % 10+1))] + msg = "正常" yield chatbot, [], msg # 异步任务结束 gpt_response_collection = [] @@ -72,23 +85,23 @@ def request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency(inp return gpt_response_collection - - def breakdown_txt_to_satisfy_token_limit(txt, get_token_fn, limit): - def cut(txt_tocut, must_break_at_empty_line): # 递归 + def cut(txt_tocut, must_break_at_empty_line): # 递归 if get_token_fn(txt_tocut) <= limit: return [txt_tocut] else: lines = txt_tocut.split('\n') - estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines) + estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines) estimated_line_cut = int(estimated_line_cut) for cnt in reversed(range(estimated_line_cut)): - if must_break_at_empty_line: - if lines[cnt] != "": continue + if must_break_at_empty_line: + if lines[cnt] != "": + continue print(cnt) prev = "\n".join(lines[:cnt]) post = "\n".join(lines[cnt:]) - if get_token_fn(prev) < limit: break + if get_token_fn(prev) < limit: + break if cnt == 0: print('what the fuck ?') raise RuntimeError("存在一行极长的文本！") @@ -102,22 +115,25 @@ def breakdown_txt_to_satisfy_token_limit(txt, get_token_fn, limit): except RuntimeError: return cut(txt, must_break_at_empty_line=False) + def breakdown_txt_to_satisfy_token_limit_for_pdf(txt, get_token_fn, limit): - def cut(txt_tocut, must_break_at_empty_line): # 递归 + def cut(txt_tocut, must_break_at_empty_line): # 递归 if get_token_fn(txt_tocut) <= limit: return [txt_tocut] else: lines = txt_tocut.split('\n') - estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines) + estimated_line_cut = limit / get_token_fn(txt_tocut) * len(lines) estimated_line_cut = int(estimated_line_cut) cnt = 0 for cnt in reversed(range(estimated_line_cut)): - if must_break_at_empty_line: - if lines[cnt] != "": continue + if must_break_at_empty_line: + if lines[cnt] != "": + continue print(cnt) prev = "\n".join(lines[:cnt]) post = "\n".join(lines[cnt:]) - if get_token_fn(prev) < limit: break + if get_token_fn(prev) < limit: + break if cnt == 0: # print('what the fuck ? 存在一行极长的文本！') raise RuntimeError("存在一行极长的文本！") @@ -135,4 +151,3 @@ def breakdown_txt_to_satisfy_token_limit_for_pdf(txt, get_token_fn, limit): # 这个中文的句号是故意的，作为一个标识而存在 res = cut(txt.replace('.', '。\n'), must_break_at_empty_line=False) return [r.replace('。\n', '.') for r in res] - diff --git a/crazy_functions/批量翻译PDF文档_多线程.py b/crazy_functions/批量翻译PDF文档_多线程.py index e13b072..348ebb9 100644 --- a/crazy_functions/批量翻译PDF文档_多线程.py +++ b/crazy_functions/批量翻译PDF文档_多线程.py @@ -2,6 +2,7 @@ from toolbox import CatchException, report_execption, write_results_to_file from .crazy_utils import request_gpt_model_in_new_thread_with_ui_alive from .crazy_utils import request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency + def read_and_clean_pdf_text(fp): """ **输入参数说明** @@ -20,7 +21,8 @@ def read_and_clean_pdf_text(fp): - 清除重复的换行 - 将每个换行符替换为两个换行符，使每个段落之间有两个换行符分隔 """ - import fitz, re + import fitz + import re import numpy as np # file_content = "" with fitz.open(fp) as doc: @@ -31,10 +33,13 @@ def read_and_clean_pdf_text(fp): text_areas = page.get_text("dict") # 获取页面上的文本信息 # 块元提取 for each word segment with in line for each line cross-line words for each block - meta_txt.extend( [ " ".join(["".join( [wtf['text'] for wtf in l['spans'] ]) for l in t['lines'] ]).replace('- ','') for t in text_areas['blocks'] if 'lines' in t]) - meta_font.extend([ np.mean( [ np.mean([wtf['size'] for wtf in l['spans'] ]) for l in t['lines'] ]) for t in text_areas['blocks'] if 'lines' in t]) - if index==0: - page_one_meta = [" ".join(["".join( [wtf['text'] for wtf in l['spans'] ]) for l in t['lines'] ]).replace('- ','') for t in text_areas['blocks'] if 'lines' in t] + meta_txt.extend([" ".join(["".join([wtf['text'] for wtf in l['spans']]) for l in t['lines']]).replace( + '- ', '') for t in text_areas['blocks'] if 'lines' in t]) + meta_font.extend([np.mean([np.mean([wtf['size'] for wtf in l['spans']]) + for l in t['lines']]) for t in text_areas['blocks'] if 'lines' in t]) + if index == 0: + page_one_meta = [" ".join(["".join([wtf['text'] for wtf in l['spans']]) for l in t['lines']]).replace( + '- ', '') for t in text_areas['blocks'] if 'lines' in t] def 把字符太少的块清除为回车(meta_txt): for index, block_txt in enumerate(meta_txt): @@ -61,8 +66,10 @@ def read_and_clean_pdf_text(fp): for _ in range(100): for index, block_txt in enumerate(meta_txt): if starts_with_lowercase_word(block_txt): - if meta_txt[index-1]!='\n': meta_txt[index-1] += ' ' - else: meta_txt[index-1] = '' + if meta_txt[index-1] != '\n': + meta_txt[index-1] += ' ' + else: + meta_txt[index-1] = '' meta_txt[index-1] += meta_txt[index] meta_txt[index] = '\n' return meta_txt @@ -72,13 +79,14 @@ def read_and_clean_pdf_text(fp): meta_txt = '\n'.join(meta_txt) # 清除重复的换行 for _ in range(5): - meta_txt = meta_txt.replace('\n\n','\n') + meta_txt = meta_txt.replace('\n\n', '\n') # 换行 -> 双换行 meta_txt = meta_txt.replace('\n', '\n\n') return meta_txt, page_one_meta + @CatchException def 批量翻译PDF文档(txt, top_p, temperature, chatbot, history, sys_prompt, WEB_PORT): import glob @@ -92,7 +100,8 @@ def 批量翻译PDF文档(txt, top_p, temperature, chatbot, history, sys_prompt, # 尝试导入依赖，如果缺少依赖，则给出安装建议 try: - import fitz, tiktoken + import fitz + import tiktoken except: report_execption(chatbot, history, a=f"解析项目: {txt}", @@ -129,13 +138,8 @@ def 批量翻译PDF文档(txt, top_p, temperature, chatbot, history, sys_prompt, yield from 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, sys_prompt) - - def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, history, sys_prompt): - import time - import glob import os - import fitz import tiktoken TOKEN_LIMIT_PER_FRAGMENT = 1600 generated_conclusion_files = [] @@ -145,39 +149,44 @@ def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, histor # 递归地切割PDF文件 from .crazy_utils import breakdown_txt_to_satisfy_token_limit_for_pdf enc = tiktoken.get_encoding("gpt2") - get_token_num = lambda txt: len(enc.encode(txt)) + def get_token_num(txt): return len(enc.encode(txt)) # 分解文本 - paper_fragments = breakdown_txt_to_satisfy_token_limit_for_pdf( + paper_fragments = breakdown_txt_to_satisfy_token_limit_for_pdf( txt=file_content, get_token_fn=get_token_num, limit=TOKEN_LIMIT_PER_FRAGMENT) page_one_fragments = breakdown_txt_to_satisfy_token_limit_for_pdf( txt=str(page_one), get_token_fn=get_token_num, limit=TOKEN_LIMIT_PER_FRAGMENT//4) # 为了更好的效果，我们剥离Introduction之后的部分 - paper_meta = page_one_fragments[0].split('introduction')[0].split('Introduction')[0].split('INTRODUCTION')[0] + paper_meta = page_one_fragments[0].split('introduction')[0].split( + 'Introduction')[0].split('INTRODUCTION')[0] # 单线，获取文章meta信息 paper_meta_info = yield from request_gpt_model_in_new_thread_with_ui_alive( - inputs=f"以下是一篇学术论文的基础信息，请从中提取出“标题”、“收录会议或期刊”、“作者”、“摘要”、“编号”、“作者邮箱”这六个部分。请用markdown格式输出，最后用中文翻译摘要部分。请提取：{paper_meta}", - inputs_show_user=f"请从{fp}中提取出“标题”、“收录会议或期刊”等基本信息。", + inputs=f"以下是一篇学术论文的基础信息，请从中提取出“标题”、“收录会议或期刊”、“作者”、“摘要”、“编号”、“作者邮箱”这六个部分。请用markdown格式输出，最后用中文翻译摘要部分。请提取：{paper_meta}", + inputs_show_user=f"请从{fp}中提取出“标题”、“收录会议或期刊”等基本信息。", top_p=top_p, temperature=temperature, chatbot=chatbot, history=[], sys_prompt="Your job is to collect information from materials。", ) # 多线，翻译 gpt_response_collection = yield from request_gpt_model_multi_threads_with_very_awesome_ui_and_high_efficiency( - inputs_array = [f"以下是你需要翻译的文章段落：\n{frag}" for frag in paper_fragments], - inputs_show_user_array = [f"" for _ in paper_fragments], + inputs_array=[ + f"以下是你需要翻译的文章段落：\n{frag}" for frag in paper_fragments], + inputs_show_user_array=[f"" for _ in paper_fragments], top_p=top_p, temperature=temperature, chatbot=chatbot, history_array=[[paper_meta] for _ in paper_fragments], - sys_prompt_array=["请你作为一个学术翻译，把整个段落翻译成中文，要求语言简洁，禁止重复输出原文。" for _ in paper_fragments], - max_workers=16 # OpenAI所允许的最大并行过载 + sys_prompt_array=[ + "请你作为一个学术翻译，把整个段落翻译成中文，要求语言简洁，禁止重复输出原文。" for _ in paper_fragments], + max_workers=16 # OpenAI所允许的最大并行过载 ) final = ["", paper_meta_info + '\n\n---\n\n---\n\n---\n\n'] final.extend(gpt_response_collection) create_report_file_name = f"{os.path.basename(fp)}.trans.md" res = write_results_to_file(final, file_name=create_report_file_name) - generated_conclusion_files.append(f'./gpt_log/{create_report_file_name}') - chatbot.append((f"{fp}完成了吗？", res)); msg = "完成" + generated_conclusion_files.append( + f'./gpt_log/{create_report_file_name}') + chatbot.append((f"{fp}完成了吗？", res)) + msg = "完成" yield chatbot, history, msg # 准备文件的下载 @@ -185,8 +194,10 @@ def 解析PDF(file_manifest, project_folder, top_p, temperature, chatbot, histor for pdf_path in generated_conclusion_files: # 重命名文件 rename_file = f'./gpt_log/总结论文-{os.path.basename(pdf_path)}' - if os.path.exists(rename_file): os.remove(rename_file) - shutil.copyfile(pdf_path, rename_file); - if os.path.exists(pdf_path): os.remove(pdf_path) + if os.path.exists(rename_file): + os.remove(rename_file) + shutil.copyfile(pdf_path, rename_file) + if os.path.exists(pdf_path): + os.remove(pdf_path) chatbot.append(("给出输出文件清单", str(generated_conclusion_files))) - yield chatbot, history, msg \ No newline at end of file + yield chatbot, history, msg From 1055fdaab7a611d7b5ecf9f7685a9f9f4ee7db2b Mon Sep 17 00:00:00 2001 From: qingxu fu <505030475@qq.com> Date: Thu, 6 Apr 2023 18:26:46 +0800 Subject: [PATCH 139/154] =?UTF-8?q?=E5=B0=8F=E9=97=AE=E9=A2=98=E4=BF=AE?= =?UTF-8?q?=E5=A4=8D?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- toolbox.py | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/toolbox.py b/toolbox.py index 6678dec..6f89a30 100644 --- a/toolbox.py +++ b/toolbox.py @@ -279,7 +279,7 @@ def find_recent_files(directory): for filename in os.listdir(directory): file_path = os.path.join(directory, filename) if file_path.endswith('.log'): continue - created_time = os.path.getctime(file_path) + created_time = os.path.getmtime(file_path) if created_time >= one_minute_ago: if os.path.isdir(file_path): continue recent_files.append(file_path) From 0079733bfd31716ba7fdd14027006d9761113a4f Mon Sep 17 00:00:00 2001 From: qingxu fu <505030475@qq.com> Date: Thu, 6 Apr 2023 18:29:49 +0800 Subject: [PATCH 140/154] =?UTF-8?q?=E4=B8=BB=E8=A6=81=E4=BB=A3=E7=A0=81?= =?UTF-8?q?=E8=A7=84=E6=95=B4=E5=8C=96?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- check_proxy.py | 18 +++--- config.py | 11 ++-- core_functional.py | 5 +- crazy_functional.py | 10 ++- theme.py | 24 ++++--- toolbox.py | 149 ++++++++++++++++++++++++++++++-------------- 6 files changed, 140 insertions(+), 77 deletions(-) diff --git a/check_proxy.py b/check_proxy.py index abc75d0..95a439e 100644 --- a/check_proxy.py +++ b/check_proxy.py @@ -3,7 +3,8 @@ def check_proxy(proxies): import requests proxies_https = proxies['https'] if proxies is not None else '无' try: - response = requests.get("https://ipapi.co/json/", proxies=proxies, timeout=4) + response = requests.get("https://ipapi.co/json/", + proxies=proxies, timeout=4) data = response.json() print(f'查询代理的地理位置，返回的结果是{data}') if 'country_name' in data: @@ -21,9 +22,11 @@ def check_proxy(proxies): def auto_update(): from toolbox import get_conf - import requests, time, json + import requests + import time + import json proxies, = get_conf('proxies') - response = requests.get("https://raw.githubusercontent.com/binary-husky/chatgpt_academic/master/version", + response = requests.get("https://raw.githubusercontent.com/binary-husky/chatgpt_academic/master/version", proxies=proxies, timeout=1) remote_json_data = json.loads(response.text) remote_version = remote_json_data['version'] @@ -31,11 +34,12 @@ def auto_update(): new_feature = "新功能：" + remote_json_data["new_feature"] else: new_feature = "" - with open('./version', 'r', encoding='utf8') as f: + with open('./version', 'r', encoding='utf8') as f: current_version = f.read() current_version = json.loads(current_version)['version'] if (remote_version - current_version) >= 0.05: - print(f'\n新版本可用。新版本:{remote_version}，当前版本:{current_version}。{new_feature}') + print( + f'\n新版本可用。新版本:{remote_version}，当前版本:{current_version}。{new_feature}') print('Github更新地址:\nhttps://github.com/binary-husky/chatgpt_academic\n') time.sleep(3) return @@ -44,8 +48,8 @@ def auto_update(): if __name__ == '__main__': - import os; os.environ['no_proxy'] = '*' # 避免代理网络产生意外污染 + import os + os.environ['no_proxy'] = '*' # 避免代理网络产生意外污染 from toolbox import get_conf proxies, = get_conf('proxies') check_proxy(proxies) - \ No newline at end of file diff --git a/config.py b/config.py index 8c98657..f94f183 100644 --- a/config.py +++ b/config.py @@ -11,10 +11,10 @@ if USE_PROXY: # [端口] 在代理软件的设置里找。虽然不同的代理软件界面不一样，但端口号都应该在最显眼的位置上 # 代理网络的地址，打开你的科学上网软件查看代理的协议(socks5/http)、地址(localhost)和端口(11284) - proxies = { + proxies = { # [协议]:// [地址] :[端口] - "http": "socks5h://localhost:11284", - "https": "socks5h://localhost:11284", + "http": "socks5h://localhost:11284", + "https": "socks5h://localhost:11284", } else: proxies = None @@ -25,7 +25,7 @@ else: CHATBOT_HEIGHT = 1115 # 窗口布局 -LAYOUT = "LEFT-RIGHT" # "LEFT-RIGHT"（左右布局） # "TOP-DOWN"（上下布局） +LAYOUT = "LEFT-RIGHT" # "LEFT-RIGHT"（左右布局） # "TOP-DOWN"（上下布局） # 发送请求到OpenAI后，等待多久判定为超时 TIMEOUT_SECONDS = 25 @@ -46,4 +46,5 @@ API_URL = "https://api.openai.com/v1/chat/completions" CONCURRENT_COUNT = 100 # 设置用户名和密码（相关功能不稳定，与gradio版本和网络都相关，如果本地使用不建议加这个） -AUTHENTICATION = [] # [("username", "password"), ("username2", "password2"), ...] +# [("username", "password"), ("username2", "password2"), ...] +AUTHENTICATION = [] diff --git a/core_functional.py b/core_functional.py index 22d2c2b..722abc1 100644 --- a/core_functional.py +++ b/core_functional.py @@ -4,6 +4,7 @@ # 默认按钮颜色是 secondary from toolbox import clear_line_break + def get_core_functions(): return { "英语学术润色": { @@ -11,12 +12,12 @@ def get_core_functions(): "Prefix": r"Below is a paragraph from an academic paper. Polish the writing to meet the academic style, " + r"improve the spelling, grammar, clarity, concision and overall readability. When necessary, rewrite the whole sentence. " + r"Furthermore, list all modification and explain the reasons to do so in markdown table." + "\n\n", - # 后语 + # 后语 "Suffix": r"", "Color": r"secondary", # 按钮颜色 }, "中文学术润色": { - "Prefix": r"作为一名中文学术论文写作改进助理，你的任务是改进所提供文本的拼写、语法、清晰、简洁和整体可读性，" + + "Prefix": r"作为一名中文学术论文写作改进助理，你的任务是改进所提供文本的拼写、语法、清晰、简洁和整体可读性，" + r"同时分解长句，减少重复，并提供改进建议。请只提供文本的更正版本，避免包括解释。请编辑以下文本" + "\n\n", "Suffix": r"", }, diff --git a/crazy_functional.py b/crazy_functional.py index 44b0918..3e53f54 100644 --- a/crazy_functional.py +++ b/crazy_functional.py @@ -1,4 +1,5 @@ -from toolbox import HotReload # HotReload 的意思是热更新，修改函数插件后，不需要重启程序，代码直接生效 +from toolbox import HotReload # HotReload 的意思是热更新，修改函数插件后，不需要重启程序，代码直接生效 + def get_crazy_functions(): ###################### 第一组插件 ########################### @@ -81,7 +82,8 @@ def get_crazy_functions(): "[仅供开发调试] 批量总结PDF文档": { "Color": "stop", "AsButton": False, # 加入下拉菜单中 - "Function": HotReload(批量总结PDF文档) # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效 + # HotReload 的意思是热更新，修改函数插件代码后，不需要重启程序，代码直接生效 + "Function": HotReload(批量总结PDF文档) }, "[仅供开发调试] 批量总结PDF文档pdfminer": { "Color": "stop", @@ -109,9 +111,5 @@ def get_crazy_functions(): except Exception as err: print(f'[下载arxiv论文并翻译摘要] 插件导入失败 {str(err)}') - - ###################### 第n组插件 ########################### return function_plugins - - diff --git a/theme.py b/theme.py index 4ddae5a..0c368c4 100644 --- a/theme.py +++ b/theme.py @@ -1,4 +1,4 @@ -import gradio as gr +import gradio as gr # gradio可用颜色列表 # gr.themes.utils.colors.slate (石板色) @@ -24,14 +24,16 @@ import gradio as gr # gr.themes.utils.colors.pink (粉红色) # gr.themes.utils.colors.rose (玫瑰色) + def adjust_theme(): - try: + try: color_er = gr.themes.utils.colors.fuchsia - set_theme = gr.themes.Default( - primary_hue=gr.themes.utils.colors.orange, - neutral_hue=gr.themes.utils.colors.gray, - font=["sans-serif", "Microsoft YaHei", "ui-sans-serif", "system-ui", "sans-serif", gr.themes.utils.fonts.GoogleFont("Source Sans Pro")], - font_mono=["ui-monospace", "Consolas", "monospace", gr.themes.utils.fonts.GoogleFont("IBM Plex Mono")]) + set_theme = gr.themes.Default( + primary_hue=gr.themes.utils.colors.orange, + neutral_hue=gr.themes.utils.colors.gray, + font=["sans-serif", "Microsoft YaHei", "ui-sans-serif", "system-ui", + "sans-serif", gr.themes.utils.fonts.GoogleFont("Source Sans Pro")], + font_mono=["ui-monospace", "Consolas", "monospace", gr.themes.utils.fonts.GoogleFont("IBM Plex Mono")]) set_theme.set( # Colors input_background_fill_dark="*neutral_800", @@ -77,10 +79,12 @@ def adjust_theme(): button_cancel_text_color=color_er.c600, button_cancel_text_color_dark="white", ) - except: - set_theme = None; print('gradio版本较旧, 不能自定义字体和颜色') + except: + set_theme = None + print('gradio版本较旧, 不能自定义字体和颜色') return set_theme + advanced_css = """ /* 设置表格的外边距为1em，内部单元格之间边框合并，空单元格显示. */ .markdown-body table { @@ -149,4 +153,4 @@ advanced_css = """ padding: 1em; margin: 1em 2em 1em 0.5em; } -""" \ No newline at end of file +""" diff --git a/toolbox.py b/toolbox.py index 6f89a30..0b1c85c 100644 --- a/toolbox.py +++ b/toolbox.py @@ -1,14 +1,23 @@ -import markdown, mdtex2html, threading, importlib, traceback, importlib, inspect, re +import markdown +import mdtex2html +import threading +import importlib +import traceback +import importlib +import inspect +import re from show_math import convert as convert_math from functools import wraps, lru_cache + def ArgsGeneralWrapper(f): """ 装饰器函数，用于重组输入参数，改变输入参数的顺序与结构。 """ def decorated(txt, txt2, *args, **kwargs): txt_passon = txt - if txt == "" and txt2 != "": txt_passon = txt2 + if txt == "" and txt2 != "": + txt_passon = txt2 yield from f(txt_passon, *args, **kwargs) return decorated @@ -18,7 +27,7 @@ def get_reduce_token_percent(text): # text = "maximum context length is 4097 tokens. However, your messages resulted in 4870 tokens" pattern = r"(\d+)\s+tokens\b" match = re.findall(pattern, text) - EXCEED_ALLO = 500 # 稍微留一点余地，否则在回复时会因余量太少出问题 + EXCEED_ALLO = 500 # 稍微留一点余地，否则在回复时会因余量太少出问题 max_limit = float(match[0]) - EXCEED_ALLO current_tokens = float(match[1]) ratio = max_limit/current_tokens @@ -27,6 +36,7 @@ def get_reduce_token_percent(text): except: return 0.5, '不详' + def predict_no_ui_but_counting_down(i_say, i_say_show_user, chatbot, top_p, temperature, history=[], sys_prompt='', long_connection=True): """ 调用简单的predict_no_ui接口，但是依然保留了些许界面心跳功能，当对话太长时，会自动采用二分法截断 @@ -46,21 +56,26 @@ def predict_no_ui_but_counting_down(i_say, i_say_show_user, chatbot, top_p, temp # list就是最简单的mutable结构，我们第一个位置放gpt输出，第二个位置传递报错信息 mutable = [None, ''] # multi-threading worker + def mt(i_say, history): while True: try: if long_connection: - mutable[0] = predict_no_ui_long_connection(inputs=i_say, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt) + mutable[0] = predict_no_ui_long_connection( + inputs=i_say, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt) else: - mutable[0] = predict_no_ui(inputs=i_say, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt) + mutable[0] = predict_no_ui( + inputs=i_say, top_p=top_p, temperature=temperature, history=history, sys_prompt=sys_prompt) break except ConnectionAbortedError as token_exceeded_error: # 尝试计算比例，尽可能多地保留文本 - p_ratio, n_exceed = get_reduce_token_percent(str(token_exceeded_error)) + p_ratio, n_exceed = get_reduce_token_percent( + str(token_exceeded_error)) if len(history) > 0: - history = [his[ int(len(his) *p_ratio): ] for his in history if his is not None] + history = [his[int(len(his) * p_ratio):] + for his in history if his is not None] else: - i_say = i_say[: int(len(i_say) *p_ratio) ] + i_say = i_say[: int(len(i_say) * p_ratio)] mutable[1] = f'警告，文本过长将进行截断，Token溢出数：{n_exceed}，截断比例：{(1-p_ratio):.0%}。' except TimeoutError as e: mutable[0] = '[Local Message] 请求超时。' @@ -69,42 +84,51 @@ def predict_no_ui_but_counting_down(i_say, i_say_show_user, chatbot, top_p, temp mutable[0] = f'[Local Message] 异常：{str(e)}.' raise RuntimeError(f'[Local Message] 异常：{str(e)}.') # 创建新线程发出http请求 - thread_name = threading.Thread(target=mt, args=(i_say, history)); thread_name.start() + thread_name = threading.Thread(target=mt, args=(i_say, history)) + thread_name.start() # 原来的线程则负责持续更新UI，实现一个超时倒计时，并等待新线程的任务完成 cnt = 0 while thread_name.is_alive(): cnt += 1 - chatbot[-1] = (i_say_show_user, f"[Local Message] {mutable[1]}waiting gpt response {cnt}/{TIMEOUT_SECONDS*2*(MAX_RETRY+1)}"+''.join(['.']*(cnt%4))) + chatbot[-1] = (i_say_show_user, + f"[Local Message] {mutable[1]}waiting gpt response {cnt}/{TIMEOUT_SECONDS*2*(MAX_RETRY+1)}"+''.join(['.']*(cnt % 4))) yield chatbot, history, '正常' time.sleep(1) # 把gpt的输出从mutable中取出来 gpt_say = mutable[0] - if gpt_say=='[Local Message] Failed with timeout.': raise TimeoutError + if gpt_say == '[Local Message] Failed with timeout.': + raise TimeoutError return gpt_say + def write_results_to_file(history, file_name=None): """ 将对话记录history以Markdown格式写入文件中。如果没有指定文件名，则使用当前时间生成文件名。 """ - import os, time + import os + import time if file_name is None: # file_name = time.strftime("chatGPT分析报告%Y-%m-%d-%H-%M-%S", time.localtime()) + '.md' - file_name = 'chatGPT分析报告' + time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime()) + '.md' + file_name = 'chatGPT分析报告' + \ + time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime()) + '.md' os.makedirs('./gpt_log/', exist_ok=True) - with open(f'./gpt_log/{file_name}', 'w', encoding = 'utf8') as f: + with open(f'./gpt_log/{file_name}', 'w', encoding='utf8') as f: f.write('# chatGPT 分析报告\n') for i, content in enumerate(history): try: # 这个bug没找到触发条件，暂时先这样顶一下 - if type(content) != str: content = str(content) + if type(content) != str: + content = str(content) except: continue - if i%2==0: f.write('## ') + if i % 2 == 0: + f.write('## ') f.write(content) f.write('\n\n') res = '以上材料已经被写入' + os.path.abspath(f'./gpt_log/{file_name}') print(res) return res + def regular_txt_to_markdown(text): """ 将普通文本转换为Markdown格式的文本。 @@ -114,6 +138,7 @@ def regular_txt_to_markdown(text): text = text.replace('\n\n\n', '\n\n') return text + def CatchException(f): """ 装饰器函数，捕捉函数f中的异常并封装到一个生成器中返回，并显示到聊天当中。 @@ -127,11 +152,14 @@ def CatchException(f): from toolbox import get_conf proxies, = get_conf('proxies') tb_str = '```\n' + traceback.format_exc() + '```' - if chatbot is None or len(chatbot) == 0: chatbot = [["插件调度异常","异常原因"]] - chatbot[-1] = (chatbot[-1][0], f"[Local Message] 实验性函数调用出错: \n\n{tb_str} \n\n当前代理可用性: \n\n{check_proxy(proxies)}") + if chatbot is None or len(chatbot) == 0: + chatbot = [["插件调度异常", "异常原因"]] + chatbot[-1] = (chatbot[-1][0], + f"[Local Message] 实验性函数调用出错: \n\n{tb_str} \n\n当前代理可用性: \n\n{check_proxy(proxies)}") yield chatbot, history, f'异常 {e}' return decorated + def HotReload(f): """ 装饰器函数，实现函数插件热更新 @@ -143,12 +171,15 @@ def HotReload(f): yield from f_hot_reload(*args, **kwargs) return decorated + def report_execption(chatbot, history, a, b): """ 向chatbot中添加错误信息 """ chatbot.append((a, b)) - history.append(a); history.append(b) + history.append(a) + history.append(b) + def text_divide_paragraph(text): """ @@ -165,6 +196,7 @@ def text_divide_paragraph(text): text = "".join(lines) return text + def markdown_convertion(txt): """ 将Markdown格式的文本转换为HTML格式。如果包含数学公式，则先将公式转换为HTML格式。 @@ -172,16 +204,19 @@ def markdown_convertion(txt): pre = '
'
suf = '
'
if ('$' in txt) and ('```' not in txt):
- return pre + markdown.markdown(txt,extensions=['fenced_code','tables']) + '' + markdown.markdown(convert_math(txt, splitParagraphs=False),extensions=['fenced_code','tables']) + suf + return pre + markdown.markdown(txt, extensions=['fenced_code', 'tables']) + '
' + markdown.markdown(convert_math(txt, splitParagraphs=False), extensions=['fenced_code', 'tables']) + suf else: - return pre + markdown.markdown(txt,extensions=['fenced_code','tables']) + suf + return pre + markdown.markdown(txt, extensions=['fenced_code', 'tables']) + suf + def close_up_code_segment_during_stream(gpt_reply): """ 在gpt输出代码的中途（输出了前面的```，但还没输出完后面的```），补上后面的``` """ - if '```' not in gpt_reply: return gpt_reply - if gpt_reply.endswith('```'): return gpt_reply + if '```' not in gpt_reply: + return gpt_reply + if gpt_reply.endswith('```'): + return gpt_reply # 排除了以上两个情况，我们 segments = gpt_reply.split('```') @@ -191,19 +226,21 @@ def close_up_code_segment_during_stream(gpt_reply): return gpt_reply+'\n```' else: return gpt_reply - def format_io(self, y): """ 将输入和输出解析为HTML格式。将y中最后一项的输入部分段落化，并将输出部分的Markdown和数学公式转换为HTML格式。 """ - if y is None or y == []: return [] + if y is None or y == []: + return [] i_ask, gpt_reply = y[-1] - i_ask = text_divide_paragraph(i_ask) # 输入部分太自由，预处理一波 - gpt_reply = close_up_code_segment_during_stream(gpt_reply) # 当代码输出半截的时候，试着补上后个``` + i_ask = text_divide_paragraph(i_ask) # 输入部分太自由，预处理一波 + gpt_reply = close_up_code_segment_during_stream( + gpt_reply) # 当代码输出半截的时候，试着补上后个``` y[-1] = ( - None if i_ask is None else markdown.markdown(i_ask, extensions=['fenced_code','tables']), + None if i_ask is None else markdown.markdown( + i_ask, extensions=['fenced_code', 'tables']), None if gpt_reply is None else markdown_convertion(gpt_reply) ) return y @@ -265,6 +302,7 @@ def extract_archive(file_path, dest_dir): return '' return '' + def find_recent_files(directory): """ me: find files that is created with in one minutes under a directory with python, write a function @@ -278,21 +316,29 @@ def find_recent_files(directory): for filename in os.listdir(directory): file_path = os.path.join(directory, filename) - if file_path.endswith('.log'): continue + if file_path.endswith('.log'): + continue created_time = os.path.getmtime(file_path) if created_time >= one_minute_ago: - if os.path.isdir(file_path): continue + if os.path.isdir(file_path): + continue recent_files.append(file_path) return recent_files def on_file_uploaded(files, chatbot, txt): - if len(files) == 0: return chatbot, txt - import shutil, os, time, glob + if len(files) == 0: + return chatbot, txt + import shutil + import os + import time + import glob from toolbox import extract_archive - try: shutil.rmtree('./private_upload/') - except: pass + try: + shutil.rmtree('./private_upload/') + except: + pass time_tag = time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime()) os.makedirs(f'private_upload/{time_tag}', exist_ok=True) err_msg = '' @@ -300,13 +346,14 @@ def on_file_uploaded(files, chatbot, txt): file_origin_name = os.path.basename(file.orig_name) shutil.copy(file.name, f'private_upload/{time_tag}/{file_origin_name}') err_msg += extract_archive(f'private_upload/{time_tag}/{file_origin_name}', - dest_dir=f'private_upload/{time_tag}/{file_origin_name}.extract') - moved_files = [fp for fp in glob.glob('private_upload/**/*', recursive=True)] + dest_dir=f'private_upload/{time_tag}/{file_origin_name}.extract') + moved_files = [fp for fp in glob.glob( + 'private_upload/**/*', recursive=True)] txt = f'private_upload/{time_tag}' moved_files_str = '\t\n\n'.join(moved_files) chatbot.append(['我上传了文件，请查收', - f'[Local Message] 收到以下文件: \n\n{moved_files_str}'+ - f'\n\n调用路径参数已自动修正到: \n\n{txt}'+ + f'[Local Message] 收到以下文件: \n\n{moved_files_str}' + + f'\n\n调用路径参数已自动修正到: \n\n{txt}' + f'\n\n现在您点击任意实验功能时，以上文件将被作为输入参数'+err_msg]) return chatbot, txt @@ -314,32 +361,37 @@ def on_file_uploaded(files, chatbot, txt): def on_report_generated(files, chatbot): from toolbox import find_recent_files report_files = find_recent_files('gpt_log') - if len(report_files) == 0: return None, chatbot + if len(report_files) == 0: + return None, chatbot # files.extend(report_files) chatbot.append(['汇总报告如何远程获取？', '汇总报告已经添加到右侧“文件上传区”（可能处于折叠状态），请查收。']) return report_files, chatbot + @lru_cache(maxsize=128) def read_single_conf_with_lru_cache(arg): - try: r = getattr(importlib.import_module('config_private'), arg) - except: r = getattr(importlib.import_module('config'), arg) + try: + r = getattr(importlib.import_module('config_private'), arg) + except: + r = getattr(importlib.import_module('config'), arg) # 在读取API_KEY时，检查一下是不是忘了改config - if arg=='API_KEY': + if arg == 'API_KEY': # 正确的 API_KEY 是 "sk-" + 48 位大小写字母数字的组合 API_MATCH = re.match(r"sk-[a-zA-Z0-9]{48}$", r) if API_MATCH: print(f"[API_KEY] 您的 API_KEY 是: {r[:15]}*** API_KEY 导入成功") else: assert False, "正确的 API_KEY 是 'sk-' + '48 位大小写字母数字' 的组合，请在config文件中修改API密钥, 添加海外代理之后再运行。" + \ - "（如果您刚更新过代码，请确保旧版config_private文件中没有遗留任何新增键值）" - if arg=='proxies': - if r is None: + "（如果您刚更新过代码，请确保旧版config_private文件中没有遗留任何新增键值）" + if arg == 'proxies': + if r is None: print('[PROXY] 网络代理状态：未配置。无代理状态下很可能无法访问。建议：检查USE_PROXY选项是否修改。') - else: + else: print('[PROXY] 网络代理状态：已配置。配置信息如下：', r) assert isinstance(r, dict), 'proxies格式错误，请注意proxies选项的格式，不要遗漏括号。' return r + def get_conf(*args): # 建议您复制一个config_private.py放自己的秘密, 如API和代理网址, 避免不小心传github被别人看到 res = [] @@ -348,14 +400,17 @@ def get_conf(*args): res.append(r) return res + def clear_line_break(txt): txt = txt.replace('\n', ' ') txt = txt.replace(' ', ' ') txt = txt.replace(' ', ' ') return txt + class DummyWith(): def __enter__(self): return self + def __exit__(self, exc_type, exc_value, traceback): - return \ No newline at end of file + return From a4d731b190f1fbebcb3aa7483cca2d12ad6176df Mon Sep 17 00:00:00 2001 From: Your Name
-
+
+
- 所有按钮都通过读取functional.py动态生成，可随意加自定义功能，解放粘贴板
+
From 769f2fe7d73c79162e9ebc66058815ba65ed134a Mon Sep 17 00:00:00 2001
From: binary-husky <96192199+binary-husky@users.noreply.github.com>
Date: Thu, 6 Apr 2023 19:24:37 +0800
Subject: [PATCH 146/154] Update README.md
---
README.md | 3 ++-
1 file changed, 2 insertions(+), 1 deletion(-)
diff --git a/README.md b/README.md
index 56c4a96..2eb81da 100644
--- a/README.md
+++ b/README.md
@@ -260,11 +260,12 @@ python check_proxy.py
- version 3 (Todo):
- - 支持gpt4和其他更多llm
-- version 2.3+ (Todo):
+- version 2.4+ (Todo):
- - 总结大工程源代码时文本过长、token溢出的问题
- - 实现项目打包部署
- - 函数插件参数接口优化
- - 自更新
+- version 2.4: (1)新增PDF全文翻译功能; (2)新增输入区切换位置的功能; (3)新增垂直布局选项; (4)多线程函数插件优化。
- version 2.3: 增强多线程交互性
- version 2.2: 函数插件支持热重载
- version 2.1: 可折叠式布局
From d1a18d293a70cd5e60f9512dc6096522480feb48 Mon Sep 17 00:00:00 2001
From: qingxu fu <505030475@qq.com>
Date: Fri, 7 Apr 2023 12:45:47 +0800
Subject: [PATCH 147/154] =?UTF-8?q?=E6=9B=B4=E6=96=B0requirements.txt?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
.gitignore | 3 ++-
requirements.txt | 12 ++++++++----
2 files changed, 10 insertions(+), 5 deletions(-)
diff --git a/.gitignore b/.gitignore
index d2c0f96..a5b6d85 100644
--- a/.gitignore
+++ b/.gitignore
@@ -140,4 +140,5 @@ gpt_log
private.md
private_upload
other_llms
-cradle.py
\ No newline at end of file
+cradle*
+debug*
\ No newline at end of file
diff --git a/requirements.txt b/requirements.txt
index 8034392..d864593 100644
--- a/requirements.txt
+++ b/requirements.txt
@@ -1,8 +1,12 @@
gradio>=3.23
requests[socks]
-mdtex2html
-Markdown
-latex2mathml
-openai
transformers
+python-markdown-math
+beautifulsoup4
+latex2mathml
+mdtex2html
+tiktoken
+Markdown
+pymupdf
+openai
numpy
\ No newline at end of file
From 2df4742815f2076abe16134752cd4798847fc128 Mon Sep 17 00:00:00 2001
From: Your Name '
suf = '
'
- if ('$' in txt) and ('```' not in txt):
- return pre + markdown.markdown(txt, extensions=['fenced_code', 'tables']) + '' + markdown.markdown(convert_math(txt, splitParagraphs=False), extensions=['fenced_code', 'tables']) + suf + markdown_extension_configs = { + 'mdx_math': { + 'enable_dollar_delimiter': True, + 'use_gitlab_delimiters': False, + }, + } + find_equation_pattern = r'\n', '') + return content + + if ('$' in txt) and ('```' not in txt): # 有$标识的公式符号，且没有代码段```的标识 # convert everything to html format split = markdown.markdown(text='---') convert_stage_1 = markdown.markdown(text=txt, extensions=['mdx_math', 'fenced_code', 'tables', 'sane_lists'], extension_configs=markdown_extension_configs) + convert_stage_1 = markdown_bug_hunt(convert_stage_1) # re.DOTALL: Make the '.' special character match any character at all, including a newline; without this flag, '.' will match anything except a newline. Corresponds to the inline flag (?s). # 1. convert to easy-to-copy tex (do not render math) convert_stage_2_1, n = re.subn(find_equation_pattern, replace_math_no_render, convert_stage_1, flags=re.DOTALL)