4 Commits

Author	SHA1	Message	Date
binary-husky	3c03f240ba	move token limit conf to bridge_all.py	2023-12-04 10:39:10 +08:00
jlw463195935	4985986243	加入了int4 int8量化，加入默认fp16加载（in4和int8需要安装额外的库） ... 解决连续对话token无限增长爆显存的问题	2023-12-01 16:11:44 +08:00
qingxu fu	fd72894c90	修复错误的class命名	2023-11-24 02:42:58 +08:00
qingxu fu	9916f59753	接入deepseek-coder	2023-11-24 02:35:44 +08:00