chunzhi/chatgpt_academic
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
2,040 Commits 15 Branches 0 Tags
master
Commit Graph
2 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
jlw463195935 552219fd5a 加入了int4 int8量化，加入默认fp16加载（in4和int8需要安装额外的库，目前只测试加入deepseek-coder模型，后续测试会加入更多） 
解决deepseek-coder连续对话token无限增长爆显存的问题
 2023-12-01 16:17:30 +08:00
jlw463195935 4985986243 加入了int4 int8量化，加入默认fp16加载（in4和int8需要安装额外的库） 
解决连续对话token无限增长爆显存的问题
 2023-12-01 16:11:44 +08:00