Commit Graph
1 Commits
Author SHA1 Message Date
jlw463195935 4985986243 加入了int4 int8量化,加入默认fp16加载(in4和int8需要安装额外的库)
解决连续对话token无限增长爆显存的问题
2023-12-01 16:11:44 +08:00