相比上次GPT2,这次的ChatGLM他认人了(知道是谁在发消息),逻辑思维+++,上次的GPT2可能只能"娱乐"(娱乐都不行),但这次的ChatGLM是有实质作用的,一起玩游戏,询问资料等等,记忆也在线的。(不过我用的是int4版本)
代码还是一如既往的烂,但是,无所谓了,能用就行。
模型有时候喜欢提及自己是人工智能,但问题不大。
模型整体的性格是喜欢帮助别人的。
可以生成随机数,可以讲故事,可以一起玩。
注意事项
你可能需要的网站:
https://huggingface.co/THUDM/chatglm2-6b (未量化模型)
https://huggingface.co/THUDM/chatglm2-6b-int4 (量化int4模型)
https://github.com/THUDM/ChatGLM2-6B (模型github,可以看到别人发的问题,还有必须的代码)
注意:chatglm2-6b和chatglm2-6b-int4的结构可能不同,我只适配了chatglm2-6b-int4,因为我只用chatglm2-6b-int4
翻代码来获取使用方法。(?不是)
如果你成功安装了这些内容,先启动ChatGLM,然后再在一个群里发送startGLM,就可以聊天了。发送stopGLM来停止。你可能需要打开文件设置master。
注意:
需要至少16GB内存
量化int4模型需要至少6GB显存,Maximum length最多设置为8192(1代模型则是1024)才能流畅运行(参考我的RTX2060)
量化int8模型需要至少10GB显存
未量化模型需要至少13GB显存
没有发言过滤,但是这模型思想挺正常的。
一般情况,你问问题模型喜欢长篇大论。
先把ChatGLM放到plugin再把这里下载的文件全部覆盖
把你的ChatGLM放到plugin文件夹里并命名为ChatGLM,否则你必须修改配置文件
(.\Dice123456789\plugin\ChatGLM)
RTX2060 的运行效率:
14字/秒 (仅已开始输出文字时,长文段可能需要先花费2-10秒来准备,1100个字符花费大约8秒准备)
(Maximum length = 8192, Top P = 0.8, Temperature = 0.95)
(94%的GPU的3D占用和4.9GB的显存占用)
(i3-12100F,Unknown RAM 16GB *2,Lexar SSD NM620 1TB,RTX 2060)
你可能需要自己配置forconnectqq.py文件,其中包含了模型的名称,性格,以及行为方式(让ai像正真加入群里的重要参数)
如果你有什么好的起始句,可以发出来共享。
我没有完整测试这个,因为我的骰子发不出消息了TAT,但是看控制台消息应该是没有问题的。
(官方示例:https://github.com/THUDM/ChatGLM2-6B#chatglm2-6b-%E7%A4%BA%E4%BE%8B)
模型可能只有短期记忆。
虽然模型在控制台可以流式输出,但是在QQ中不行。(-^-)
已知0.0.1b版本的bug:
- 无法响应带有换行的消息
- 如果在私聊框内启动则会响应所有骰子好友的私聊框
已知0.0.2b版本的bug:
- 无法响应带有换行的消息
- 如果在私聊框内启动则会响应所有骰子好友的私聊框
- 使用clear指令会导致清除起始句记忆,导致模型不知道规格化的语句含义,也就是不知道任何人的名字和现在的时间等 (每制作一个功能,我都会附上相应的bug)
文档有错误?代码有错误?官网有错误?正常正常。
Download
Official
还没有内容
Beta
0.0.1b
示例
(ChatGLM - 错误的方法 | ChatGLM2 - 正确)
(ChatGLM - 自相矛盾 | ChatGLM2 - 正确)
(ChatGLM2_6b - 正确)
(ChatGLM2_6b - 正确)
https://github.com/THUDM/ChatGLM2-6B#chatglm2-6b-%E7%A4%BA%E4%BE%8B
( 注意:chatglm的性能不如chatglm2,精准度也不如,不支持流式输出)