近日,在GPT-4发布的同一天,清华大学顶尖的NLP团队也公开了自研的类ChatGPT大模型——中英双语对话模型ChatGLM-6B,这是一个初具问答和对话功能的千亿中英措辞模型,并针对中文进行了优化。须要把稳的是,目前ChatGLM每轮对话最多只可以进行5个来回,每次最多输入1000字。
据官方先容,ChatGLM参考了ChatGPT的设计思路,在千亿基座模型GLM-130B中注入了代码预演习,通过监督微调等技能来实现与人类意图对齐。
ChatGLM官方博客中提到,该模型基于General Language Model(GLM)架构,具有62亿参数。结合模型量化技能,用户可以在消费级的显卡上进行本地支配。ChatGLM-6B利用了和ChatGLM相同的技能,针对中文问答和对话进行了优化。经由约1T标识符的中英双语演习,辅以监督微调、反馈自助、人类反馈强化学习等技能的加持,62亿参数的ChatGLM-6B虽然规模不及千亿模型,但大大降落了推理本钱,提升了效率,并且已经能天生相称符合人类偏好的回答。

详细来说,ChatGLM-6B具备充分的中英双语预演习、优化的模型架构和大小、较低的支配门槛、更长的序列长度、人类意图对齐演习等特点,因此,ChatGLM-6B 具备了一定条件下较好的对话与问答能力。与此同时,ChatGLM-6B也存在模型容量较小、可能会产生有害解释或有偏见的内容、较弱的多轮对话能力、英文能力不敷、易被误导等毛病。
问起它和ChatGPT的差异时,它表示:“我和ChatGPT都是基于人工智能技能的措辞模型,但我们在设计和运用处景上有所不同。ChatGPT是由OpenAl开拓的,旨在与人类进行对话的大规模措辞模型,其运用处景紧张是回答人类的问题或者供应信息;而我是清华大学KEG实验室和智谱AI公司于2023年共同演习的措辞模型GLM-130B,紧张用于中文问答、供应建媾和支持等日常交互场景。”
该团队称,一贯在探索、考试测验和努力。虽然GLM系列模型取得了部分成绩,但间隔国际顶尖大模型研究和产品(比如OpenAI的ChatGPT及下一代GPT模型)还有明显差距。“中国大模型研究在原创算法、AI芯片和家当上的追赶与打破,须要大家一起努力,更须要对下一代AI人才的培养与磨炼。”
审读:谭录岗