清华智谱AI 开源了GLM系列模型的新成员——中英双语对话模型 ChatGLM-6B,支持在单张消费级显卡上进行推理使用。这是继此前开源GLM-130B 千亿基座模型之后,智谱AI再次推出大模型方向的研究成果。与此同时,基于千亿基座模型的ChatGLM 也同期推出,初具问答和对话功能。
ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型,并针对中文进行了优化。该模型基于General Language Model (GLM)架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。
ChatGLM-6B 使用了和ChatGLM相同的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 虽然规模不及千亿模型,但大大降低了推理成本,提升了效率,并且已经能生成相当符合人类偏好的回答。
【人工智能AI】想要搭建“真本地”的永远免费-真正属于自己的ChatGPT吗?国产开源版 ChatGLM:保姆级上手教程!
打印