3月16号,百度正式发布了『文心一言』,这是国内公司第一次发布类ChatGPT的产品。大家一定非常好奇文心一言和chatgpt之间的差距有多大?国产大模型还有多少路可走?本文就全面测评这两款产品!
目录
体验网址
1、旅游攻略
2、数理逻辑题
3、故事创作
4、古诗创作
5、图片创作
6、文案创作
7、代码编写
8、互联网黑话
9、中文梗对比
10、英文写作
结论
体验网址
1、文心一言:https://yiyan.baidu.com/
2、ChatGPT
1、旅游攻略
结论:难分伯仲
2、数理逻辑题
我选了一道很经典的面试数理逻辑题,也比较难,看看他们能不能求解出:
结论:chatgpt明明说错了,但却那么自信?!所以本局文心一言胜出!
原题链接:【学习】数理逻辑超难面试题:甲乙两人互猜数字,你会做吗? - 腾讯云开发者社区-腾讯云
3、故事创作
结论:这一轮文心一言略胜出,chatgpt写的有一些敷衍了!
4、古诗创作
结论:难分伯仲
5、图片创作
结论:chatgpt还不支持绘画功能,这一轮文心一言完胜!
因为图片生成式模型大部分是基于diffusion models/GANs的,chatgpt是基于transformer,未支持此功能很正常。大家可以去『文心一格』官网体会更多图片生成功能:文心一格 - AI艺术和创意辅助平台
6、文案创作
结论:文心一言的文案更具有感情和感染力!
7、代码编写
结论:Chatgpt完胜!文心一言写的完全不正确。
原因是chatgpt对微软旗下的github也进行了学习,所以代码编写能力肯定是远超过完全没学过的文心一言。
8、互联网黑话
来点中文互联网才懂得梗!
结论:文心一言胜出!
9、中文梗对比
结论:chatgpt说的完全不正确啊
10、英文写作
结论:chatgpt胜出!文心一言在英文上的表现还不够好
结论
文心一言明显更懂中文,更理解中文圈的网友,这一点让我非常惊喜!
但是在代码生成、英文写作等方面距离chatgpt还有不小的差距呢,这也是未来需要迭代的方向。
总之,国产大模型的这一步走的虽然比较仓促,但未来可期!还需要我们程序员们继续努力啊!