f6XF on Nostr: ...

今天我厂大模型组的贵清同学说通义千问2的700亿参数版本发布并开源了，安装测试了下，果然好用。

而且说通义千问这个模型已经在HuggingFace 的Open LLM Leaderboard开源模型榜单登顶了（见图1），太牛了啊。

我也手动测试了几个之前的bad case，结果都是对的（见图2和图3）。。提升巨大，我们现在用大模型处理数据的场景还是蛮多的，比如要标注笔记的正负面，标注对话数据的甲乙方，标注文章里面提到的品牌名称，地名等等。现在开源的大模型真是福音，方便我们这种有大量数据处理业务的企业了。

又安排员工把之前发现的其他大模型跑数据遇到的bad case都跑一遍，发现这一版通义千问在其他大模型跑出的bad case里面的表现正确率超过了75.2% （当然也有一些是错的，见图4）。其他大模型跑通过的case里面正确率达到99%。因为我们是有正确答案的，比较好统计，其实我可以给各家大模型在数据标注方面做测评啊，是不是又一个发财的机会啊。。

下一步还要测试下推理速度和成本，这个是大量使用的关键，小伙伴还在测试中，（待续）。