ChatGPT 的出现,引领了科技公司追逐 AI 的浪潮。相比初代 GPT-3,最新基于 GPT 3.5 的模型之所以受到更加广泛的关注,主要原因之一便是它在加入了代码作为训练数据后,彻底颠覆了传统模型较弱的思维链推理能力,大大地提升了模型的推理能力。因此,这也催生了多款针对开发者的辅助和革命性工具。
GPT 3.5加入了代码作为训练数据后,大大地提升了推理能力
为给广大开发者推荐更多好用的辅助(Ti Dai)工具,CSDN 重磅发起“CSDN AI 编程榜单”,定期针对业界主流的 AI Coding 产品进行评测。本期榜单中,我们共选择了六款 AI Coding 产品,分别是:ChatGPT、GPT 3.5、CodeBBT、GitHub Copilot、CodeGeeX、aiXcoder。
话不多说,我们先看评测得到的关键性结论:
- ChatGPT 以几乎接近满分的成绩,摘得榜首,成为开发者辅助编码的最佳神器;
- 目前尚未有任何一款产品达到 C4(高度自动编程)级别,即,想要在没有任何的人工干预下,生成理想中的代码也还存在一定的困难,正因此,至少就当前阶段而言,“程序员即将被 AI 所取代”的传言也并不可信;
- C++ 和 Java 在各模型的 3 分占比高于 Javascript、Python 及 Shell,这意味着各大模型对 C++ 和 Java 语言支持要优于其他几种语言。
注:本次评测为了快速获取评测结论,从生成任务数据集到评分/评级若有遗漏和不足之处,望各位大佬斧正。也欢迎本次没有覆盖到的产品联系我们(kefu@csdn.net),加入评测。
AI 编程究竟哪家强?我们一起来评测
首先,根据流行度、发布时间、智能化等维度,我们选取了如下六款产品作为评测对象: