OpenAI 分析了内部研究人员使用编程助手的情况。按团队对 8 月 1 日至 10 月 18 日记录的估算,助手在没有人工干预时,监看实验运行并发现问题的成功率约为 79%,回答技术问题约为 72%;编写推理及服务系统代码则约为 25%。
文章把任务分开列出,为研究组安排工作提供了参考。如果一个实验要经过监看、分析、再改动基础设施,前面的步骤节省了时间,最后一步仍可能需要工程师。数字来自这家机构内部的估算,推广到其他团队要另做检验。
原始资料
延伸阅读 九宫格游戏成了量子芯片的体检题
OpenAI 按任务类型拆分内部使用记录,呈现编程助手在研究工作中的能力差异。

OpenAI 分析了内部研究人员使用编程助手的情况。按团队对 8 月 1 日至 10 月 18 日记录的估算,助手在没有人工干预时,监看实验运行并发现问题的成功率约为 79%,回答技术问题约为 72%;编写推理及服务系统代码则约为 25%。
文章把任务分开列出,为研究组安排工作提供了参考。如果一个实验要经过监看、分析、再改动基础设施,前面的步骤节省了时间,最后一步仍可能需要工程师。数字来自这家机构内部的估算,推广到其他团队要另做检验。