論文宣稱 GPT-4 通過 MIT 課程,被爆研究造假

最新AI资讯12个月前发布 Aibot114
129 0
广告也精彩
論文宣稱 GPT-4 通過 MIT 課程,被爆研究造假

近日一篇論文宣稱大型語言模型 GPT-4 能通過麻省理工學院的數學和 EECS(Electrical Engineering and Computer Science)課程獲得滿分成績,受到專業學者檢視後卻被發現使用不當數據資料來源,並且反覆給予提示以獲得預期結果,令學界譁然。

主要研究領域在機器學習、人工智慧、電腦視覺的 Iddo Drori,任教於波士頓大學、哥倫比亞大學等,15 日公布利用大型語言模型探索麻省理工學院數學和 EECS 課程的研究論文,聲稱可以通過課程所要求的問題題庫、期中考試、期末考試等多達 4,550 個問題和解法,其中利用 GPT-3.5 成功解決三分之一的麻省理工學院課程,而 GPT-4 則在提示技術下,達到完美的解答率。消息一出,Iddo Drori 的推文獲得大量轉發。

? Exploring the MIT Mathematics and EECS curriculum using large language models. ?? #AI #Education #MIT Read more: https://t.co/0DxLZj2YhE pic.twitter.com/2YXLrn1RwM

— Iddo Drori (@iddo) June 16, 2023

▲ Iddo Drori 將論文上傳論文預印本資料庫 arXiv.org 公開研究成果,但事實真相並非如此。

然而這篇論文經過 Raunak Chowdhuri 和他同事的仔細審查,發現明顯的問題,像是資料組包含 10 個無法解決的問題,這意味著 GPT-4 在輸入提示過程中被加入解法,或者問題本身沒有準確的評分。此外,GPT-4 使用記錄下正確答案的方式來引導解題流程,這些都讓這篇論文的真實性備受質疑。

直到 24 日由麻省理工學院的 Armando Solar-Lezama、Tonio Buonassisi、Yoon Kim 三名教授共同發表聲明,直指 Iddo Drori 這麼做並沒有得到共同作者的同意,而且構成論文主題的問題和考試題目資料組未獲得其他老師的授權。儘管 Iddo Drori 被告知在論文發表之前需要修正一些問題,仍私自在 15 日公布論文。三人已要求從 arXiv.org 撤下論文,最後還強調「GPT-4 不能獲得麻省理工學院學位」。

三名教授的聲明顯現出這篇論文並未得到全體同意即發表,然而論文研究方法和過程恐怕才是最大的問題所在,這也讓整起事件陷入羅生門。

No, ChatGPT-4 Can’t Get an MIT Degree

(首圖來源:Unsplash)

© 版权声明

相关文章

暂无评论

暂无评论...