“原文轉(zhuǎn)載自:https://hechingerreport.org/kids-chatgpt-worse-on-tests/。研究人員比較了近千名高中生的數(shù)學(xué)成績。”

人工智能真的能幫助學(xué)生學(xué)習嗎？

最近在一所高中進行的一項實驗提供了一個警示故事。

賓夕法尼亞大學(xué)的研究人員發(fā)現(xiàn)，在做數(shù)學(xué)練習題時使用 ChatGPT 的土耳其高中生與沒有使用 ChatGPT 的學(xué)生相比，數(shù)學(xué)考試成績更差。使用 ChatGPT 的學(xué)生在練習題中的正確解題率提高了 48%，但最終學(xué)生在考試中成績卻下降了 17%。

第三組學(xué)生可以使用經(jīng)過修改的 ChatGPT，它的功能更像是一個導(dǎo)師。這個聊天機器人的程序設(shè)計是在不直接透露答案的情況下提供提示。使用聊天機器人的學(xué)生在練習題上的表現(xiàn)非常出色，與沒有任何高科技輔助工具的學(xué)生相比，正確率提高了 127%。但在之后的測試中，這些經(jīng)過人工智能輔導(dǎo)的學(xué)生并沒有取得更好的成績。而那些只用老方法--自己做練習題--的學(xué)生則與他們的考試成績不相上下。

研究人員將他們的論文命名為 “生成式人工智能會損害學(xué)習”，目的是向家長和教育工作者表明，目前免費提供的人工智能聊天機器人會 “極大地抑制學(xué)習”。即使是模仿家教設(shè)計的微調(diào)版 ChatGPT 也不一定有幫助。

研究人員認為，問題在于學(xué)生把聊天機器人當成了 “拐杖”。當他們分析學(xué)生輸入 ChatGPT 的問題時，學(xué)生往往只是簡單地詢問答案。學(xué)生們并沒有通過自己解決問題來培養(yǎng)技能。

ChatGPT 的錯誤也可能是一個原因。聊天機器人只有一半的時間能正確回答數(shù)學(xué)問題。它的算術(shù)計算有 8% 的時間是錯誤的，但更大的問題是，它逐步解決問題的方法有 42% 的時間是錯誤的。輔導(dǎo)版的 ChatGPT 直接輸入了正確的解題方法，從而將這些錯誤降到了最低。

論文及實驗

2024 年 7 月，一篇關(guān)于該實驗的論文草案被發(fā)布在 SSRN（前身為社會科學(xué)研究網(wǎng)）的網(wǎng)站上： https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4895486 該論文尚未在同行評審期刊上發(fā)表，仍有可能被修改。

這只是在另一個國家進行的一次實驗，還需要更多的研究來證實其結(jié)論。但這次實驗規(guī)模很大，在 2023 年秋季期間，有近千名九年級到十一年級的學(xué)生參與其中。教師首先與全班同學(xué)一起復(fù)習之前講過的一堂課，然后將他們的教室隨機分配成三種練習數(shù)學(xué)的方式之一：使用 ChatGPT、使用由 ChatGPT 支持的人工智能輔導(dǎo)員或完全不使用高科技輔助工具。每個年級的學(xué)生都被分配了相同的練習題，無論是否使用人工智能。之后，他們進行測試，以了解自己對概念的掌握程度。研究人員共進行了四次這樣的測試，讓學(xué)生在四個不同的數(shù)學(xué)題目中進行了四次 90 分鐘的練習，以了解人工智能究竟是有幫助、有損害還是毫無用處。

ChatGPT 似乎也會讓學(xué)生產(chǎn)生過度自信。在與實驗同時進行的調(diào)查中，學(xué)生們表示，ChatGPT 讓他們學(xué)得更多了，而事實是他們學(xué)到的東西更少。使用人工智能輔導(dǎo)的學(xué)生認為他們的考試成績明顯更好，盡管事實上成績沒有提高。(這也再次提醒我們，我們對自己所學(xué)知識的認知往往是錯誤的）。

作者將使用 ChatGPT 學(xué)習的問題比作自動駕駛。他們講述了過度依賴自動駕駛是如何導(dǎo)致美國聯(lián)邦航空管理局建議飛行員盡量減少使用這項技術(shù)的。監(jiān)管機構(gòu)希望確保飛行員在自動駕駛失靈時仍然知道如何飛行。

ChatGPT 并不是第一種在教育方面做出取舍的技術(shù)。打字機和計算機減少了對手寫的需求。計算器減少了對算術(shù)的需求。當學(xué)生可以使用 ChatGPT 時，他們可能會回答更多正確的問題，但學(xué)到的知識卻更少。一個問題的正確結(jié)果并不能幫助他們解決下一個問題。