我讓最近爆紅的超強 AI ChatGPT 考了 2022 年國中會考全部科目，
也就是國文、英語（閱讀）、數學、自然、社會等等有標準答案而且題目可以輸入給 ChatGPT 的科目。
看 ChatGPT 的完整答題記錄：
想用 Python 與 ChatGPT 對話可以使用：
之前的 ChatGPT 相關影片：
開箱超強聊天AI ChatGPT！叫它寫文章、寫詩、寫程式都可以！【玩 ChatGPT Ep.1】
學生必看！超強AI幫助你寫作業！寫中英文作文、報告都難不倒它！老師們小心了！【玩 ChatGPT Ep.2】
時間軸：
0:00 精彩內容
0:02 ChatGPT簡介
0:53 準備考題
1:24 讓ChatGPT寫考卷
2:16 考試結果
2:46 英語答題情況
3:17 國文答題情況
3:53 數學答題情況
4:32 自然答題情況
4:54 社會答題情況
5:11 結論
5:40 題目答案
#ai #chatgpt #國中會考 #exam
我覺得這題真的太難了啦老師 哈囉，我是軟體工程師 Roger 先前情提要 ChatGPT 是一個從 2022 年 12 月初開始 迅速竄紅的對話 AI 它就像一個學識淵博的專家一樣 可以回答你的各種問題 那有人就拿它去考美國的 SAT 測驗（美國的大學入學測驗） 發現它可以在總分 1600 分之中拿到 1020 分 大約贏過 52% 的考生 所以我就非常好奇 如果我們讓它來考台灣的考試 結果會是怎麼樣 所以今天我要讓 ChatGPT 來考台灣的「國中教育會考」 也就是台灣的國中生在升上高中的時候 可能需要參加的考試 讓我們來看看它在各個科目的表現會是怎麼樣 我自己是推測它應該會在英文科的表現是最好的 因為他在訓練的時候讀過最多的應該是英文的資料 那我推測它會在數學科的表現是最不好的 因為我在網路上看到很多它數學亂算一通的對話 好那我們就開始考試吧！ 首先我們要把考題準備好 也就是 2022 年的國中會考的國文、 英語閱讀、數學、社會、自然的考題 但並不是全部的考題它都能夠作答 因為有些考題帶有圖片或是表格 這些圖表我們沒有辦法輸入給它 所以我篩選出了只包含純文字的所有考題 我把這些考題集中到這個表格裡 為了瞭解題目的難度 我乾脆把所有考題都寫了一遍 這些答案之後可以當作人類對照組 在我寫完之後就輪到 AI 來寫了
在開始考試之前，我告訴他兩件事 第一個是這是台灣的考題 因為要是沒有說的話 有些社會科的題目他可能不知道我們在講的是台灣的制度 第二個是我請他一定要選出一個答案並且說明理由 因為不這樣說的話 它遇到比較困難的題目會找藉口說 我只是一個語言模型 我不能上網 資料不足 無法判斷 然後就不回答問題 五個科目的總題數高達 107 題 如果手動一題一題丟給他的話會非常麻煩 所以我寫了一個程式 可以依序把題目丟給它回答 然後把它的回答輸出到一個檔案裡 沒錯 本頻道拍到第四支影片終於開始寫程式了 值得一提的是 這個程式有一部分是 ChatGPT 生成的 在收集完他的回答之後 我把正確答案也放進這個表格裡 就可以算出它各科的答對率了 最終的結果就是這樣 如同我之前預測的 它在英文科的表現是最好 正確率有 83% 但出乎我意料的是 他的數學成績並沒有特別低 它在數學、國文、自然、社會的正確率都在 60% 左右 而數學和社會的分數是更低一點點 所以如果以 60 當作及格的話 數學和社會可以說是不及格的
接下來我們看看它在各個科目的答題情況 我們從它表現最好的英文科開始 它在選填單字和閱讀理解的題目都表現得非常完美 可見他對單字、文章的理解能力非常強 那它在總共 24 題裡面只錯了 4 題 其中有 3 題是文法題 可見它對文法的掌握能力還有待加強 那剩下的那一題我覺得是這 24 題之中最精彩的一題 他考的是一個很細微的語感和邏輯 所以才讓英文很好的 AI 也答錯了 那有興趣的人不妨暫停作答看看 我會在影片的最後附上正確答案 在國文科 他在關於「讀音」的題目的表現特別不好 兩道跟讀音有關的題目它都答錯了 但出乎我意料的是他在古文題目的表現上還不錯 有 13 道涉及古文的題目 它答對了9題 正確率有 69% 國文科我想要吐槽一個題目 就是整份考卷的最後一個題組 這是一個古文閱讀理解的題目 我覺得這題真的太難了啦老師 我反覆看了三四遍還是沒有辦法全部看懂 那在兩題之中，我和 AI 都是只答對了一題 所以如果你這兩題都能答對的話 那我覺得你真的非常厲害 數學科有太多的題目是要搭配圖表才能作答的 所以最後只剩下 10 題選擇題 和 4 題計算題可以拿來考他 在 10 題選擇題之中他答對了 6 題 但在答對的 6 題之中其中有 4 題 我覺得他的推論的邏輯或是計算的方式 如果你用很專業的角度去看的話可能不堪一擊
它只是碰巧選到了正確答案而已 所以嚴格來說 14 題之中他只有 3 題是回答得比較完美的 我覺得它的數學相較於其他科目來說確實是比較差的 在數學科，我想要吐槽最後一道的計算題 直接在國中的考試裡教你怎麼算牌欸 台灣不愧是博弈之島啊 自然科我覺得 AI 在比較直接 比較可以靠背誦知識就能答對的題目 會表現得比較好 而如果需要多轉一個彎 或是多做一些推理的題目 他就比較容易答錯 這也算是他的通病了啦 自然科有一題我覺得特別複雜 是一個關於離子的推理題 我覺得 AI 能夠答對這題真的非常厲害 社會科他答錯了不少關於台灣的法律或政治制度的題目 這可能就比較沒有辦法 因為他在訓練的時候可能沒有讀到太多關於台灣的資料 或者他在答題的當下沒有意識到題目在說的是台灣 社會科的這一題我覺得特別難 我跟 AI 都答錯了 以上就是 ChatGPT 在 2022 年國中會考各個科目的表現 那我會建議大家在課業上不要太相信它提供的答案 你看他連最擅長的英文 都沒有辦法百分之百答對 那在其他科目就更不可靠了 還有什麼測驗想讓它作答看看嗎？ 歡迎留言討論 喜歡這隻影片歡迎按讚支持我 想看到更多關於程式的有趣內容歡迎訂閱我的頻道 我是軟體工程師 Roger 我們下支影片再見
掰掰
