大語言模型遇上語言考試:有望沖滿分

　　語文、英語的語言類考試,是大模型有能力和人類考生較量的賽場,多家產品能拿到客觀題目的滿分或接近滿分。

　　憑借中文語言的“主場優勢”,三款國產大模型產品獲得了語文考試前三名,分別是百小應、字節豆包和騰訊元寶,得分依次為128分、125.5分和120.5分。除了少數開放性的閱讀理解和語言文字運用問題,各家大模型主要丟分在語文寫作上。

　　作為本次評測的語文作文閱卷人,北京市級骨干教師、懷柔區語文學科帶頭人夏老師曾多次參加全國高考語文閱卷。夏老師認為:“Al寫出的文章大多有清晰完整的結構,有邏輯性,語言通順流暢。但其理性有余,感性不足,缺乏感情色彩,自然就缺乏感染力。”

　　英語寫作同樣是大模型的一大難題。本次評測默認所有大模型的聽力都獲得30分滿分。在閱讀和語言運用兩大項客觀問題的考試上,GPT-4o、百小應、通義千問獲得80分滿分,豆包和文心一言4.0也接近滿分。但是在40分的寫作考試中,最高分只有29分,分別由GPT-4o和百小應獲得,各家模型的英語寫作主要丟分在表達空泛、缺少細節上。如果大模型在未來能夠提升寫作能力,獲得高考滿分并非難事。

　　文綜出色,豆包獲“歷史”最高分

　　在由歷史、地理、政治組成的新課標文綜考卷評測中,GPT-4o獲得237分的成績,平均分達到79分,優于多數人類考生。國產大模型產品中,豆包的文綜成績最高,分數達到224.5分,其中歷史科目拿到82.5分,在所有9款大模型中得分第一。

　　政治考試中,GPT-4o出人意料的獲得了88分的最高分,百小應和豆包得分超過80。地理考卷則有大量圖片問題,對一眾大模型是不小的挑戰,圖像理解能力較強的GPT-4o得到最高分,但僅有68分。

　　河南高考分數段統計數據顯示,GPT-4o的562分在文科考生中排名8811名,相當于人類考生的前2.45%,豆包則處于前4.27%的位置。在過去一年多時間里,國產AI技術能力獲得了長足進步,目前已經接近國際頂尖大模型的水平。

　　數理全線不及格,AI有待提升

　　與人類頂尖考生相比,大模型在數學、物理、化學等數理學科上差距極大,包括GPT-4o在內的所有大模型都無法達到及格水平。盡管在語文、英語兩科上能獲得高分,大模型的理科最好成績還無法進入人類考生的前30%。

　　以數學試卷為例,9款大模型產品中,僅GPT-4o、文心一言4.0和豆包獲得60分以上成績(滿分150分),目前的大模型只能正確推理步驟相對簡單的問題。據測試機構透露,豆包等大模型能準確運用求導公式和三角函數定理,但是面對較為復雜的推導和證明問題就很難繼續得分。

　　重點考查實驗探究能力的化學和物理試卷,各模型平均分更是只有34分和39分(滿分為100和110)。化學單項最高分由豆包獲得,成績為49.5分,GPT-4o僅有42分。大模型在應對考試的靈活性上也不如人類。例如物理有一道送分題,人類考生根據“時間不會倒流”可以排除錯誤選項,輕易選對正確答案“C”,大模型則幾乎全軍覆沒。要學會像人類一樣思考和解決問題,大模型還有很長的路要走。

2024-06-26 10:44

標題加載中...

內容加載中...

長按掃碼 閱讀全文