《麻省理工科技評論》中國最新發(fā)布的大模型評測報告顯示，在8個一級大類的600道題目的測試和盲評中，訊飛星火認知大模型V2.0在6個大類中得分率排名第一，在此次評測中表現(xiàn)突出，以81.5分（百分制計）的成績在本次評測中登頂，榮獲“最聰明”的國產(chǎn)大模型稱號。

《麻省理工科技評論》中國從研發(fā)和商業(yè)化能力、外界態(tài)度以及發(fā)展趨勢等維度全方位檢測大模型的能力，力圖評出“最聰明”的國產(chǎn)大模型。選取了“訊飛星火”等作為中文大模型平臺的代表，展開系統(tǒng)、科學的評測。

本次評測使用的測試集包含600道題目，覆蓋了語言專項、數(shù)學專項、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識、安全性共8個一級大類，126個二級分類，290個三級標簽，并針對問題的豐富性和多樣性做了優(yōu)化。

在題目類型上，為了兼顧定量、定性的評價與測試，設置了“單選”“多選”“填空”“簡答”4個題型，分別有145道、138道、136道和181道。大模型評測體系使用盲評方式，客觀評估國產(chǎn)大模型的聰明程度。

作為“最聰明”的大模型的基礎能力，語言專項評測包含對話理解、多語種、諷刺、古詩詞理解、文本生成、要點總結(jié)、情感分析、語義判斷等61個二級分類，題型則以簡答為主。結(jié)果顯示，訊飛星火85.73%的得分率排名第一，明顯高于平均值。

數(shù)學專項評測，是“最聰明”大模型必不可少的評測維度。本次評測包含代數(shù)、幾何、解方程、復雜數(shù)學、統(tǒng)計學等9個二級分類，以選擇題為主。

其中，訊飛星火以77.75%的得分率名列第一，遠高于平均得分率56%，其他平臺得分率基本相當。報告稱，在大模型普遍“數(shù)學不好”的情況下，訊飛星火這一成績頗為難得，其在數(shù)學專項上的領先同樣體現(xiàn)在二級分類的評分結(jié)果上，在77.8%的二級分類中得分率第一，遠超其他平臺，初步判斷其擅長幾何與情景應用。

作為體現(xiàn)大模型“聰明程度”不可或缺的“硬核”部分，理科綜合評測包含表格問答、化學、生物、物理、醫(yī)學5個二級分類，題型上以單選和簡答為主。

評測結(jié)果中，訊飛星火78.50%的得分率排名第一。另外，訊飛星火在理科綜合大類下80%的二級分類評測中得分率為第一，化學與生物較為突出。

邏輯思維也是“最聰明”大模型的重要體現(xiàn)，本次邏輯思維評測在邏輯推理、思維鏈等方面設計了較多的題目，包含類比、常識推理、空間方位、演繹推理、邏輯謬誤檢測、因果推理等19個二級分類，題型上相對平均，其中填空題最多，多選題最少。

在邏輯思維題目中，訊飛星火81.25%的得分率名列第一，明顯高于72.6%的平均值。此外，訊飛星火在邏輯思維63.2%的二級分類問題上得分率第一。邏輯思維對于大模型真正理解物理世界相當重要。

編程能力是大模型比較高階的能力，本次的編程能力評測包含ASCII、ASCII碼識別、Python、代碼、代碼修正、計算機6個二級分類，其中Python主要以簡答形式評估大模型的代碼生成能力和正確率，其他則以客觀題的形式考察。

結(jié)果顯示，訊飛星火80%的得分率明顯高于71%的平均值，其他平臺得分率基本相當。值得一提的是，在許多人關心的生成代碼的簡答題單項上，訊飛星火的得分率高達82%，遠高于其他平臺，表現(xiàn)頗為亮眼。

作為比較難的評測維度，綜合知識對大模型的“聰明”程度要求也很高，涉及的題目較雜，包含百科問答、常識、科學知識、事實問答、工作技巧、謎語等13個二級分類，題型以多選為主。

在綜合知識評測上，訊飛星火80.61%的得分率排名第一，在84.6%的二級分類上得分率第一，初步顯示出在百科問答和歷史人文上的“過人之處”。

報告指出，在本輪大模型評測中，訊飛星火以81.5分的成績拔得頭籌，成為國產(chǎn)大模型的第一名。

此外，就在8月12日，新華社研究院中國企業(yè)發(fā)展研究中心發(fā)布的《人工智能大模型體驗報告2.0》中，訊飛星火V1.5以總分1013分位列本次國產(chǎn)主流大模型測評榜首位，在四大評測維度中的智商指數(shù)和工具提效指數(shù)兩個維度獲得第一，《報告》認為訊飛星火“在工作提效方面優(yōu)勢明顯”。

在剛剛過去的8月15日，訊飛星火認知大模型V2.0如期發(fā)布，進一步突破代碼能力和多模態(tài)能力。技術(shù)獲得重大突破的同時，搭載訊飛星火V2.0核心能力的應用和產(chǎn)品也越來越豐富。

來源：央廣網(wǎng)

[責任編輯：劉雅 蘇文亮 梁延菊]

想爆料？請登錄《陽光連線》（ https://minsheng.iqilu.com/）、撥打新聞熱線0531-66661234或96678，或登錄齊魯網(wǎng)官方微博（@齊魯網(wǎng)）提供新聞線索。齊魯網(wǎng)廣告熱線0531-81695052，誠邀合作伙伴。