8B模型奧數成績(jì)比肩GPT-4！上海AI Lab出品
克雷西 發(fā)自 凹非寺
量子位 | * QbitAI
只要1/200的參數，就能讓大模型擁有和GPT-4一樣的數學(xué)能力？
來(lái)自復旦和上海AI實(shí)驗室的研究團隊，剛剛研發(fā)出了具有超強數學(xué)能力的模型。
它以L(fǎng)lama 3為基礎，參數量只有8B，卻在奧賽級別的題目上取得了比肩GPT-4的準確率。
這款模型名為MCTSr，是將AlphaGo中用到的蒙特卡洛算法與Llama3結合而成。
它能用少量的數據實(shí)現和GPT-4等的相同效果，讓網(wǎng)友感嘆Q*成真了，小模型在數學(xué)上也能做的和GPT-4等著(zhù)名模型一樣好。
就此又有網(wǎng)友表示，MCTSr能用極少的參數實(shí)現相同的效果，加上有時(shí)候訓練收益隨規模遞減，表明架構才是當前AI的瓶頸，而不是運算。
這樣的趨勢也讓人想起了AI算力霸主英偉達，開(kāi)始思考規?；遣皇遣荒敲粗匾?，會(huì )不會(huì )利空老黃呢？
所以，MCTSr具體運用了什么樣的方法呢？
將蒙特卡洛引入大模型
MCTSr名字里是MCT，指的就是蒙特卡洛樹(shù)（Monte Carlo Tree），而Sr則指的是自我完善（Self-Refine）。
蒙特卡洛樹(shù)又稱(chēng)隨機抽樣或統計試驗方法，是指一種使用重復隨機采樣生成合成模擬數據的近似方法，谷歌的圍棋機器人AlphaGo當中也用到了這種方法。
名字中沒(méi)有體現的，是蒙特卡洛與大模型的結合，本項目當中使用的是Llama 3-8B，同時(shí)MCTSr還引入了自我修正和自我評估的迭代過(guò)程。
在解答數學(xué)問(wèn)題時(shí)，MCTSr中的大模型首先會(huì )像正常流程一樣生成初步答案（甚至可以是“我不知道”），但并不會(huì )直接作為輸出。
為了改進(jìn)這個(gè)初始答案，MCTSr算法會(huì )對其進(jìn)行評估和反饋，語(yǔ)言模型會(huì )被要求對答案進(jìn)行評價(jià)和批評，分析其中可能存在的問(wèn)題。
然后大模型基于反饋進(jìn)行自我修正，產(chǎn)生一個(gè)新的答案，這個(gè)新版本會(huì )納入搜索樹(shù)中，成為一個(gè)新的子節點(diǎn)。
針對多個(gè)子節點(diǎn)，系統會(huì )進(jìn)行評分和獎勵采樣，計算出該節點(diǎn)的“Q值”（a表示答案節點(diǎn)，Ra表示a的獎勵樣本集合，|Ra|表示樣本數量），可以看出Q值的計算綜合考慮了節點(diǎn)在最壞情況和平均情況下的表現。
為了提高評估的可靠性，系統采用了嚴格的打分標準，并會(huì )進(jìn)行重復采樣，同時(shí)還采取了禁止模型給出滿(mǎn)分等策略。
然后基于Q值，MCTSr會(huì )使用改進(jìn)的UCB公式計算每個(gè)葉子節點(diǎn)的UCT值，選擇UCT值最高的節點(diǎn)進(jìn)行擴展。
（UCB是一種實(shí)現總獎勵最大化的方式，UCT是將UCB策略應用于樹(shù)形搜索問(wèn)題的一種算法。）
計算UCT值的目的，是為了平衡了節點(diǎn)的平均獎勵和訪(fǎng)問(wèn)頻率，避免單純追求高Q值導致的效率下降。
此外，作者修正的UCT計算公式中還引入了動(dòng)態(tài)調整探索系數c，以便在搜索過(guò)程中適應不同的問(wèn)題復雜度，并在探索廣度和深度之間做出平衡。
被選中的節點(diǎn)，會(huì )通過(guò)大模型再次進(jìn)行自我修正，生成新的答案節點(diǎn)，然后再次進(jìn)行自我評估并計算Q值。
新的Q值會(huì )被并反向傳播到其父節點(diǎn)和祖先節點(diǎn)，確保了搜索樹(shù)中節點(diǎn)的質(zhì)量評估隨著(zhù)搜索的進(jìn)行而不斷改進(jìn)。
根據新的Q值和訪(fǎng)問(wèn)次數，各個(gè)節點(diǎn)的UCT值也會(huì )被重新計算。
接著(zhù)，上述步驟會(huì )被不斷重復，直到滿(mǎn)足預設的終止條件，此時(shí)具有最高Q值的答案節點(diǎn)被視為問(wèn)題的最優(yōu)解。
總的來(lái)說(shuō)，通過(guò)蒙特卡洛搜索、自我完善與大模型的集合，MCTSr實(shí)現了數學(xué)問(wèn)題最優(yōu)解的生成。
那么，這種方法的實(shí)際效果究竟如何呢？
成績(jì)不輸GPT-4和Claude-3
在測試當中，作者一共使用了四種模型配置——零樣本思維鏈（CoT），以及1/4/8輪自我優(yōu)化的MCTSr，其中零樣本為對照組。
測試數據集包括MATH的5個(gè)level，GSM-8K和GSM-Hard，以及一系列奧賽級別的數據集——AIME、Math Odyssey 和OlympiadBench。
先看簡(jiǎn)單一些的GSM和MATH。
從下表中可以看出，隨著(zhù)自我優(yōu)化輪數是增多，模型取得的準確率也在增加，經(jīng)過(guò)8輪之后，在GSM-8K上已經(jīng)達到了96.66%。
而Gemini（1.5Pro，下同）、Claude-3（Opus，下同）、GPT-4（Turbo，下同）的成績(jì)則分別是94.4、95和97.1，可以看出參數只有8B的MCTSr和這些先進(jìn)模型不相上下。
同樣在MATH上，無(wú)論是整體還是細分的五個(gè)難度等級，成績(jì)隨優(yōu)化輪數的變化都呈現出了相同趨勢。
特別是在最困難的Level-5上，8輪后的成績(jì)已經(jīng)接近了對照組的5倍。
在MATH上，Gemini、Claude-3和GPT-4的成績(jì)分別為67.7、60.1和73.4，相比之下MCTSr略遜一籌，但也和Claude比較接近。
在更加困難的奧賽級別題目上，自我優(yōu)化給MCTSr帶來(lái)的能力增強也十分顯著(zhù)。
在Math Odyssey上，MCTSr甚至超過(guò)了Gemini、Claude-3和GPT-4，三者的成績(jì)分別是45、40和49.1。
同時(shí)，在OlympiadBench上，經(jīng)過(guò)8輪優(yōu)化后，MCTSr的成績(jì)是零樣本時(shí)的6.2倍。
值得一提的是，Math Odyssey數據集在2024年4月才發(fā)布，其內容與Llama 3的預訓練語(yǔ)料重疊度很低。
而在這個(gè)數據集上，MCTSr模型的性能從Zero-Shot CoT的17.22%提升到了8-rollouts MCTSr的49.36%。
這一結果表明，MCTSr在面對全新的問(wèn)題時(shí)，已經(jīng)顯現出了一定的泛化能力。
目前，MCTSr的代碼已經(jīng)開(kāi)源，感興趣的讀者可以到GitHub當中了解。
論文地址：
GitHub：
021yin.com/trotsky1997/MathBlackBox
— 完—
量子位年度AI主題策劃正在征集中！
歡迎投稿專(zhuān)題一千零一個(gè)AI應用，365行AI落地方案
或與我們分享你在尋找的AI產(chǎn)品，或發(fā)現的AI新動(dòng)向
點(diǎn)這里??關(guān)注我，記得標星哦～
一鍵三連「分享」、「點(diǎn)贊」和「在看」
科技前沿進(jìn)展日日相見(jiàn) ~
