首位AI科學(xué)家問(wèn)世！已獨立生成10篇學(xué)術(shù)論文，還順手搞了AI審稿人
史上首位“AI科學(xué)家”，橫空出世！
一登場(chǎng)就一口氣生成了十篇完整學(xué)術(shù)論文。
△AI生成的一篇擴散模型論文
從提出研究想法、檢查創(chuàng )新性、設計實(shí)驗、編寫(xiě)代碼，到在GPU上執行實(shí)驗并收集結果，最后完成論文撰寫(xiě)，一氣呵成。
全由這位“AI科學(xué)家”自動(dòng)搞定。
每篇論文的成本約為15美元（約107.62元）。
這就是第一個(gè)用于自動(dòng)化科學(xué)研究和開(kāi)放式發(fā)現的綜合AI系統，The AI Scientist。
來(lái)自Transformer作者之一Llion Jones的創(chuàng )業(yè)公司：Sakana AI。
而且！
這公司搞的事情不只是做出了一位AI科學(xué)家，還額外搞出了個(gè)AI審稿人。
審稿人能對AI寫(xiě)的論文進(jìn)行評審，提供改進(jìn)意見(jiàn)。
救命，這是什么以我之矛攻我之盾的套娃循環(huán)??！
一通操作下來(lái)，比人類(lèi)學(xué)術(shù)圈還人類(lèi)學(xué)術(shù)圈（不是）
再來(lái)個(gè)而且！
不管是AI科學(xué)家和AI審稿人，Sakana AI把它們統統開(kāi)源了。
網(wǎng)友看了直鼓掌：
Nice Nice，非常有趣的工作！
以及有人已經(jīng)開(kāi)始出“餿主意”了。
這邊建議把其中一篇論文提交給AI頂會(huì )哈！
AI獨立完成十篇機器學(xué)習論文
幾十年來(lái)，每次AI取得重大進(jìn)展后，研究人員經(jīng)常開(kāi)玩笑說(shuō)：“是時(shí)候研究讓AI幫我們寫(xiě)論文了”。
現在，這個(gè)想法終于從玩笑變成現實(shí)。
具體來(lái)說(shuō)，AI科學(xué)家生成了十篇論文，每個(gè)研究方向各挑出一篇得分較高的來(lái)介紹。
第一篇，擴散模型方向，《雙尺度擴散：低維生成模型的自適應特征平衡》
提出了一種自適應雙尺度去噪方法，改進(jìn)現有的擴散模型在低維空間中難以同時(shí)捕捉全局結構和局部細節的問(wèn)題。
方法：
設計雙尺度架構，包括全局和局部分支
引入可學(xué)習的時(shí)間步條件加權機制
結合兩個(gè)分支的輸出進(jìn)行去噪預測
實(shí)驗結果：
KL divergence指標相比基線(xiàn)模型降低了2.5%到12.8%（越低越好）
但計算時(shí)間約增加了一倍，且在復雜數據分布（如dino數據集）上表現不穩定
簡(jiǎn)單掃一眼正文部分，有公式、有圖表，看起來(lái)還挺像模像樣的。
第二篇，語(yǔ)言模型方向，《StyleFusion：字符級語(yǔ)言模型中的自適應多樣式生成》。
本文提出了一種名為Multi-Style Adapter的新方法，通過(guò)引入可學(xué)習的風(fēng)格嵌入和風(fēng)格分類(lèi)頭，增強了字符級語(yǔ)言模型的風(fēng)格意識和一致性。
在所有數據集上達到了接近完美的風(fēng)格一致性分數（shakespeare_char為0.9667，enwik8和text8為1.0），驗證損失優(yōu)于基線(xiàn)模型，但推理速度略有下降（約400 tokens/s vs. 基線(xiàn)670 tokens/s）
第三篇，Transformer與強化學(xué)習結合，《通過(guò)Q-Learning實(shí)現Transformers的自適應學(xué)習率》。
本研究探索了將強化學(xué)習應用于動(dòng)態(tài)調整transformer模型訓練中的學(xué)習率，使用驗證損失和當前學(xué)習率作為狀態(tài)，動(dòng)態(tài)調整學(xué)習率以?xún)?yōu)化訓練過(guò)程。
結果在所有數據集上都優(yōu)于基線(xiàn)模型，在訓練時(shí)間上也表現出優(yōu)勢。
第四篇，研究了谷歌團隊提出大模型“領(lǐng)悟”（Grokking）現象，《解鎖 Grokking：Transformer模型中權重初始化策略的比較研究》
本文首次系統研究了權重初始化對grokking的影響，比較了五種權重初始化策略，以?xún)?yōu)化神經(jīng)網(wǎng)絡(luò )學(xué)習動(dòng)態(tài)。
結果發(fā)現：
Xavier初始化在多數任務(wù)中表現最佳，將達到99%驗證準確率的步數減少了最多63%
Orthogonal初始化在某些任務(wù)中表現出色，但在其他任務(wù)中效果較差。
這幾篇論文配套的代碼（也是由AI生成的），同樣開(kāi)源在GitHub上，突出一個(gè)可復現。
另外，團隊發(fā)現“AI科學(xué)家”還有一些有趣但又有些危險的行為：
在一次實(shí)驗中，它為了完成研究修改自己的代碼，讓系統迭代式調用自己，最后變成了無(wú)限套娃。
另一次，面對人類(lèi)設置的運行時(shí)間限制，AI并沒(méi)有想辦法加快效率，反而給自己放寬要求，把時(shí)間限制從2小時(shí)延長(cháng)到了4小時(shí)。
首個(gè)“AI科學(xué)家”如何煉成
整個(gè)研究想法來(lái)自Sakana AI成立之后幾個(gè)成果的延續：
首先，他們開(kāi)發(fā)了自動(dòng)合并多個(gè)大模型知識，進(jìn)化產(chǎn)生新模型的方法。在最近的工作中，他們利用大模型發(fā)現新的目標函數來(lái)調整其他模型。
在這些項目中，團隊不斷對當前前沿模型的創(chuàng )造力感到驚訝，進(jìn)而有了更大的夢(mèng)想：可以使用大模型來(lái)自動(dòng)化整個(gè)研究過(guò)程嗎？
最終成果由Sakana AI、牛津大學(xué)Foerster實(shí)驗室、不列顛哥倫比亞大學(xué)團隊合作完成。
“AI科學(xué)家”系統由四個(gè)部分組成。
想法生成：
給定一個(gè)起始模板，AI首先“頭腦風(fēng)暴”一系列不同的新穎研究方向，并在Semantic Scholar上搜索，驗證這些想法是否有前人做過(guò)。
實(shí)驗迭代：
對于第一部分提出的想法，“AI科學(xué)家”首先執行提議的實(shí)驗，然后生成圖表可視化結果。
論文寫(xiě)作：
用標準機器學(xué)習會(huì )議的風(fēng)格編寫(xiě)了一份簡(jiǎn)潔且信息豐富的LaTeX文章，同樣使用Semantic Scholar自主查找相關(guān)論文進(jìn)行引用。
自動(dòng)化同行評審：
開(kāi)發(fā)了一個(gè)自動(dòng)化的“AI審稿人”，能夠以接近人類(lèi)的準確性評估生成的論文，實(shí)現了持續的反饋循環(huán)，使“AI科學(xué)家”能夠迭代地改進(jìn)其研究成果。
總共生成了10篇論文如下：
在實(shí)驗中，團隊還比較了不同主流大模型接入整個(gè)系統的效果，其中包括DeepSeek團隊的國產(chǎn)代碼大模型。
結果發(fā)現，Claude-Sonnet-3.5在想法創(chuàng )新性、試驗通過(guò)率、論文完成質(zhì)量上表現都最好。
GPT-4o和DeepSeek Coder表現相近，但后者要便宜上30倍。
當然，現階段AI獨立完成的論文也不是盡善盡美，也不是直接就能發(fā)頂會(huì )了。
人類(lèi)研究者總結了出幾點(diǎn)限制和挑戰
當前“AI科學(xué)家”系統還沒(méi)有整合視覺(jué)能力，生成的圖表有時(shí)難以閱讀，表格有時(shí)超出頁(yè)面寬度，頁(yè)面排版不好。
AI科學(xué)家可能想法對了但執行錯誤，或者與基線(xiàn)進(jìn)行不公平的比較，從而產(chǎn)生誤導性的結果。
AI科學(xué)家在寫(xiě)作和評估結果時(shí)偶爾會(huì )犯嚴重錯誤，比如產(chǎn)生幻覺(jué)。
還想造區域主席和AI新頂會(huì )
總結一下，這初代AI科學(xué)家寫(xiě)出來(lái)的論文仍然時(shí)不時(shí)出現一些bug。
但這個(gè)項目本身，以及15美元/篇的成本，被Sakana AI稱(chēng)為“大有前景”，完全可以用來(lái)幫助加速科學(xué)進(jìn)步。
Sakana AI同時(shí)發(fā)布了一篇說(shuō)明文章，表示AI科學(xué)家的最終設想，是一個(gè)完全由AI驅動(dòng)的科學(xué)生態(tài)系統。
系統中不僅包括大模型驅動(dòng)的研究人員，還有審稿人、區域主席和一個(gè)新頂會(huì )。
需要注意的是，Sakana AI認為：
人類(lèi)科學(xué)家的作用，并不會(huì )因為AI科學(xué)家的出現而減弱。
如果非要進(jìn)行對比，那就是科學(xué)家得適應新技術(shù)的出現和運用，適應角色定位將出現的變化，“向食物鏈上游移動(dòng)”。
而且，AI科學(xué)家是否真的能提出真正的新范式，還有待觀(guān)察。
畢竟這玩意兒現在還是建立在Transformer之上的。
它能提出跟Transformer或Diffusion Model一樣厲害的東西嗎？甚至是人工神經(jīng)網(wǎng)絡(luò )或信息論這樣的理論概念？
咱也不知道，咱也不敢說(shuō)。
Sakana AI還寫(xiě)下這樣一段話(huà)：
我們相信AI科學(xué)家將成為人類(lèi)科學(xué)家的偉大伙伴。
但只有時(shí)間才能證明，人類(lèi)的創(chuàng )造力本質(zhì)和偶然創(chuàng )新時(shí)刻，在多大程度上可以通過(guò)人工進(jìn)行的開(kāi)放式發(fā)現，來(lái)復制“奇跡”。
△Sakana AI：一條全自動(dòng)AI小魚(yú)兒正在探索它的世界
來(lái)自Transformer作者創(chuàng )業(yè)公司
這次完成“新造的人”的公司，Sakana AI，嚴格意義上也是咱們的老朋友了。
由Transformer論文8位作者的最后一位Llion Jones創(chuàng )業(yè)成立，目標是做一家“世界級人工智能研究室”。
公司base東京，而sakana是日語(yǔ)“魚(yú)”（さかな）的羅馬讀音。
可能出于公司文化考慮，Llion還在領(lǐng)英上標明，自己起了個(gè)日語(yǔ)音譯名字：ライオン（也就是Lion獅子的片假名；以下親切簡(jiǎn)稱(chēng)他獅子哥）。
去年8月，公司宣布成立。
當時(shí)獅子哥毫無(wú)避諱地表示，自個(gè)兒對谷歌沒(méi)有惡意，但谷歌確實(shí)讓他有“被困住的感覺(jué)”。
創(chuàng )業(yè)之前，獅子哥在谷歌已經(jīng)干了8年。
△猜猜漏了半張臉的是誰(shuí)
他本碩畢業(yè)于伯明翰大學(xué)，在Delcam、油管、谷歌都工作過(guò)，谷歌是他待得最久的一家公司。
據FourWeekMBA介紹稱(chēng)，在他之前的工作經(jīng)歷中，“曾兩度與谷歌的工作擦肩而過(guò)”。
第一次是他剛畢業(yè)找工作時(shí)，雖然投了谷歌倫敦軟件工程師的簡(jiǎn)歷，并通過(guò)了兩輪電話(huà)面試，但最終相比谷歌，他選擇了位于英國的CAD/CAM軟件公司Delcam。
值得一說(shuō)的是，在拿下谷歌offer前，恰巧遇上2009年的經(jīng)濟危機，獅子哥找不到工作，好幾個(gè)月都只能靠領(lǐng)取救濟金勉強度日。
第二次是工作18個(gè)月后，他又接到了谷歌的招聘電話(huà)，詢(xún)問(wèn)他是否想重新申請，但他依舊沒(méi)去谷歌，而是隨后加入了YouTube。
在Youtube做三年軟件工程師期間，他對人工智能產(chǎn)生興趣，自學(xué)了Coursera的機器學(xué)習課程，并終于在2015年的時(shí)候加入谷歌研究院，擔任里面的高級軟件工程師。
也正是在此期間，他與其他七名作者一起發(fā)表了那篇著(zhù)名的Transformer論文Attention Is All You Need。
除此之外，獅子哥也在谷歌參與了不少研究，包括ProtTrans、Tensor2Tensor等。
之所以選擇離開(kāi)谷歌，是因為公司目前已經(jīng)發(fā)展到一種規模，使得他無(wú)法繼續進(jìn)行自己想做的工作。
除了每天都在浪費精力排查其他人的bug，他還需要花時(shí)間從這家公司中找資源，試圖獲得訪(fǎng)問(wèn)某些數據的權限。
創(chuàng )業(yè)過(guò)后，Sakana AI的工作在有序推進(jìn)。
在祭出AI科學(xué)家和AI審稿人之前，還出過(guò)大模型合并進(jìn)化算法，以及研究Tranformer內部信息流動(dòng)。
至于A(yíng)I科學(xué)家、AI審稿人項目，由Sakana AI、牛津、UBC合作完成。
三位共同一作分別是：
Chris Lu，Sakana AI的實(shí)習生，任公司研究科學(xué)家。
他本科畢業(yè)于UC伯克利，目前牛津大學(xué)三年級博士在讀，導師是Jakob Foerster。
Chris目前的重要研究方向，是將進(jìn)化啟發(fā)的技術(shù)應用于元學(xué)習和多智能體強化學(xué)習。
2022年夏天，他曾在DeepMind以研究科學(xué)家身份實(shí)習過(guò)。
Cong Lu，UBC（不列顛哥倫比亞大學(xué)）博士后研究員，導師是Jeff Clune。
Cong曾在RGU（羅伯特戈登大學(xué)）就讀，2019年在牛津大學(xué)拿下博士學(xué)位，他的主要研究方向是開(kāi)放式強化學(xué)習和AI科學(xué)發(fā)現。
此前，他曾在Waymo和微軟實(shí)習過(guò)。
Robert Tjarko Lange，Sakana AI的創(chuàng )始成員之一，也是該公司的研究科學(xué)家。
目前，他在柏林工業(yè)大學(xué)完成自己的博士生最后一年學(xué)業(yè)，研究方向是進(jìn)化元學(xué)習。
這位小哥在倫敦帝國理工學(xué)院獲得計算機碩士學(xué)位，在龐培法布拉大學(xué)獲得數據科學(xué)碩士學(xué)位，在科隆大學(xué)獲得了經(jīng)濟學(xué)本科學(xué)位。
去年，他在Google DeepMind的東京團隊中擔任全職學(xué)生研究員。
論文地址：
參考鏈接：
021yin.com/SakanaAILabs/status/1823178623513239992[2]/
End
本文轉載自“量子位”，原標題《首位AI科學(xué)家問(wèn)世！已獨立生成10篇學(xué)術(shù)論文，還順手搞了AI審稿人》。
為分享前沿資訊及有價(jià)值的觀(guān)點(diǎn)，太空與網(wǎng)絡(luò )*轉載此文，并經(jīng)過(guò)編輯。
未按照規范轉載及引用者，我們保留追究相應責任的權利
部分圖片難以找到原始出處，故文中未加以標注，如若侵犯了您的權益，請第一時(shí)間聯(lián)系我們。
HISTORY/往期推薦
商業(yè)火箭，想說(shuō)愛(ài)你不容易——（一）中途夭折的商業(yè)火箭起步之旅
商業(yè)火箭，想說(shuō)愛(ài)你不容易——（二）難以復制的SpaceX
商業(yè)火箭，想說(shuō)愛(ài)你不容易——（三）中國商業(yè)火箭未來(lái)之路怎么走？
充滿(mǎn)激情的新時(shí)代，
充滿(mǎn)挑戰的新疆域，
與踔厲奮發(fā)的引領(lǐng)者，
卓爾不群的企業(yè)家，
一起開(kāi)拓，
一起體驗，
一起感悟，
共同打造更真品質(zhì)，
共同實(shí)現更高價(jià)值，
共同見(jiàn)證商業(yè)航天更大的跨越！
——《太空與網(wǎng)絡(luò )》，觀(guān)察，記錄，傳播，引領(lǐng)。
·《衛星與網(wǎng)絡(luò )》編輯委員會(huì )
高級顧問(wèn)：王國玉、劉程、童旭東、相振華、王志義、楊烈
·《衛星與網(wǎng)絡(luò )》創(chuàng )始人：劉雨菲
·《衛星與網(wǎng)絡(luò )》副社長(cháng)：王俊峰
·*（ID：satnetdy）團隊
編輯：艷玲、哈玫，周泳、邱莉、黃榕、娜娜
主筆記者：李剛、魏興、張雪松、霍劍、樂(lè )瑜、稻子、趙棟
策劃部：楊艷、若?、李真子
視覺(jué)總監：董濘
專(zhuān)業(yè)攝影：馮小京、宋偉
設計部：顧錳、潘希峎、楊小明
行政部：姜河、林紫
業(yè)務(wù)部：王錦熙、瑾怡
原創(chuàng )文章轉載授權、轉載文章侵權、投稿等事宜，請加*：15910858067
商務(wù)合作；展覽展廳設計、企業(yè)VI/CI及室內設計、企業(yè)文化建設及品牌推廣；企業(yè)口碑傳播及整體營(yíng)銷(xiāo)傳播等，請加*：13811260603
雜志訂閱，請加*：wangxiaoyu9960
·衛星與網(wǎng)絡(luò )各分部：
成都分部負責人：沈淮
長(cháng)沙分部負責人：賓鴻浦
西安分部負責人：郭朝暉
青島分部負責人：江偉
·衛星與網(wǎng)絡(luò )總部負責人：農燕
·會(huì )議活動(dòng)部負責人：?jiǎn)填椧?、許克新、董今福
· 投融資及戰略層面合作：劉雨菲
·本平臺簽約設計公司：一畫(huà)開(kāi)天（北京）文化創(chuàng )意設計吉印通
·航天加（深圳）股權投資基金管理負責人：楊艷
