騰訊研究院AI速遞 20240715
生成式AI
一、OpenAI AGI路線(xiàn)圖曝光：18個(gè)月內實(shí)現博士級AI，十年內達成AGI
1.OpenAI公布五級AGI路線(xiàn)圖，L1為對話(huà)AI，L2為具備博士級推理能力的AI，預計18個(gè)月內實(shí)現L2；
2.AGI將分階段發(fā)展，最終L5為完全組織能力的AI，OpenAI目標是十年內實(shí)現AGI；
3.OpenAI強調安全性和不斷收集反饋，以?xún)?yōu)化和調整AGI定義和路線(xiàn)圖。
021yin.com/s/wrOA5PtEWmkq4z-Tv04eNw
二、OpenAI前身為Q*的秘密項目「草莓」曝光：高級推理AI將實(shí)現長(cháng)期任務(wù)規劃
1.OpenAI秘密項目「草莓」旨在開(kāi)發(fā)具有高級推理能力的AI，前身為Q*，能自主瀏覽互聯(lián)網(wǎng)并進(jìn)行深度研究；
2.「草莓」項目使用后訓練方法微調基礎模型，類(lèi)似斯坦福的STaR，通過(guò)迭代創(chuàng )建自己的訓練數據提升智能水平；
3.該項目目標是實(shí)現長(cháng)期任務(wù)規劃，提升AI在科學(xué)發(fā)現和軟件開(kāi)發(fā)等復雜任務(wù)中的表現，內部評估已顯示出顯著(zhù)進(jìn)展。
021yin.com/s/Hq-5aIQtjER_N9j5l6Mu4g
三、英偉達支持下的FlashAttention-3問(wèn)世：速度提升16倍，充分發(fā)揮H100潛力
1.FlashAttention-3利用英偉達H100架構特性，優(yōu)化了生產(chǎn)者-消費者模型和乒乓調度策略，提高了GPU計算效率；
2.采用分塊量化和非相干處理技術(shù)，實(shí)現了更高的FP8精度，與傳統方法相比，精度提高2.6倍；
3.在前向傳播和后向傳播測試中，FlashAttention-3速度比標準Attention快16倍，比前代快1.5-2倍，充分利用了計算資源。
021yin.com/s/0YrHdL9bEtAZpgYy2REkZw
四、微軟與MIT合作破解Transformer推理，6700萬(wàn)參數模型竟匹敵GPT-4！
1.微軟與MIT吉印通研究，開(kāi)發(fā)僅有6700萬(wàn)參數的微型Transformer，通過(guò)因果模型訓練，達到媲美GPT-4的推理能力；
2.新訓練范式利用公理框架直接教導模型學(xué)習因果推理，無(wú)需干預實(shí)驗；
3.該研究得到了Yann LeCun等行業(yè)大佬的支持，展示了LLM在因果推理上的潛力及重要性。
021yin.com/s/ySRE3MaEH539vqrWDi6KBQ
五、劍橋耶魯等推物理神經(jīng)網(wǎng)絡(luò )（PNN），AI模型擴展1000倍的關(guān)鍵技術(shù)
1.物理神經(jīng)網(wǎng)絡(luò )（PNN）通過(guò)利用光學(xué)、光子學(xué)和模擬電子學(xué)，解決當前AI系統高能耗、低吞吐率和高延遲問(wèn)題；
2.PNN訓練方法多樣，包括計算模擬、物理感知反向傳播訓練和零階梯度訓練等，各有利弊；
3.量子計算、概率計算和光學(xué)神經(jīng)網(wǎng)絡(luò )是PNN的未來(lái)發(fā)展方向，有望顯著(zhù)提高AI模型效率和擴展性。
021yin.com/s/XjU-r2rKGWaatObzdh5TGw
六、Meta創(chuàng )新AI“快慢思考”融合，極大提升Llama2性能
1.項目Meta通過(guò)將系統2的“慢思考”結果蒸餾進(jìn)系統1的“快思考”模型，大幅提升Llama2表現，實(shí)現了比GPT-4更高的性能；
2.系統2方法包括CoT、S2A、RaR、BSM，通過(guò)生成推理數據和一致性、魯棒性篩選，形成高質(zhì)量蒸餾數據；
3.微調后的Llama2在多個(gè)任務(wù)上超過(guò)GPT-4和原始系統2模型，顯著(zhù)降低推理成本和token數量。
021yin.com/s/l-fGuCMvnRngznYbmqOWhA
七、清華CharacterGen突破：1分鐘單圖生成高質(zhì)量3D角色，入選SIGGRAPH
1.清華大學(xué)和VAST團隊開(kāi)發(fā)了CharacterGen框架，通過(guò)兩階段生成模式在1分鐘內將單張圖像生成高質(zhì)量3D角色；
2.CharacterGen利用多視角人物圖像生成器和三維重建模型，結合紋理投影策略，實(shí)現高一致性和高質(zhì)量三維人物模型；
3.通過(guò)Anime3D數據集訓練和多項評估指標測試，CharacterGen在紋理質(zhì)量、一致性和幾何質(zhì)量上均優(yōu)于現有方法。
021yin.com/s/FXmgjAn-nGC96bfKsnaC2Q
前沿科技
八、清華類(lèi)腦神經(jīng)計算模型Dendristor：高能效AI新突破，登Nature子刊
1.清華團隊開(kāi)發(fā)出類(lèi)腦神經(jīng)計算模型Dendristor，模擬樹(shù)突結構和突觸特性，實(shí)現高能效視覺(jué)感知；
2.Dendristor利用離子摻雜溶膠-凝膠膜，多柵極晶體管，表現出非線(xiàn)性樹(shù)突整合和方向選擇性；
3.該系統通過(guò)稀疏連接和靜默突觸優(yōu)化信號處理，提高能效，未來(lái)研究將擴展至多模態(tài)電路和其他AI任務(wù)。
021yin.com/s/3QoTisya0hE4ilwl3z7m_Q
報告觀(guān)點(diǎn)
九、OpenAI解析LLM幻覺(jué)：理解成因與創(chuàng )新方法應對
1.LLM幻覺(jué)包括上下文幻覺(jué)和外源性幻覺(jué)；避免外源性幻覺(jué)需確保模型實(shí)事求是，并在不知時(shí)表示不知；
2.檢測幻覺(jué)方法包括檢索增強式評估、基于采樣檢測和對未知知識進(jìn)行校準，方法各有優(yōu)缺點(diǎn)；
3.反幻覺(jué)方法包括RAG、編輯與歸因、動(dòng)作鏈和微調，通過(guò)外部知識和驗證流程提高生成結果準確性。
021yin.com/s/UGcui0rLW2Vz7y2Mt4atqA
十、OpenAI首位投資人Vinod Khosla預測未來(lái)10年生產(chǎn)力飛躍與中美技術(shù)競賽
1.AI將在未來(lái)5-10年內帶來(lái)巨大的生產(chǎn)力增長(cháng)，專(zhuān)業(yè)知識服務(wù)變得廉價(jià)甚至免費；
2.AI將引發(fā)收入差距擴大和經(jīng)濟通縮，小公司將率先應用這些技術(shù)，逐漸擴展到更大規模企業(yè)；
3.中美技術(shù)經(jīng)濟戰中，贏(yíng)得AI競賽的國家將擁有巨大經(jīng)濟影響力和政策主導權。
021yin.com/s/jn8tfp0n6dzDBk41EnffAg
??訂閱下方合集，獲取每日推送
