騰訊研究院AI速遞 20240709
生成式AI
一、 單卡A100百萬(wàn)token推理，速度快10倍，微軟推理加速新方法
1. 微軟研究加速單卡A100機器處理超過(guò)1M token的推理速度提升10倍;
2. MInference采用動(dòng)態(tài)稀疏注意力，無(wú)需修改預訓練設置即可提高長(cháng)上下文LLM的預填充階段效率;
3. 通過(guò)實(shí)際應用測試證明，MInference能在保持準確性的同時(shí)，顯著(zhù)降低處理延遲。
021yin.com/s/aeGqsPIKnnNZEW-i02TcMw
二、 第3種記憶：比參數存儲和RAG都便宜，2.4B模型越級打13B
1. Memory3引入了第三種記憶形式，成本低于傳統參數存儲和RAG，提高了大模型處理專(zhuān)業(yè)領(lǐng)域任務(wù)的速度和準確性;
2. 該技術(shù)通過(guò)將常用知識轉化為顯式記憶，優(yōu)化了知識的存儲和提取效率，有效解放模型參數;
3. Memory3通過(guò)壓縮和優(yōu)化技術(shù)，將顯式記憶的存儲需求大幅降低，同時(shí)減少了在推理過(guò)程中的內存占用和IO開(kāi)銷(xiāo)。
021yin.com/s/w2eaoHjOK9mgGb7FAqpH8w
三、 騰訊大模型工具鏈全面升級，專(zhuān)注生產(chǎn)力，加速模型場(chǎng)景落地！
1. 騰訊推動(dòng)大模型工具鏈全面升級，涵蓋基礎設施、開(kāi)發(fā)平臺到多元智能應用，加速企業(yè)場(chǎng)景落地;
2. 混元大模型采用MoE架構，參數量達萬(wàn)億級，支持超高容量token處理，優(yōu)化智能生產(chǎn)力應用;
3. 引入PaaS工具如大模型知識引擎和創(chuàng )作引擎，降低使用門(mén)檻，支持快速開(kāi)發(fā)和多場(chǎng)景應用。
021yin.com/s/gggJZ9QC5g9kl5iXkaULMg
四、 哈佛DeepMind在世界模擬器馴養「賽博老鼠」，開(kāi)辟虛擬神經(jīng)科學(xué)
1. 哈佛大學(xué)與DeepMind合作開(kāi)發(fā)了AI驅動(dòng)的虛擬大鼠，模擬真實(shí)嚙齒動(dòng)物的動(dòng)作和行為;
2. 創(chuàng )立虛擬神經(jīng)科學(xué)領(lǐng)域，通過(guò)高分辨率的實(shí)際數據訓練的人工神經(jīng)網(wǎng)絡(luò )控制虛擬大鼠，預測真實(shí)大鼠的神經(jīng)活動(dòng);
3. 該研究將幫助理解大腦產(chǎn)生復雜行為的機制，提供了一個(gè)透明、便捷的平臺，也可用于改進(jìn)機器人控制系統。
021yin.com/s/Tk9U4pS7WNqRX8gZklkREQ
五、 幾分鐘生成四維內容，還能控制運動(dòng)效果：北大、密歇根提出DG4D
1. DG4D技術(shù)結合空間變換顯式建模和靜態(tài)3D Gaussian Splatting，實(shí)現高效四維內容生成;
2. 通過(guò)圖像到4D GS和視頻到視頻紋理細化兩大模塊，大幅優(yōu)化生成速度并提升運動(dòng)效果的控制;
3. 將四維內容生成時(shí)間從數小時(shí)減少到幾分鐘，支持在三維引擎中真實(shí)渲染，增強視覺(jué)效果和應用潛力。
021yin.com/s/6RruiXtoatqjmMoxW8M3gw
六、 將GPT接入《星際穿越》中的 TARS 機器人，開(kāi)源教程和代碼
1. 使用樹(shù)莓派3B+和Adafruit PCA-9685伺服驅動(dòng)器構建高仿真度的TARS機器人，具備基本的行走和互動(dòng)功能;
2. 機器人通過(guò)雙NiMH電池組供電，支持通過(guò)藍牙遙控器遠程控制，顯示信息由5英寸HDMI顯示器提供;
3. 開(kāi)發(fā)過(guò)程中優(yōu)化步態(tài)控制算法和電源管理，未來(lái)計劃引入機器學(xué)習技術(shù)和增加更多傳感器以提高交互能力。
021yin.com/s/EM3IgYfg1MmOStec7uVQXQ
七、 阿里發(fā)布開(kāi)源語(yǔ)音交互模型 FunAudioLLM ，展現各種語(yǔ)音黑科技
1. FunAudioLLM包括SenseVoice和CosyVoice兩個(gè)模塊，前者擅長(cháng)多語(yǔ)言語(yǔ)音識別和情緒分析，后者專(zhuān)注于自然語(yǔ)音生成;
2. SenseVoice支持超過(guò)50種語(yǔ)言，具備音頻事件檢測功能；CosyVoice可以進(jìn)行多語(yǔ)言語(yǔ)音生成和音色情感控制;
3. 該模型框架已開(kāi)源，可應用于語(yǔ)音翻譯、情感語(yǔ)音聊天、交互式播客和有聲讀物，推動(dòng)自然語(yǔ)音交互技術(shù)的發(fā)展。
021yin.com/s/0lsYq31Hh_l0sIuQ52Qt7A
前沿科技
八、 優(yōu)于A(yíng)lphaFold，全原子采樣，一種預測肽結構的AI方法登Nature
1. PepFlow由多倫多大學(xué)開(kāi)發(fā)，是一種全原子采樣的AI模型，能高效地從肽的允許構象空間中進(jìn)行采樣;
2. 模型優(yōu)化了全原子建模的高成本問(wèn)題，通過(guò)超網(wǎng)絡(luò )預測序列特定的網(wǎng)絡(luò )參數，顯著(zhù)減少了傳統方法的運行時(shí)間;
3. PepFlow的能力超越了AlphaFold，能夠生成肽的多種構象，為肽結構的預測和藥物開(kāi)發(fā)提供強大支持。
021yin.com/s/aAZL8lercjTlx7OLIMvgUA
報告觀(guān)點(diǎn)
九、 2024WAIC閉幕，我們整理了場(chǎng)內場(chǎng)外業(yè)界大佬AI辯論的“修羅場(chǎng)”
1. 開(kāi)源與閉源辯論：開(kāi)源派認為共享促進(jìn)技術(shù)創(chuàng )新和防止壟斷，閉源派看重商業(yè)利益和性能優(yōu)化，各有支持者論證各自立場(chǎng)的合理性和優(yōu)勢;
2. 實(shí)際應用重要性：大佬們較一致認為，應將關(guān)注點(diǎn)從模型本身轉移到具體應用上，如何通過(guò)大模型開(kāi)發(fā)出滿(mǎn)足市場(chǎng)需求的AI應用更為關(guān)鍵;
3. 創(chuàng )新源于開(kāi)放：盡管閉源模型在某些領(lǐng)域表現優(yōu)越，但開(kāi)源模型由于其廣泛的貢獻者和驗證，并有趕上甚至超過(guò)閉源模型的潛力。
021yin.com/s/t3yYaI-5ckDFqLuFJVfPdA
十、 紅杉美國合伙人：AI 不會(huì )取代軟件，而是帶來(lái)新的商業(yè)模式和機會(huì )
1. AI技術(shù)正處于轉折點(diǎn)，將創(chuàng )造新商業(yè)模式和機會(huì )，特別是在服務(wù)行業(yè)，如法律和會(huì )計等領(lǐng)域，這些行業(yè)的文本處理工作流程非常適合AI技術(shù)應用;
2. 穩定的基礎AI模型對整個(gè)AI生態(tài)系統發(fā)展至關(guān)重要，這種穩定性支持企業(yè)更有效地預測和構建應用程序，推動(dòng)工程化優(yōu)化和認知架構設計;
3. 盡管AI將帶來(lái)新的服務(wù)模式，人際關(guān)系和實(shí)際執行任務(wù)將繼續依賴(lài)人工，不會(huì )被AI完全取代。
021yin.com/s/pvc4fuRKFIi5g8ispYXCGw
??訂閱下方合集，獲取每日推送
