打開(kāi)大模型的無(wú)限可能，云棲通道看AI產(chǎn)業(yè)應用
極目新聞?dòng)浾?周丹
9月19日-21日，2024云棲大會(huì )在杭州西湖區云棲小鎮舉行。20日，云棲通道如約開(kāi)放。
這是一個(gè)為廣大AI產(chǎn)業(yè)從業(yè)者、創(chuàng )業(yè)者以及大模型開(kāi)發(fā)者提供的專(zhuān)屬交流平臺。來(lái)自教育、智能體應用、智能駕駛、人形機器人等多個(gè)AI應用領(lǐng)域的科學(xué)家、開(kāi)發(fā)者、技術(shù)代表等在現場(chǎng)分享最新行業(yè)動(dòng)態(tài)，與現場(chǎng)嘉賓進(jìn)行深入交流，共同見(jiàn)證AI技術(shù)的發(fā)展與應用。
超擬人一對一AI老師，幫助教育更智能
輔導孩子作業(yè)太心累？請家教不僅費用高、效果也難以保證？別擔心，這些都不是問(wèn)題。
云棲通道剛開(kāi)啟，精準學(xué)AI科學(xué)家張寧就為家長(cháng)、老師群體帶來(lái)了“減負神器”——超擬人一對一AI老師。
精準學(xué)AI科學(xué)家張寧
這位“老師”不僅能像GPT一樣講題目，更關(guān)鍵的是，TA就像你花2、300元一個(gè)小時(shí)請的一對一私人老師一樣，能有規劃、有體系地對孩子進(jìn)行一對一學(xué)習輔導，還能運用不同的教學(xué)技巧，實(shí)時(shí)調整教學(xué)內容。
那么，靠譜嗎？究竟是何原理？
張寧介紹，超擬人一對一AI老師是在通義千問(wèn)的基礎大模型上，利用私有數據，訓練出了精準學(xué)自己的教育垂直大模型——心流大模型。同時(shí)面向學(xué)科知識教學(xué)優(yōu)化了語(yǔ)音識別與語(yǔ)音合成技術(shù)。“為了做到更好的情緒識別，我們還在通義千問(wèn)開(kāi)源大模型上重新訓練了語(yǔ)音-語(yǔ)音端到端的大模型，不經(jīng)過(guò)語(yǔ)音-文字的互轉，這將成為未來(lái)我們的主要模型。”
推向市場(chǎng)方面，目前，超擬人一對一AI老師主要是以學(xué)習機為載體，在各大電商平臺銷(xiāo)售，并且與釘釘教育有深度合作。
為何會(huì )想到研究這樣一款產(chǎn)品呢？
張寧表示，不論是成人還是兒童，都會(huì )遇到被授課、被指導、被答疑的過(guò)程，這一過(guò)程過(guò)去都是由真人來(lái)完成，而技術(shù)沒(méi)有能力做到。“但是從2023年之后，隨著(zhù)通義千問(wèn)等大模型的發(fā)展，技術(shù)逐漸有能力做到這一點(diǎn)，所以我們研發(fā)了這一產(chǎn)品，是對市場(chǎng)上教育產(chǎn)品的有益的補充。”
全新智能座艙AI技術(shù)，讓車(chē)生活更聰明
今年的云棲大會(huì )，“自動(dòng)駕駛”無(wú)疑是最熱門(mén)的話(huà)題之一，特斯拉、小鵬、零跑等國內外頭部車(chē)企“組團”參展。而在云棲通道開(kāi)放現場(chǎng)，斑馬智行首席產(chǎn)品官蔡明，則帶來(lái)了車(chē)生活的相關(guān)分享。
斑馬智行首席產(chǎn)品官蔡明
蔡明介紹，此前斑馬智行吉印通通義發(fā)布了全新智能座艙AI技術(shù)品牌：元神AI，同時(shí)展示了基于英偉達OrinX平臺、通義端側多模態(tài)大模型的智艙AI技術(shù)能力。
元神AI旨在推動(dòng)解決觸控交互/命令式語(yǔ)音交互和APP服務(wù)帶來(lái)的座艙體驗不佳、服務(wù)使用低頻等問(wèn)題，通過(guò)交互變革和服務(wù)重塑，加速智能座艙“iPhone時(shí)刻”到來(lái)。元神AI核心建構是“1+3”技術(shù)體系，同時(shí)以AliOS和廣泛的芯片生態(tài)為基礎設施底座。1是自然交流，人與車(chē)交互如同人與人交流一樣自然；3包含，感知場(chǎng)景（Echo AI），實(shí)現車(chē)內全艙位、車(chē)外多視角、時(shí)空世界感知，全工況可用；組織服務(wù)（Eco AI）：打破APP限制，以用戶(hù)為中心組織原子化服務(wù)，結合場(chǎng)景提供給用戶(hù)。認知成長(cháng)（Evo AI）：基于用戶(hù)畫(huà)像圖譜不斷學(xué)習實(shí)現認知成長(cháng)，并確保用戶(hù)隱私安全。
“有人說(shuō)未來(lái)會(huì )‘ALL IN大模型’，我反過(guò)來(lái)希望是‘AI IN ALL’。”蔡明表示，希望在整個(gè)座艙的每一個(gè)環(huán)節，AI都能更好地提升用戶(hù)體驗，并且增加產(chǎn)品競爭力，“在未來(lái)，斑馬智行會(huì )推出全自研自然語(yǔ)言交互方案，來(lái)代替Touch交互。同時(shí)，我們吉印通生態(tài)伙伴一起，推動(dòng)智能座艙應用AI化，打造更多端到端的智艙生活服務(wù)Agent，來(lái)替代APP生態(tài)，我們一起期待。 ”
開(kāi)源大模型靈活運用，給AI機器人注入了靈魂
一個(gè)指令，人形機器人就能完成唱跳RAP、搬運貨物、巡線(xiàn)避障、花式足球等高難度動(dòng)作。在云棲大會(huì )計算館的通義靈碼展位，“素人”都能掌控的小型機器人，吸引了眾多觀(guān)眾的眼球。這項技術(shù)是由個(gè)人開(kāi)發(fā)者、知名技術(shù)博主張子豪研發(fā)，他也在云棲通道上展示了這一成果。
個(gè)人開(kāi)發(fā)者、知名技術(shù)博主張子豪
“這款用Qwen2開(kāi)發(fā)的人形機器人，基于幻爾TonyPi人形機器人，通過(guò)開(kāi)源AI推理框架OpenVINO，在輕薄筆記本上本地部署端側AI開(kāi)源大模型通義千問(wèn)Qwen2-7B-Instruct，使用AI編程助手‘通義靈碼’輔助編程開(kāi)發(fā)和文檔撰寫(xiě)。”張子豪介紹，人類(lèi)輸入模糊語(yǔ)音指令，智能體Agent就能自主思考，調用23種原子動(dòng)作Function Call，編排生成依次執行的動(dòng)作列表及函數參數。
神奇之處在哪？
“其實(shí)機器人已經(jīng)是一個(gè)非常成熟的行業(yè)，為什么最近幾年這么火？因為大模型出現了，能夠真正給機器人注入靈活性。”張子豪向現場(chǎng)嘉賓解釋道，之前的機器人，不管它多么復雜，能打乒乓球也好，能搬東西也好，都是根據固定的指令去完成固定的動(dòng)作，沒(méi)法實(shí)現泛化性、多樣性、通用性操作和對指令的理解。
“而大模型的最大好處就是AGI通用人工智能，它可以把任意指令翻譯成機器人的動(dòng)作，能夠讓機器人真正理解海量世界的知識。”張子豪說(shuō)，比如他之前做過(guò)一個(gè)機器人，讓其機械臂把綠色方塊搬到印有小豬佩奇照片的指定處。之前，要讓機器人認識李小豬佩奇，得專(zhuān)門(mén)訓練一個(gè)模型，讓它先認識小豬佩奇。但是現在借助多模態(tài)大模型，機器人天生就具備這個(gè)能力，它天生就知道小豬佩奇是誰(shuí)。如此一來(lái)，人類(lèi)可以跟機器人說(shuō)任意的指令，它都可以理解，所以泛化性能是當前具身智能大模型之后引爆的一個(gè)熱點(diǎn)。
AI提示詞打開(kāi)大模型無(wú)限可能，主流平臺廣泛采用
云中江樹(shù) LangGPT 社區創(chuàng )始人
多位分享者現場(chǎng)提到了給AI下指令，那么這個(gè)指令究竟該怎么下？其實(shí)也是有講究的。AI 提示詞——打開(kāi)大模型的無(wú)限可能，云中江樹(shù) LangGPT 社區創(chuàng )始人就分享了他和AI提示詞的故事：“在過(guò)去一年多的時(shí)間里，我們一直在研究提示詞能夠給大模型帶來(lái)怎樣的一些可能性，也做了很多探索。”
據了解，LangGPT 提示詞社區成立于2023年，是國內首個(gè)專(zhuān)注于提示工程的開(kāi)源社區，也是目前最大最活躍的提示詞工程師交流平臺。自主研發(fā)了提示詞自動(dòng)化生成優(yōu)化、模板庫、在線(xiàn)編輯器、漢語(yǔ)新解等工具，并構建了系統的學(xué)習、分享、沉淀高質(zhì)量提示詞知識庫, 在 GitHub 社區獲得數萬(wàn)星標，全網(wǎng)數百萬(wàn)瀏覽量，已成為國內最流行的提示詞方法論。
該創(chuàng )始人介紹，LangGPT已與多家頭部AI公司合作，如為阿里通義開(kāi)發(fā)官方提示詞模板，與月之暗面 kimi 共同推出提示詞專(zhuān)家助手，為吉印通文心一言、書(shū)生浦語(yǔ)大模型等分享提示工程進(jìn)階知識，為華為大模型落地應用提供咨詢(xún)，為清華北大等985高校學(xué)子授課，為多家上市公司開(kāi)展AI培訓，吉印通發(fā)起中國提示詞工程師大會(huì )等。
截至2024年9月，LangGPT已服務(wù)數十萬(wàn)開(kāi)發(fā)者和AI愛(ài)好者，其方法論被吉印通、字節、華為、智譜等主流大模型平臺廣泛采用。
“提示詞門(mén)檻不高、沒(méi)有壁壘的問(wèn)題，對我來(lái)說(shuō)這不是劣勢，恰恰是優(yōu)勢。”該創(chuàng )始人誠懇地向在場(chǎng)嘉賓發(fā)出了邀請：“這意味著(zhù)在座各位只要有意愿、有能力，都可以參與進(jìn)來(lái)，更好地感受到AI的魅力。這也是我們過(guò)去一直在做的事情，希望讓更多的人用好AI。”
代表中國站上世界舞臺，高中生用AI打國際比賽
更多人參與AI、用好AI，正在成為現實(shí)。本場(chǎng)云棲通道最后一位分享者——復旦大學(xué)附屬中學(xué)通用技術(shù)教師、復旦附中FRC機器人戰隊的劉燁老師，現場(chǎng)講述了他和孩子們到美國參加機器人大賽的故事，鼓舞了現場(chǎng)一眾家長(cháng)培養孩子學(xué)習AI的熱情。
復旦大學(xué)附屬中學(xué)通用技術(shù)教師劉燁
劉燁介紹，復旦附中FRC機器人戰隊成立于2017年，隊號6907，意思是世界上第6907支FRC戰隊。FIRST Robotics Competition（FRC）由美國著(zhù)名非營(yíng)利性機構FIRST主辦，是目前全球青少年機器人賽事中水平最高且最具觀(guān)賞性與挑戰性的賽事，復旦附中FRC機器人戰隊是一支具有良好建設基礎的學(xué)生創(chuàng )新團隊。
“我們今年機器人視覺(jué)用的就是阿里云服務(wù)器的平臺，通過(guò)這個(gè)訓練之后，我們可以做到在攝像頭掃到二維碼標識之后，它可以實(shí)現自動(dòng)化的動(dòng)作，輔助我們比賽的時(shí)候得到更好的效果。”劉燁表示。
依托復旦大學(xué)和上海交通大學(xué)豐富的資源，致力于機器人學(xué)習與建造，基于每年的賽事，在三維建模、機械加工、工程搭建、程序控制、人工智能、力學(xué)原理、基本運動(dòng)學(xué)、工程材料基礎等領(lǐng)域，為學(xué)生提供了綜合創(chuàng )新素質(zhì)培育的實(shí)踐平臺。該團隊多次獲得國內外區域賽冠軍、區域賽主席獎等獎項，多次代表中國站在世界總決賽舞臺上，培養了一大批富有創(chuàng )新潛力的優(yōu)秀學(xué)生。
除了機器人比賽，學(xué)校在日常教學(xué)中，也已經(jīng)廣泛應用了AI。“我們有一門(mén)課就叫‘AI+課程’，基于和通義實(shí)驗室的合作，比如我們老師出試卷，以前我們是在一個(gè)題庫里面找題，老師們去改一些數據、改一些題型、題干等。”劉燁說(shuō)，但現在，老師們可以直接把知識點(diǎn)、考試范圍告訴通義大模型，題目就可以自動(dòng)生成，更加智能和科學(xué)，“這就是AI的魅力，相信未來(lái)，AI還能帶給我們更多改變和驚喜。”
（來(lái)源：極目新聞）
