01狂飆的Agent—Agent 2023大事記

“如果一篇論文提出了某種不同的訓(xùn)練方法，OpenAI內(nèi)部會嗤之以鼻，認(rèn)為都是我們玩剩下的。但是當(dāng)新的AI Agent論文出來時，我們會十分認(rèn)真且興奮地討論。普通人、創(chuàng)業(yè)者和極客在構(gòu)建AI Agents方面相比OpenAI這樣的公司更有優(yōu)勢?！?-- OpenAI聯(lián)創(chuàng)Andrej Karpathy

如果說現(xiàn)在還有什么AI領(lǐng)域的“點子”能讓OpenAI為之興奮，那非Agent莫屬。從一個學(xué)界研究的概念到走入大眾視野，Agent只用了短短不到一年時間。如果大模型是未來水電煤一般的基礎(chǔ)設(shè)施，那么Agent則是未來用戶接觸、使用AI的方式。我們梳理了今年Agent狂飆突進的重要milestone，從中也可以窺見它的核心發(fā)展脈絡(luò)。

2023.3.16，微軟發(fā)布Microsoft 365 Copilot，引發(fā)業(yè)界巨大反響，提示了一種基于LLM的應(yīng)用開發(fā)范式，也即今天形成行業(yè)共識的Agent。

2023.4，以AutoGPT為代表的Autonomous Agent 熱度快速躥升，AutoGPT成為GitHub歷史上star數(shù)增長最快的項目。同期比較受關(guān)注的類似項目包括：TaskMatrix.ai，HuggingGPT, AgentGPT, Toolformer, BabyAGI等等。

2023.6，OpenAI 應(yīng)用研究主管 Lilian Weng 發(fā)布博文《LLM Powered Autonomous Agents》進一步推動了agent的熱度，Lilian提出Agent = 大型語言模型+記憶+規(guī)劃技能+工具使用。

多Agent框架相繼發(fā)布，相對于單一Agent框架能夠更好地解決復(fù)雜問題。目前比較火的多Agent框架包括：Camel(4月發(fā)布，3.4k star), MetaGPT(8月發(fā)布，29.7k star), AutoGen(9月發(fā)布，微軟團隊，13.6k star)

2023.11.6，OpenAI DevDay，推出其官方Agent開發(fā)框架Assistant API，賦能開發(fā)者更加高效方便地基于GPT模型進行的Agent開發(fā)。

02 Agent Landscape概覽

Agent吸引了大量創(chuàng)業(yè)者投身其中，據(jù)我們不完全統(tǒng)計，今年下半年在海外拿到知名創(chuàng)投機構(gòu)投資的Agent項目已超過20家。在此我們做個基本梳理，方便大家了解目前市場上的整體情況： 從創(chuàng)投行業(yè)角度，當(dāng)下LLM based Agent領(lǐng)域初創(chuàng)公司可大致分為兩類：

中間層infra

提供實用可復(fù)用的Agent框架，降低開發(fā)Agent 的復(fù)雜度，并為Agent的合作提供機制設(shè)計。該類項目主要從模塊化、適配性、協(xié)作等幾方面進行創(chuàng)新。其中拿到知名機構(gòu)投資的代表項目包括：AutoGPT、Imbue、Voiceflow、Fixie AI、Reworked、Cognosys、Induced ai等。

Vertical Agent

深入某個垂直領(lǐng)域，理解該領(lǐng)域?qū)＜业墓ぷ髁?，運用Agent 思路設(shè)計Copilot產(chǎn)品，用戶介入使 Agent思路更為可控。其中拿到知名機構(gòu)投資的代表項目包括：Dropzone（安全領(lǐng)域）、Middleware（大模型可觀察性領(lǐng)域）、Parcha（Fintech領(lǐng)域）、Luda（游戲領(lǐng)域）、Outbound AI（醫(yī)療領(lǐng)域）、Fine（軟件開發(fā)領(lǐng)域）。

從Agent的互動/工作模式角度，復(fù)旦大學(xué)自然語言處理團隊（FudanNLP）在其 LLM-based Agents 綜述論文中，將Agent分成了三類：單一Agent, 多Agent以及人與Agent交互（按交互方式又分為指導(dǎo)-執(zhí)行模式和平等合作模式）。如下圖所示：

03Agent落地：場景和挑戰(zhàn)

本次沙龍參與者既有學(xué)界資深的AI研究員，也有富有實戰(zhàn)經(jīng)驗的一線Agent創(chuàng)業(yè)者。對于圍繞Agent大家關(guān)心的若干問題，我們進行了深入討論，以下是本次討論的一些精彩觀點：

Agent適合在哪些場景落地？

創(chuàng)業(yè)者們已經(jīng)嘗試了各種落地場景，總結(jié)下來，以下幾點更契合Agent的落地。

做到比人（普通員工）好

客戶不一定要求Agent達(dá)到專家水平，很多場合只要比普通員工好就夠了。Agent PK的，實際上是月薪幾千元的員工。比如，公司IT部門要響應(yīng)業(yè)務(wù)人員的各種需求（如臨時報表）。如果提供對話式UI，通過幾輪對話讓業(yè)務(wù)人員說明白需求，Agent來自動生成，做到這個，客戶已經(jīng)愿意買單了。這樣IT團隊可以從瑣碎中解脫出來，做更重要的事。

Text to SQL

Text to SQL 在企業(yè)落地上有很多案例，以上例子本質(zhì)上就是Text to SQL, 只不過多了很多新的數(shù)據(jù)來源：比如從商業(yè)化中最值錢的文檔（合同、財報、簡歷、招投標(biāo)書等）中提取數(shù)據(jù)。把這些數(shù)據(jù)連同專家知識一起灌給大模型，把信息抽出來，通過Text to SQL來回答問題，這件事已經(jīng)很值錢了，可復(fù)制性也很強。

寫代碼

幫程序員寫代碼這個場景毋庸多言。一個有趣的發(fā)現(xiàn)，是大模型些代碼大部分時間做的是寫正則表達(dá)式。正則表達(dá)式是個沒多少人會寫、但是很好用的東西。程序員調(diào)試，之前在這里經(jīng)常花很多時間，用了大模型之后發(fā)現(xiàn)很快就能解決。這帶給我們一個啟發(fā)：有很多人類不擅長但AI很擅長的細(xì)分領(lǐng)域，是最適合Agent去落地探索的。

解決頭部問題是落地關(guān)鍵

我們看到在Agent領(lǐng)域有很多漂亮的Demo, 但能否將企業(yè)轉(zhuǎn)化成為真正的長期付費者，一個核心是當(dāng)這個工具真的進入企業(yè)后，員工是不是可以真正把它用起來解決問題。Agent肯定會有不好用的地方，關(guān)鍵是要先能把大部分員工的頭部問題解決掉。做到這個，再出現(xiàn)一些小眾長尾問題，能讓大部分用戶覺得，這是人的問題而不是AI的問題，就好辦了（這種情況下，人會調(diào)整自己使用Agent的方式，比如更改詢問方式等等，通過人向AI靠攏的方式解決的一部分長尾問題）。

為什么Agent落地這么難?

目前最讓開發(fā)者頭疼的一個問題，是雖然很多Agent demo看起來能解各種問題，等真正應(yīng)用在實踐中，特別是2B業(yè)務(wù)流程中，好像總是不工作。這也是為什么Agent被很多用戶戲稱為“玩具”——Agent想要真正落地非常難，但只有解決了這個問題才能開啟商業(yè)化的道路。這可能是Agent領(lǐng)域最關(guān)鍵的問題之一，圍繞Agent為何落地困難我們進行了深入探討，總結(jié)了實踐中碰到的挑戰(zhàn)以及背后更深層的原因。

從實踐層面，影響目前Agent落地的問題主要有如下兩方面：

API質(zhì)量差，沒有形成生態(tài)

Agent在2B領(lǐng)域落地，有些類似ChatGPT Plugin搬到2B領(lǐng)域。但ChatGPT Plugin發(fā)布之后，實際落地的情況與預(yù)期有很大差距，我們分析背后原因在于兩個：一是背后的API不夠豐富、質(zhì)量差（比如描述不清晰），二是試圖用一個模型解決所有的垂直問題（大模型對于垂直場景的理解未必足夠）。第一個問題在國內(nèi)尤其嚴(yán)重。企業(yè)服務(wù)API生態(tài)在歐美非常成熟和開放，中國還很不完善，開發(fā)者很難賺到錢。這些讓Agent很難真正在生產(chǎn)環(huán)境落地。

開放場景 vs 封閉場景

Agent的落地效果與場景的封閉程度也很相關(guān)。一個典型的對比是Agent在法律助手 vs 出行預(yù)訂場景。前者場景不夠封閉，經(jīng)常有新知識（如新的法律法規(guī)、新的判例）出現(xiàn)，API也不夠完善。要做成真正的律師“助手”還有比較大的挑戰(zhàn)，比較現(xiàn)實的是做成一個幫助律師整理文檔、搜索案例的提效工具。而后者場景封閉（可以窮舉）、API豐富（機票、酒店等都有明確的API），在落地中的效果要好很多。最理想的落地情況，是有大量垂直領(lǐng)域數(shù)據(jù)（給到大模型做預(yù)訓(xùn)練）、場景封閉、問題基本可窮舉。

而從更深層的角度剖析，我們認(rèn)為Agent之所以落地困難。背后的核心是大模型目前還缺乏解決相關(guān)應(yīng)用領(lǐng)域的“世界模型”。

04Agent成功的關(guān)鍵 ——“世界模型”

上文所謂應(yīng)用領(lǐng)域的世界模型，是指Agent落地到具體應(yīng)用場景，要理解當(dāng)下任務(wù)并預(yù)測未來情景，這需要超越簡單的文本學(xué)習(xí)，深入獲取領(lǐng)域知識、領(lǐng)域相關(guān)的私有數(shù)據(jù)以及相關(guān)任務(wù)的“過程數(shù)據(jù)”（即領(lǐng)域?qū)＜沂侨绾畏纸馊蝿?wù)、產(chǎn)生結(jié)果的）。大模型在訓(xùn)練過程中，尤其缺乏“過程數(shù)據(jù)”，這讓世界模型的建立變得困難。

為什么大模型訓(xùn)練為何會缺乏“過程數(shù)據(jù)”？

1）訓(xùn)練語料問題。大模型學(xué)習(xí)主要的語料來源是網(wǎng)絡(luò)文字。但目前語料中，絕大多數(shù)都是關(guān)于“What”的，關(guān)于“How"的很少。尤其在2B業(yè)務(wù)領(lǐng)域，絕大多數(shù)的成功經(jīng)驗和失敗教訓(xùn)都不大可能被公開分享出來。前者多為創(chuàng)造價值的商業(yè)機密，而后者則很少會被主動分享，即使公開，也有很多美化及偏離事實的可能性，這可能會帶來大模型的錯誤歸因。

2）即使在“私有數(shù)據(jù)”中，關(guān)于過程的數(shù)據(jù)也依然很少。大量的所謂“經(jīng)驗”是存在在相應(yīng)崗位專家的大腦里的，并未以任何文字的形式被記錄下來。

舉個例子。在招聘領(lǐng)域，通常企業(yè)的用人標(biāo)準(zhǔn)會有“工作穩(wěn)定”一項，但針對不同的崗位、不同的行業(yè)這個“工作穩(wěn)定”所對應(yīng)的標(biāo)準(zhǔn)是完全不一樣的。這些”知識”是人類HR/獵頭腦海中的經(jīng)驗，針對崗位、公司的不同，自然就能把“工作穩(wěn)定”對應(yīng)到不同的標(biāo)準(zhǔn)，有時候甚至只是一個行業(yè)的“共識”，并沒有什么成文規(guī)定。但是讓大模型來做這件事，就需要詳細(xì)地把各個行業(yè)、崗位、工種、對應(yīng)的“工作穩(wěn)定”的標(biāo)準(zhǔn)寫下來告訴它（大模型在訓(xùn)練語料中幾乎很難獲得這種很少出現(xiàn)在文字/語料中的專業(yè)“知識”），否則大模型缺失了這部分的“知識”，做“工作穩(wěn)定”這一標(biāo)準(zhǔn)的篩選準(zhǔn)確率自然就低，而千千萬萬個這樣的“知識點”就構(gòu)成了一個招聘領(lǐng)域的“世界模型”。

3）缺乏大模型執(zhí)行任務(wù)過程的“標(biāo)注數(shù)據(jù)”，無法形成反饋-優(yōu)化閉環(huán)。目前大模型基于網(wǎng)絡(luò)語料的學(xué)習(xí)，是每采取一個行動，都對應(yīng)明確的Ground Truth. 大模型基于用戶對問題的反饋來不斷迭代升級。但Agent的問題在于，絕大多數(shù)agent執(zhí)行到任務(wù)的最后一步，才是對用戶需求目標(biāo)的達(dá)成，因而只有在最后那一步才有標(biāo)注結(jié)果。對于其解決問題的中間過程，很多時候Agent得不到及時的反饋——做的是否正確、是否有更優(yōu)的做法等等，這也讓Agent“自我進化"變得緩慢。

看好掌握領(lǐng)域“世界模型”的Vertical Agent

我們判斷，各領(lǐng)域“世界模型”的建立是AI走向落地的重要一環(huán)，也是AI向AGI發(fā)展的關(guān)鍵環(huán)節(jié)。現(xiàn)階段“世界模型”的缺乏，是大模型的“缺陷”也給大量做Vertical Agent的公司帶來了很大的機遇：構(gòu)建垂直領(lǐng)域的“世界模型”需要相關(guān)公司做大量的工作收集、整理領(lǐng)域知識和私有數(shù)據(jù)、理解具體業(yè)務(wù)的工作流等等，是一個相當(dāng)復(fù)雜的系統(tǒng)工程。尤其在法律、醫(yī)療、金融等數(shù)據(jù)龐雜、專業(yè)性極高的領(lǐng)域。一旦有Vertical Agent的公司能夠建立、掌握這些垂直行業(yè)的”世界模型“，也就擁有了在這個不確定時代極強的競爭壁壘。我們非常看好這類創(chuàng)業(yè)公司在未來的前景。

05Multi-Agent：為何它的效果明顯更好？

最近半年Agent領(lǐng)域一個明顯的趨勢是“Multi-Agent”框架的流行。很多開發(fā)者發(fā)現(xiàn)，當(dāng)事先給Agent設(shè)定不同的角色（如產(chǎn)品經(jīng)理、程序員、UI/UE等等），再讓這些Agents一起“協(xié)作”完成一個任務(wù)時，要比AutoGPT這種單一Agent框架效果好很多，任務(wù)完成度更高。相比單一Agent，Multi-Agent除了給大模型設(shè)定了角色，好像也沒有提供更多的增量信息。為什么這個框架會明顯的有效呢？

我們認(rèn)為有如下幾點原因： 角色扮演有引導(dǎo)性，更容易讓它聚焦到相關(guān)的概率區(qū)間

大模型本質(zhì)是概率模型，每次輸出都不一樣。它在訓(xùn)練過程接受了豐富的語料，面對一個問題時，大模型有很多不同的角度和觀點，但它自己并不知道應(yīng)該找哪一個切入。這時如果用戶給它一個角色，讓它聚焦到一個身份、一種觀點上去，它更容易進入到一個與問題相關(guān)性更高的概率空間，把其中的專業(yè)內(nèi)容挖掘出來。給大模型一個身份看似沒有增量信息，其實一個“角色”背后已經(jīng)隱含了很多與角色相關(guān)的信息。

讓大模型做更多的“算力消耗”，System1 vs System2

OpenAI聯(lián)創(chuàng)Andrej曾經(jīng)分享過，他認(rèn)為Prompt Engineering中思維鏈（Chain of Thought）之所以有用，就是類似“Let's think step by step“這樣的Prompt，讓大模型在輸出的時候消耗了更多的算力。這點跟人腦類似，人腦在解一個復(fù)雜問題時會消耗更多能量。而Multi-Agent正是這樣一套能讓大模型輸出更多、從而消耗更多算力的機制。大模型其實跟人腦的System1類似，特點是不論用戶給它的問題難度如何，它的思考時間（對應(yīng)背后的計算量）是一樣的。而目前在Prompt層所做的思維鏈、Multi-Agent等等工作，都為了讓大模型從System1向System2發(fā)展，越復(fù)雜的問題思考得越久。通過Multi-Agent框架，可以讓它消耗更多的算力、做更多思維層次的計算和思考，更有可能更好地解決復(fù)雜任務(wù)。

這又引申出了許多創(chuàng)業(yè)者遇到的一個問題：并非所有問題都需要System2的能力，如何區(qū)分面對的問題需要System 1還是System2解決呢？如果都用System1的方式解決，那么復(fù)雜問題得不到很好的解決；如果都用System2的方式解決，那么又會“殺雞用牛刀”，既浪費算力、又拉長了反饋時間。最好的方式是能針對問題做好分流。這意味著Agent需要對海量的新問題做實時判斷，該用哪種方式解決，而這是絕大多數(shù)Agent很難做到的。目前有些創(chuàng)業(yè)者在探索先用大模型對問題做一遍意圖識別（分類器），再分流到不同的解決方式中去做具體執(zhí)行。但在很多垂直領(lǐng)域（如法律等），把這個“分類器”做準(zhǔn)確的難度依然很大。

結(jié)合多個大模型的最強能力

前面兩個角度，是如何通過Multi-Agent激發(fā)大模型發(fā)揮能力，背后對應(yīng)的是一個能力強大的單一大模型。還存在另一種視角，就是Multi-Agent用來結(jié)合多個大模型的特色能力。雖然目前OpenAI在大模型領(lǐng)域“一騎絕塵”，我們也觀察到其他頭部大模型更注重在一些獨特能力上的訓(xùn)練（比如更強調(diào)與人類的共情能力、更加注重alignment等）。在未來，當(dāng)這些各有所長的大模型都進入生產(chǎn)，Multi-Agent框架會很方便地融合各家大模型的優(yōu)勢“為我所用”。

06多模態(tài)：對比大語言模型有哪些提升？

大語言模型正在向多模態(tài)大模型發(fā)展，對比大語言模型，它帶來的能力提升有哪些，有什么深刻的變化？對創(chuàng)業(yè)者又多了哪些機遇？

從一個簡單問題類比說起

我們先從討論一個簡單的問題開始：聾子和瞎子，一個沒有聽覺，一個沒有視覺，哪個智力水平高？實際上瞎子的智力水平更高。這背后的原因是語言比視覺對人腦來說更加重要。視覺給我們的反饋，不如語言的反饋那么復(fù)雜。這是個抽象程度的問題，語言比視覺抽象程度更高，人和動物的區(qū)別是人有語言。所以，目前視覺等多模態(tài)模型，對于模型能力并沒有一個質(zhì)的提升。

具體解釋一下，目前的多模態(tài)模型，是通過某種connection把視覺和文字兩個模態(tài)的數(shù)據(jù)對齊 --先訓(xùn)練單模態(tài)，再通過對齊，去做成多模態(tài)。它還沒有真正從預(yù)訓(xùn)練的時候，就把文字、視覺綁在一起從頭訓(xùn)練，因為現(xiàn)階段跨模態(tài)對齊的數(shù)據(jù)還是太少了。大家認(rèn)為可行的思路還是先訓(xùn)練單模態(tài)然后再做對齊。除了語言模型，目前其他模態(tài)的encoder能力和量級相比都差很遠(yuǎn)（比語言模型小1-2個數(shù)量級）。所以現(xiàn)在這條路效率最高，一下能通過語言模態(tài)賦予其他模態(tài)更高級的能力。這種多個模態(tài)對齊的多模態(tài)大模型，在能力上不會有突破式的飛躍，因為核心能力已經(jīng)在語言模型里面了。

多模態(tài)帶來的好處

視覺比語言有更多的信息。目前大模型都是基于Transformer架構(gòu)，這個架構(gòu)本身跟語言關(guān)系不大，它只是在處理token之間的關(guān)系，最后再把這些token折換成語言。從這個意義上來說，不同模態(tài)的”語料“之間并沒有質(zhì)的區(qū)別。因此，考慮多模態(tài)的影響，要考慮視覺中究竟包含了多少語言里沒有的信息。比如，視頻中有很多關(guān)于現(xiàn)實世界的“common sense"（如空間位置、重力、光影等等），在語言中是缺失的，這部分信息的補足對于建立對真實的”世界模型"是很有幫助的。這對于后續(xù)大模型在自動駕駛、機器人等需要與真實世界互動的場景中落地有很大意義。比如，聾子和瞎子能干什么不同的事情？瞎子是不能開車的。如果GPT有了視力，是可以開車的，無人駕駛可以靠GPT來理解周圍的環(huán)境。

多模態(tài)極大增強了交互的輸入輸出帶寬。許多用文字很難描述、或者需要非常長、復(fù)雜的文檔才能描述的關(guān)系、內(nèi)容，可以通過畫圖的形式給到大模型，輸出也是如此。這讓人機交互的輸入輸出帶寬一下大了很多倍，帶來的直接效果是大模型處理同樣任務(wù)的效果更好、效率更高，也一定程度上解決了token限制的問題。Context輸入一下子擴大了很多。比如，可以給大模型幾萬行代碼對應(yīng)的架構(gòu)圖，它可以很快整理出模塊之間的關(guān)系，這是沒有多模態(tài)之前無法達(dá)到的。

07對Agent未來的幾個預(yù)判

最后分享幾個我們對Agent未來發(fā)展的預(yù)判，與大家探討：

AI Native工作流

Agent在2B領(lǐng)域落地，目前是按照人類工作的流程切分的，沒有考慮到機器，也沒有“人機協(xié)作”的概念。只是沿用過去的流程把機器加入很可能已經(jīng)不是最優(yōu)方式——既無法發(fā)揮機器的最大效率，人類員工也不適應(yīng)。因而做2B場景的Agent，需要重新思考人機協(xié)同的工作模式下，什么樣的工作流程是最優(yōu)的，再自上而下地重塑工作流。AI native的工作流應(yīng)當(dāng)是什么樣？這是個開放性問題，并沒有明確的答案，但這個問題可能會定義下一代的企業(yè)級軟件，是值得現(xiàn)階段的初創(chuàng)公司去深入思考和探索的重點問題。

真正的多模態(tài)

未來可以有一開始就把多種模態(tài)的語料一起訓(xùn)練的多模態(tài)大模型?；蛘?，等視覺模態(tài)encoder的能力和量級可以跟現(xiàn)在的大語言模型等量齊觀，用它來輔助做決策，或者兩個大模型共同做決策，可能會爆發(fā)很大的潛力，帶來突破式發(fā)展。

Agent的自我進化

隨著AI能力的逐步增強，未來Agent將如何演化？也許，它們可以實現(xiàn)“自我進化”。比如，自己生產(chǎn)出新的Agent，或者設(shè)計出適合Agent協(xié)作的全新的組織結(jié)構(gòu)來完成復(fù)雜的任務(wù)，就如同人類發(fā)展出了適應(yīng)人類社會的復(fù)雜協(xié)作模式和分工體系。這是一個很值得思考的前沿方向，背后是Agent之間的通訊及協(xié)作模式。目前這個方向的研究還非常的少，我們覺得是很值得探索的一個領(lǐng)域。

審核編輯：劉清