最近，開源中國 OSCHINA、Gitee 與 Gitee AI聯(lián)合發(fā)布了《2024 中國開源開發(fā)者報告》。 報告聚焦 AI 大模型領(lǐng)域，對過去一年的技術(shù)演進動態(tài)、技術(shù)趨勢、以及開源開發(fā)者生態(tài)數(shù)據(jù)進行多方位的總結(jié)和梳理。

在第二章《TOP 101-2024 大模型觀點》中，生成式 AI 開發(fā)者莫爾索總結(jié)了 2024 年 AI 開發(fā)者中間件工具生態(tài)。

全文如下：

AI 開發(fā)者中間件工具生態(tài) 2024 年總結(jié)

文 / 莫爾索 AI 應(yīng)用開發(fā)者工具自下而上涵蓋了模型托管與推理服務(wù)、代理工作流編排、大型模型應(yīng)用的監(jiān)控與追蹤、模型輸出的可控性以及安全工具等多個層面。模型是 AI 應(yīng)用的核心組成部分，其服務(wù)需依賴推理引擎實現(xiàn)。開發(fā)者接入模型的方式大致可分為四類：

首先是以模型初創(chuàng)企業(yè)為代表，提供先進的商業(yè)閉源模型，如 OpenAI、Anthropic、智譜及 MiniMax 等。

其次是由 TogetherAI、Groq、Fireworks、Replicate、硅基流動等組成的 GPU 推理集群服務(wù)提供商，它們處理擴展與縮減等技術(shù)難題，并在基本計算費用基礎(chǔ)上收取額外費用，從而讓應(yīng)用公司無需承擔(dān)構(gòu)建和管理 GPU 推理集群的高昂成本，而是可以直接利用抽象化的 AI 基礎(chǔ)設(shè)施服務(wù)。

第三類是傳統(tǒng)的云計算平臺，例如亞馬遜的 Amazon Bedrock、阿里云百煉平臺、微軟的 Azure AI、谷歌 Vertex AI 等，允許應(yīng)用開發(fā)者輕松部署和使用標準化或定制化的 AI 模型，并通過 API 接口調(diào)用這些模型。

最后一類是本地推理，SGLang、vLLM、TensorRT-LLM 在生產(chǎn)級 GPU 服務(wù)負載中表現(xiàn)出色，受到許多有本地托管模型需求的應(yīng)用開發(fā)者的歡迎，此外，Ollama 和 LM Studio 也是在個人計算機上運行模型的優(yōu)選方案。

除模型層面外，應(yīng)用層面的工具同樣在快速發(fā)展，工具的進步緊密跟隨 AI 應(yīng)用的發(fā)展趨勢。自 ChatGPT 發(fā)布以來，應(yīng)用構(gòu)建方式大致經(jīng)歷了三個階段。

首先是基于單一提示詞模板的聊天助手類應(yīng)用，此階段重點關(guān)注模型和提示詞的安全性以及模型輸出的可控性。例如，garak 可用于檢測模型幻覺、數(shù)據(jù)泄露和生成毒性內(nèi)容等問題；rebuff 則針對提示詞注入進行檢測；DSPy 框架提供了系統(tǒng)高效的編程方法，幫助解決應(yīng)用開發(fā)中的提示編寫問題；而 LMFormat Enforcer、Guidance 及 Outlines 等項目旨在幫助開發(fā)者控制模型輸出的結(jié)構(gòu)，以獲得高質(zhì)量的輸出。

第二個階段涉及通過組合一系列提示詞和第三方工具或 API 來編排復(fù)雜的工作流，這是目前成熟的 AI 應(yīng)用構(gòu)建思路之一。值得注意的是，RAG 技術(shù)的出現(xiàn)，得益于大語言模型天然適合處理知識密集型任務(wù)，RAG 通過從外部記憶源檢索相關(guān)信息，不僅提高了模型生成的精確性和相關(guān)性，還解決了大語言模型在數(shù)據(jù)隱私保護、實時數(shù)據(jù)處理和減少幻覺問題等方面的局限。RAG 技術(shù)在數(shù)據(jù)預(yù)處理和索引構(gòu)建方面的努力，直接影響最終應(yīng)用的效果。 尤其是在本地數(shù)據(jù)預(yù)處理方面，PDF 內(nèi)容處理成為一大難點，眾多開源項目應(yīng)運而生，如基于傳統(tǒng) OCR 技術(shù)和版面分析的 Unstructured 和 Marker 庫，以及結(jié)合了多模態(tài)大模型識別能力的 ZeroX 和 GPTPDF 庫。

此外，還有融合了 OCR 和多模態(tài)大模型方案的 PDF-Extract-API 庫。在公開在線數(shù)據(jù)處理方面，Jina Reader、Crawl4AI 和 Markdowner 等開源項目，能夠?qū)⒕W(wǎng)頁內(nèi)容轉(zhuǎn)換成適合大模型處理的上下文，從而利用最新信息提升問題回答的質(zhì)量。這些項目的共同目標是將原始數(shù)據(jù)轉(zhuǎn)化為有價值的資產(chǎn)，助力企業(yè)大規(guī)模部署 AI。 對于結(jié)構(gòu)化數(shù)據(jù)，如對話歷史記錄和其他數(shù)據(jù)源的存儲管理同樣重要。向量數(shù)據(jù)庫如 Chrom、Weaviate、Pinecone、Milvus 等，提供了語義檢索和向量存儲功能，使得 AI 應(yīng)用能夠利用超出模型上下文限制的數(shù)據(jù)源。傳統(tǒng)數(shù)據(jù)庫 PostgreSQL 現(xiàn)在也支持通過 pgvector 擴展進行向量搜索，基于 PostgreSQL 的公司如 Neon 和 Supabase 為 AI 應(yīng)用提供了基于嵌入的搜索和存儲解決方案。 為了有效管理 AI 應(yīng)用的復(fù)雜工作流程，市場上涌現(xiàn)了 Dify、Wordware、扣子等低代碼平臺，它們集成了多種大模型，支持外部數(shù)據(jù)接入、知識庫管理和豐富的插件庫，通過拖拽式配置幫助初學(xué)者快速構(gòu)建 AI 應(yīng)用。 同時，在開源生態(tài)系統(tǒng)中，LangChain、Haystack、Semantic Kernel 等編排框架的出現(xiàn)，使開發(fā)者能夠構(gòu)建、定制和測試 Pipeline，確保這些 Pipeline 的組合能夠達到特定應(yīng)用場景的最佳生成效果。 對于 RAG 應(yīng)用，這是一種由多個環(huán)節(jié)構(gòu)成的工作流應(yīng)用，出現(xiàn)了許多端到端的開源解決方案，如 LlamaIndex 框架，它集成了數(shù)據(jù)預(yù)處理、索引構(gòu)建、 多樣化檢索方法等功能，專為大語言模型設(shè)計；RAGFlow 是一個基于深度文檔理解的開源 RAG 引擎，提供高質(zhì)量的問答能力，適用于處理大規(guī)模的復(fù)雜格式數(shù)據(jù)；Verba 是向量數(shù)據(jù)庫廠商 Weaviate 開源的一個模塊化 RAG 框架，允許開發(fā)者根據(jù)不同的應(yīng)用場景靈活定制 RAG 應(yīng)用的不同環(huán)節(jié)。

第三個階段，一些產(chǎn)品團隊正探索開發(fā)完全由大模型驅(qū)動的代理應(yīng)用。這類代理應(yīng)用具備從歷史記憶中反思、自主規(guī)劃和使用工具執(zhí)行特定動作的能力。大語言模型負責(zé)選擇要調(diào)用的工具及其參數(shù)，而具體的執(zhí)行動作則在沙箱環(huán)境中進行，以確保安全。 E2B、Modal 等服務(wù)提供商正是為了滿足這一需求而誕生。代理通過 OpenAI 定義的 JSON 模式調(diào)用工具，這使得代理和工具能夠在不同的框架中兼容，促進了代理工具生態(tài)系統(tǒng)的增長。例如，Composio 是一個支持授權(quán)管理的通用工具庫，Exa 則提供了一個專門用于網(wǎng)絡(luò)搜索的工具。隨著更多代理應(yīng)用的構(gòu)建，工具生態(tài)系統(tǒng)將持續(xù)擴展，提供更多新功能，如認證和訪問控制。 在代理應(yīng)用中，記憶管理同樣關(guān)鍵。開源項目 Mem0 將記憶分為短期記憶和長期記憶，后者進一步細分為事件記憶、語義記憶和程序記憶，并基于此抽象出一套記憶管理 SDK。Zep 通過時態(tài)知識圖譜管理和更新用戶信息，跟蹤事實變化并提供最新數(shù)據(jù)線索。MemGPT 借鑒了計算機操作系統(tǒng)內(nèi)存管理機制，模擬虛擬內(nèi)存工作原理，構(gòu)建了一套記憶管理系統(tǒng)。這些項目使 AI 應(yīng)用能夠記住對話歷史，提供更個性化、上下文感知的交互體驗，極大地增強了用戶的滿意度。

此外，代理應(yīng)用的另一個探索方向是多個代理之間的協(xié)同工作。開源社區(qū)中出現(xiàn)了許多解決方案，如 CrewAI 和 AutoGen 具備原生的多代理通信抽象，而 LangGraph 和 Letta 中的代理可以互相調(diào)用，良好的多代理系統(tǒng)設(shè)計使得跨代理協(xié)作變得更加容易實現(xiàn)。 鑒于生成模型本質(zhì)上是一個概率黑盒，AI 應(yīng)用作為一個復(fù)雜的系統(tǒng)，其在生產(chǎn)環(huán)境中的質(zhì)量評估與監(jiān)控尤為重要。實際應(yīng)用中最大的挑戰(zhàn)之一就是輸出結(jié)果的不確定性。 面對這些挑戰(zhàn)，需要采用科學(xué)的評估方法。LangSmith、Arise、Langfuse、Ragas 和 DeepEval 等項目提供了評估和監(jiān)控所需的各種指標和工具，幫助開發(fā)者量化測量、監(jiān)控和調(diào)試他們的 AI 應(yīng)用系統(tǒng)。 展望未來，o1 模型的發(fā)布標志著大模型研究進入了新的時代。o1 模型的推理能力提升對 AI 基礎(chǔ)設(shè)施提出了更高的要求，例如并行計算部分思維鏈路、減少不必要的思維過程等。研究的重點重新回到了算法層面，而非簡單的算力堆砌，這對于中小型模型開發(fā)公司和學(xué)術(shù)界而言是一大利好。o1 模型的更強推理能力推動了越來越多真正的 autopilot 類產(chǎn)品進入?常生活，預(yù)示著 AI 技術(shù)將更加深入地融入人類社會的方方面面。