為了促進(jìn)開(kāi)源LLMs的工具使用能力，作者引入了 ToolLLM，這是一個(gè)數(shù)據(jù)構(gòu)建、模型訓(xùn)練和評(píng)估的通用工具使用框架。

論文：ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs
地址：https://arxiv.org/abs/2307.16789
項(xiàng)目：https://github.com/OpenBMB/ToolBench
單位：清華、人大、耶魯、微信、騰訊、知乎

盡管開(kāi)源大語(yǔ)言模型 (LLM) 及其變體（例如 LLaMA 和 Vicuna）取得了進(jìn)步，但它們?cè)趫?zhí)行更高級(jí)別的任務(wù)方面仍然受到很大限制，例如遵循人類(lèi)指令使用外部工具 (API)。

這是因?yàn)楫?dāng)前的指令調(diào)優(yōu)主要集中在基本語(yǔ)言任務(wù)而不是工具使用領(lǐng)域。

這與最先進(jìn) (SOTA) 的LLMs（例如 ChatGPT）形成鮮明對(duì)比，后者展示了出色的工具使用能力，但不幸的是閉源的。

為了促進(jìn)開(kāi)源LLMs的工具使用能力，我們引入了 ToolLLM，這是一個(gè)數(shù)據(jù)構(gòu)建、模型訓(xùn)練和評(píng)估的通用工具使用框架。

我們首先介紹 ToolBench，這是一個(gè)供工具使用的指令調(diào)整數(shù)據(jù)集，它是使用 ChatGPT 自動(dòng)創(chuàng)建的。

具體來(lái)說(shuō)，我們從 RapidAPI Hub 收集了 16,464 個(gè)真實(shí)世界的 RESTful API，涵蓋 49 個(gè)類(lèi)別，然后提示 ChatGPT 生成涉及這些 API 的各種人工指令，涵蓋單工具和多工具場(chǎng)景。

最后，我們使用 ChatGPT 為每條指令搜索有效的解決方案路徑（API 調(diào)用鏈）。

為了使搜索過(guò)程更加高效，我們開(kāi)發(fā)了一種新穎的基于深度優(yōu)先搜索的決策樹(shù)（DFSDT），使LLMs能夠評(píng)估多個(gè)推理軌跡并擴(kuò)展搜索空間。我們證明 DFSDT 顯著增強(qiáng)了LLMs的規(guī)劃和推理能力。

為了有效評(píng)估工具使用情況，我們開(kāi)發(fā)了一個(gè)自動(dòng)評(píng)估器：ToolEval。

我們?cè)赥oolBench上微調(diào)LLaMA并獲得ToolLLaMA。

我們的 ToolEval 表明 ToolLLaMA 表現(xiàn)出執(zhí)行復(fù)雜指令和泛化到未見(jiàn)過(guò)的 API 的卓越能力，并且表現(xiàn)出與 ChatGPT 相當(dāng)?shù)男阅堋?/p>

為了使管道更加實(shí)用，我們?cè)O(shè)計(jì)了一個(gè)神經(jīng) API 檢索器來(lái)為每條指令推薦合適的 API，從而無(wú)需手動(dòng)選擇 API。