在新基準(zhǔn) BIRD 上，ChatGPT 僅能達(dá)到 40.08%，相比人類(lèi) 92.96% 還有很大差距。

背景

大模型（LLM）為通用人工智能（AGI）的發(fā)展提供了新的方向，其通過(guò)海量的公開(kāi)數(shù)據(jù)，如互聯(lián)網(wǎng)、書(shū)籍等語(yǔ)料進(jìn)行大規(guī)模自監(jiān)督訓(xùn)練，獲得了強(qiáng)大的語(yǔ)言理解、語(yǔ)言生成、推理等能力。然而，大模型對(duì)于私域數(shù)據(jù)的利用仍然面臨一些挑戰(zhàn)，私域數(shù)據(jù)是指由特定企業(yè)或個(gè)人所擁有的數(shù)據(jù)，通常包含了領(lǐng)域特定的知識(shí)，將大模型與私域知識(shí)進(jìn)行結(jié)合，將會(huì)發(fā)揮巨大價(jià)值。

私域知識(shí)從數(shù)據(jù)形態(tài)上又可以分為非結(jié)構(gòu)化與結(jié)構(gòu)化數(shù)據(jù)。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，例如文檔，通常都通過(guò)檢索的方式進(jìn)行增強(qiáng)，可以利用 langchain 等工具可以快速實(shí)現(xiàn)問(wèn)答系統(tǒng)。而結(jié)構(gòu)化數(shù)據(jù)，如數(shù)據(jù)庫(kù)（DB），則需要大模型與數(shù)據(jù)庫(kù)進(jìn)行交互，查詢(xún)和分析來(lái)獲取有用的信息。圍繞大模型與數(shù)據(jù)庫(kù)，近期也衍生出一系列的產(chǎn)品與應(yīng)用，譬如利用 LLM 打造智能數(shù)據(jù)庫(kù)、執(zhí)行 BI 分析、完成自動(dòng)表格構(gòu)建等。其中，text-to-SQL 技術(shù)，即以自然語(yǔ)言的方式與數(shù)據(jù)庫(kù)進(jìn)行交互，一直以來(lái)都是一個(gè)備受期待的方向。

在學(xué)術(shù)界，過(guò)去的 text-to-SQL 基準(zhǔn)僅關(guān)注小規(guī)模數(shù)據(jù)庫(kù)，最先進(jìn)的 LLM 已經(jīng)可以達(dá)到 85.3% 的執(zhí)行準(zhǔn)確率，但這是否意味著 LLM 已經(jīng)可以作為數(shù)據(jù)庫(kù)的自然語(yǔ)言接口？

新一代數(shù)據(jù)集

最近，阿里巴巴聯(lián)合香港大學(xué)等機(jī)構(gòu)推出了面向大規(guī)模真實(shí)數(shù)據(jù)庫(kù)的全新基準(zhǔn) BIRD (Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs)， 包含 95 個(gè)大規(guī)模數(shù)據(jù)庫(kù)及高質(zhì)量的 Text-SQL pair，數(shù)據(jù)存儲(chǔ)量高達(dá) 33.4 GB。之前最優(yōu)的模型在 BIRD 上評(píng)估僅達(dá)到 40.08%，與人類(lèi) 92.96% 的結(jié)果還有很大差距，這證明挑戰(zhàn)仍然存在。除了評(píng)估 SQL 正確性外，作者還增加了 SQL 執(zhí)行效率的評(píng)估，期待模型不僅可以寫(xiě)正確的 SQL，還能夠?qū)懗龈咝У?SQL。

論文：https://arxiv.org/abs/2305.03111

主頁(yè)：https://bird-bench.github.io

代碼：https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/bird

目前，BIRD 的數(shù)據(jù)、代碼、榜單都已經(jīng)開(kāi)源，在全球的下載量已超10000。BIRD在推出之始，就引發(fā)了 Twitter 上的廣泛關(guān)注與討論。

海外用戶(hù)的評(píng)論也非常精彩：

不容錯(cuò)過(guò)的 LLM 項(xiàng)目

非常有用的檢查點(diǎn)，提升的溫床

AI 可以幫助你，但還不能取代你

我的工作暫時(shí)是安全的...

方法概述

???

新的挑戰(zhàn)

該研究主要面向真實(shí)數(shù)據(jù)庫(kù)的 Text-to-SQL 評(píng)估，過(guò)去流行的測(cè)試基準(zhǔn)，比如 Spider 和 WikiSQL，僅關(guān)注具有少量數(shù)據(jù)庫(kù)內(nèi)容的數(shù)據(jù)庫(kù) schema，導(dǎo)致學(xué)術(shù)研究與實(shí)際應(yīng)用之間存在鴻溝。BIRD 重點(diǎn)關(guān)注海量且真實(shí)的數(shù)據(jù)庫(kù)內(nèi)容、自然語(yǔ)言問(wèn)題與數(shù)據(jù)庫(kù)內(nèi)容之間的外部知識(shí)推理以及在處理大型數(shù)據(jù)庫(kù)時(shí) SQL 的效率等新三個(gè)挑戰(zhàn)。

首先，數(shù)據(jù)庫(kù)包含海量且嘈雜數(shù)據(jù)的值。在左側(cè)示例中，平均工資的計(jì)算需要通過(guò)將數(shù)據(jù)庫(kù)中的字符串（String）轉(zhuǎn)化為浮點(diǎn)值 (Float) 之后再進(jìn)行聚合計(jì)算（Aggregation）；

其次，外部知識(shí)推斷是很必要的，在中間示例中，為了能準(zhǔn)確地為用戶(hù)返回答案，模型必須先知道有貸款資格的賬戶(hù)類(lèi)型一定是 “擁有者”（“OWNER”），這代表巨大的數(shù)據(jù)庫(kù)內(nèi)容背后隱藏的奧秘有時(shí)需要外部知識(shí)和推理來(lái)揭示；

最后，需要考慮查詢(xún)執(zhí)行效率。在右側(cè)示例中，采用更高效的 SQL 查詢(xún)可以顯著提高速度，這對(duì)于工業(yè)界來(lái)講具有很大價(jià)值，因?yàn)橛脩?hù)不僅期待寫(xiě)出正確的 SQL，還期待 SQL 執(zhí)行的高效，尤其是在大型數(shù)據(jù)庫(kù)的情況下；

數(shù)據(jù)標(biāo)注

BIRD 在標(biāo)注的過(guò)程中解耦了問(wèn)題生成和 SQL 標(biāo)注。同時(shí)加入專(zhuān)家來(lái)撰寫(xiě)數(shù)據(jù)庫(kù)描述文件，以此幫助問(wèn)題和 SQL 標(biāo)注人員更好的理解數(shù)據(jù)庫(kù)。

1. 數(shù)據(jù)庫(kù)采集：作者從開(kāi)源數(shù)據(jù)平臺(tái)（如 Kaggle 和 CTU Prague Relational Learning Repository）收集并處理了 80 個(gè)數(shù)據(jù)庫(kù)。通過(guò)收集真實(shí)表格數(shù)據(jù)、構(gòu)建 ER 圖以及設(shè)置數(shù)據(jù)庫(kù)約束等手動(dòng)創(chuàng)建了 15 個(gè)數(shù)據(jù)庫(kù)作為黑盒測(cè)試，來(lái)避免當(dāng)前數(shù)據(jù)庫(kù)被當(dāng)前的大模型學(xué)習(xí)過(guò)。BIRD 的數(shù)據(jù)庫(kù)包含了多個(gè)領(lǐng)域的模式和值， 37 個(gè)領(lǐng)域，涵蓋區(qū)塊鏈、體育、醫(yī)療、游戲等。

2. 問(wèn)題收集：首先作者雇傭?qū)＜蚁葹閿?shù)據(jù)庫(kù)撰寫(xiě)描述文件，該描述文件包括完整的表明列名、數(shù)據(jù)庫(kù)值的描述，以及理解值所用到的外部知識(shí)等。然后招募了 11 個(gè)來(lái)自美國(guó)，英國(guó)，加拿大，新加坡等國(guó)家的 native speaker 為 BIRD 產(chǎn)生問(wèn)題。每一位 speaker 都至少具備本科及以上的學(xué)歷。

3.SQL 生成：面向全球招募了由數(shù)據(jù)工程師和數(shù)據(jù)庫(kù)課程學(xué)生組成的標(biāo)注團(tuán)隊(duì)為 BIRD 生成 SQL。在給定數(shù)據(jù)庫(kù)和參考數(shù)據(jù)庫(kù)描述文件的情況下，標(biāo)注人員需生成 SQL 以正確回答問(wèn)題。采用雙盲（Double-Blind）標(biāo)注方法，要求兩位標(biāo)注人員對(duì)同一個(gè)問(wèn)題進(jìn)行標(biāo)注。雙盲標(biāo)注可以最大程度減少單一標(biāo)注人員所帶來(lái)的錯(cuò)誤。

4. 質(zhì)量檢測(cè)：質(zhì)量檢測(cè)分為結(jié)果執(zhí)行的有效性和一致性?xún)刹糠?。有效性不僅要求執(zhí)行的正確性，還要求執(zhí)行結(jié)果不能是空值（NULL）。專(zhuān)家將逐步修改問(wèn)題條件，直至 SQL 執(zhí)行結(jié)果有效。

5. 難度劃分：text-to-SQL 的難度指標(biāo)可以為研究人員提供優(yōu)化算法的參考。Text-to-SQL 的難度不僅取決于 SQL 的復(fù)雜程度，還與問(wèn)題難度、額外知識(shí)易理解程度以及數(shù)據(jù)庫(kù)復(fù)雜程度等因素有關(guān)。因此作者要求 SQL 標(biāo)注人員在標(biāo)注過(guò)程中對(duì)難易程度進(jìn)行評(píng)分，并將難度分為三類(lèi)：簡(jiǎn)單、適中和具有挑戰(zhàn)性。

數(shù)據(jù)統(tǒng)計(jì)

1. 問(wèn)題類(lèi)型統(tǒng)計(jì)：?jiǎn)栴}分為兩大類(lèi)，基礎(chǔ)問(wèn)題類(lèi)型（Fundamental Type）和推理問(wèn)題類(lèi)型（Reasoning Type）。基礎(chǔ)問(wèn)題類(lèi)型包括傳統(tǒng) Text-to-SQL 數(shù)據(jù)集中涵蓋的問(wèn)題類(lèi)型，而推理問(wèn)題類(lèi)型則包括需要外部知識(shí)來(lái)理解值的問(wèn)題：

2. 數(shù)據(jù)庫(kù)分布：作者用 sunburst 圖顯示了數(shù)據(jù)庫(kù) domain 及其數(shù)據(jù)量大小之間的關(guān)系。越大的半徑意味著，基于該數(shù)據(jù)庫(kù)的 text-SQL 較多，反之亦然。越深的顏色則是指該數(shù)據(jù)庫(kù) size 越大，比如 donor 是該 benchmark 中最大的數(shù)據(jù)庫(kù)，所占空間: 4.5GB。

3.SQL 分布：作者通過(guò) SQL 的 token 數(shù)量，關(guān)鍵詞數(shù)量，n-gram 類(lèi)型數(shù)量，JOIN 的數(shù)量等 4 個(gè)維度來(lái)證明 BIRD 的 SQL 是迄今為止最多樣最復(fù)雜的。

評(píng)價(jià)指標(biāo)

1. 執(zhí)行準(zhǔn)確率：對(duì)比模型預(yù)測(cè)的 SQL 執(zhí)行結(jié)果與真實(shí)標(biāo)注 SQL 執(zhí)行結(jié)果的差異；

2. 有效效率分?jǐn)?shù)：同時(shí)考慮 SQL 的準(zhǔn)確性與高效性，對(duì)比模型預(yù)測(cè)的 SQL 執(zhí)行速度與真實(shí)標(biāo)注 SQL 執(zhí)行速度的相對(duì)差異，將運(yùn)行時(shí)間視為效率的主要指標(biāo)。

實(shí)驗(yàn)分析

作者選擇了在之前基準(zhǔn)測(cè)試中，表現(xiàn)突出的訓(xùn)練式 T5 模型和大型語(yǔ)言模型（LLM）作為基線(xiàn)模型：Codex（code-davinci-002）和 ChatGPT（gpt-3.5-turbo）。為了更好地理解多步推理是否能激發(fā)大型語(yǔ)言模型在真實(shí)數(shù)據(jù)庫(kù)環(huán)境下的推理能力，還提供了它們的思考鏈版本（Chain-of-Thought）。并在兩種設(shè)置下測(cè)試基線(xiàn)模型：一種是完全的 schema 信息輸入，另一種是人類(lèi)對(duì)涉及問(wèn)題的數(shù)據(jù)庫(kù)值的理解，總結(jié)成自然語(yǔ)言描述（knowledge evidence）輔助模型理解數(shù)據(jù)庫(kù)。

作者給出了一些結(jié)論：

1. 額外知識(shí)的增益：增加對(duì)數(shù)據(jù)庫(kù)值理解的知識(shí)（knowledge evidence）有明顯的效果提升，這證明在真實(shí)的數(shù)據(jù)庫(kù)場(chǎng)景中，僅依賴(lài)語(yǔ)義解析能力是不夠的，對(duì)數(shù)據(jù)庫(kù)值的理解會(huì)幫助用戶(hù)更準(zhǔn)確地找到答案。

2. 思維鏈不一定完全有益：在模型沒(méi)有給定數(shù)據(jù)庫(kù)值描述和零樣本（zero-shot）情況下，模型自身的 COT 推理可以更準(zhǔn)確地生成答案。然而，當(dāng)給定額外的知識(shí)（knowledge evidence）后，讓 LLM 進(jìn)行 COT，發(fā)現(xiàn)效果并不顯著，甚至?xí)陆怠Ｒ虼嗽谶@個(gè)場(chǎng)景中， LLM 可能會(huì)產(chǎn)生知識(shí)沖突。如何解決這種沖突，使模型既能接受外部知識(shí)，又能從自身強(qiáng)大的多步推理中受益，將是未來(lái)重點(diǎn)的研究方向。

3. 與人類(lèi)的差距：BIRD 還提供了人類(lèi)指標(biāo)，作者以考試的形式測(cè)試標(biāo)注人員在第一次面對(duì)測(cè)試集的表現(xiàn)，并將其作為人類(lèi)指標(biāo)的依據(jù)。實(shí)驗(yàn)發(fā)現(xiàn)，目前最好的 LLM 距離人類(lèi)仍有較大的差距，證明挑戰(zhàn)仍然存在。作者執(zhí)行了詳細(xì)的錯(cuò)誤分析，給未來(lái)的研究提供了一些潛在的方向。

結(jié)論

LLM 在數(shù)據(jù)庫(kù)領(lǐng)域的應(yīng)用將為用戶(hù)提供更智能、更便捷的數(shù)據(jù)庫(kù)交互體驗(yàn)。BIRD 的出現(xiàn)將推動(dòng)自然語(yǔ)言與真實(shí)數(shù)據(jù)庫(kù)交互的智能化發(fā)展，為面向真實(shí)數(shù)據(jù)庫(kù)場(chǎng)景的 text-to-SQL 技術(shù)提供了進(jìn)步空間，有助于研究人員開(kāi)發(fā)更先進(jìn)、更實(shí)用的數(shù)據(jù)庫(kù)應(yīng)用。