當(dāng)Transformer模型發(fā)布時(shí)，它徹底革新了機(jī)器翻譯領(lǐng)域。雖然最初是為特定任務(wù)設(shè)計(jì)的，但這種革命性的架構(gòu)顯示出它可以輕松適應(yīng)不同的任務(wù)。隨后成為了Transformer一個(gè)標(biāo)準(zhǔn)，甚至用于它最初設(shè)計(jì)之外的數(shù)據(jù)（如圖像和其他序列數(shù)據(jù)）。

然后人們也開始優(yōu)化和尋找替代方案，主要是為了減少計(jì)算成本（自注意力機(jī)制的二次方成本）。關(guān)于哪種架構(gòu)在計(jì)算成本方面更優(yōu)的討論一直在進(jìn)行，但是對(duì)于Transformer來(lái)說(shuō)，它的成功之處在于模型能夠展示出強(qiáng)大的推理能力。

如何分析神經(jīng)網(wǎng)絡(luò)的推理能力？

最常用的方法之一是研究利用架構(gòu)內(nèi)部表示能執(zhí)行哪些算法。有一個(gè)完整的領(lǐng)域致力于這項(xiàng)任務(wù)：Neural algorithmic reasoning。Transformer是否能進(jìn)行泛化，或者通過(guò)擴(kuò)展是否能解決一些問(wèn)題，這些問(wèn)題仍然懸而未決，并且這方面的研究也十分活躍。有些人認(rèn)為Transformer具有普適推理能力，而其他人認(rèn)為它是引領(lǐng)我們走向人工通用智能的架構(gòu)（假設(shè)我們能夠足夠擴(kuò)展它），但是目前看Transformer能夠在不同的領(lǐng)域，NLP，時(shí)間序列，甚至CV中取得良好的成績(jī)但是測(cè)試其極限也非常重要。我們不僅需要測(cè)試它的極限，還需要與其他架構(gòu)進(jìn)行比較，并在未來(lái)建立基準(zhǔn)。在最近的一項(xiàng)研究中，研究人員決定深入研究一個(gè)特定的領(lǐng)域:圖神經(jīng)網(wǎng)絡(luò)。今天介紹的這篇論文叫“Understanding Transformer Reasoning Capabilities via Graph Algorithms”

這可能聽起來(lái)有些奇怪，但近來(lái)Transformer（以及大型語(yǔ)言模型）與圖（Graphs）之間的關(guān)系越來(lái)越密切。首先，自注意力可以被視為一種圖的形式。其次，圖（尤其是知識(shí)圖譜）可以用來(lái)擴(kuò)展Transformer。第三，圖是復(fù)雜推理的理想抽象。思維鏈條和其他技術(shù)也可以被視為圖的一種抽象。另外許多圖問(wèn)題可以通過(guò)簡(jiǎn)單的架構(gòu)解決，而其他問(wèn)題則需要復(fù)雜的推理和先進(jìn)的圖神經(jīng)網(wǎng)絡(luò)（GNNs）。

圖計(jì)算已經(jīng)成為過(guò)去幾十年計(jì)算和人工智能中幾個(gè)成功設(shè)計(jì)的基礎(chǔ)之一，例如用于蛋白質(zhì)預(yù)測(cè)的AlphaFold。許多推理任務(wù)可以表達(dá)為關(guān)于圖的推理（這就是為什么像Tree of Thoughts或Graph of Thoughts這樣的技術(shù)顯示出成功）。所以這似乎是測(cè)試Transformer能力的最佳選擇。盡管有不同的理論前提，但是進(jìn)行嚴(yán)格分析并不容易：圖推理任務(wù)可以被歸類到已知的計(jì)算類別中。但是當(dāng)我們想要評(píng)估一個(gè)神經(jīng)網(wǎng)絡(luò)解決這些任務(wù)的能力時(shí)，情況就不同了。在Transformer的情況下，我們也感興趣的不僅僅是固定深度的情況，還有通過(guò)改變層數(shù)從而學(xué)習(xí)更簡(jiǎn)單或更復(fù)雜的表征時(shí)的變化。并且Transformer也可以在寬度上增長(zhǎng)，這在考慮到對(duì)上下文長(zhǎng)度的重新關(guān)注時(shí)尤其相關(guān)。作者總結(jié)了三類任務(wù)，它們的難度逐步增加，只能通過(guò)越來(lái)越復(fù)雜的模型來(lái)解決：1. 檢索任務(wù)。節(jié)點(diǎn)計(jì)數(shù)、邊計(jì)數(shù)、邊存在檢查和節(jié)點(diǎn)度數(shù)是只需要一次查找的任務(wù)，因此只需要一個(gè)Transformer層和一個(gè)小型嵌入。2. 可并行化任務(wù)。連通性、連接節(jié)點(diǎn)和循環(huán)檢查（以及更復(fù)雜的任務(wù)如二分性和平面性）可以用對(duì)數(shù)深度的Transformer解決。3. 搜索任務(wù)。最短路徑和其他需要更多推理的任務(wù)需要模型的擴(kuò)展。

論文中進(jìn)行了幾項(xiàng)理論分析，展示了Transformer如何解決這些任務(wù)以及解決這些任務(wù)所需的維度要求。另一個(gè)有趣的點(diǎn)是，作者還分析了“pause tokens”的影響。

結(jié)果在對(duì)Transformer的推理能力進(jìn)行了實(shí)證分析后。他們選擇使用從頭開始訓(xùn)練的模型（最多60M參數(shù)），對(duì)預(yù)訓(xùn)練的Transformer（T5，帶11B參數(shù)）進(jìn)行微調(diào)，測(cè)試提示技術(shù)，并將其與圖神經(jīng)網(wǎng)絡(luò)（GNNs）進(jìn)行比較。使用GraphQA基準(zhǔn)任務(wù)進(jìn)行了實(shí)驗(yàn)。

圖推理算法可以分為局部和全局兩種。前者在局部聚合信息（節(jié)點(diǎn)及其鄰居），而后者模擬節(jié)點(diǎn)之間可能是長(zhǎng)距離的全局連接。論文主要專注于全局任務(wù)，如評(píng)估連通性或計(jì)算最短路徑（這些任務(wù)需要分析圖的全局結(jié)構(gòu)）。在少數(shù)示例情況下，圖神經(jīng)網(wǎng)絡(luò)（GNNs）在這些任務(wù)中更為高效，但通過(guò)增加示例數(shù)量，Transformer的表現(xiàn)更好（Transformer仍然具有弱歸納偏見，需要許多示例才能最好地學(xué)習(xí)）。對(duì)Transformer進(jìn)行微調(diào)也對(duì)預(yù)訓(xùn)練的Transformer有積極影響。

以前的研究已經(jīng)表明，對(duì)于圖神經(jīng)網(wǎng)絡(luò)（GNN）來(lái)說(shuō)，以參數(shù)效率的方式解決連通性存在限制。微調(diào)后的模型似乎對(duì)連通性和最短路徑都更有效。雖然Transformer在解決全局任務(wù)方面更有效，但GNN在分析局部推理的任務(wù)中似乎更為高效：

表明GNN對(duì)于學(xué)習(xí)可以通過(guò)專門關(guān)注局部啟發(fā)式解決的圖推理任務(wù)具有有益的歸納偏見。（論文原文翻譯）

在GNN中的消息傳遞框架便于節(jié)點(diǎn)與其鄰居之間的信息傳遞（每增加一層相當(dāng)于圖中的一次跳躍）。相比之下，注意力機(jī)制計(jì)算每對(duì)標(biāo)記之間的關(guān)系，因此它通過(guò)全局任務(wù)來(lái)促進(jìn)，但在數(shù)據(jù)量較低的情況下，識(shí)別重要的局部關(guān)系更為困難。

作者還測(cè)試了使用大型語(yǔ)言模型（LLM）的情況，對(duì)表現(xiàn)優(yōu)異的Transformer進(jìn)行微調(diào)優(yōu)于使用提示方法。盡管在訓(xùn)練過(guò)程中，LLM會(huì)在語(yǔ)料庫(kù)中看到圖數(shù)據(jù)，因此并不是完全沒有接觸過(guò)此類數(shù)據(jù)。但這表明在特定任務(wù)的情況下專業(yè)的小模型還是要更好，并且微調(diào)要比直接使用提示的方式好。

總結(jié)這篇論文詳細(xì)展示了Transformer在圖推理方面的能力，并且涵蓋了不同的參數(shù)縮放模式。許多問(wèn)題可以被重新表述為圖問(wèn)題，所以這篇論文還是值得閱讀。并且論文還顯示，一些能力的展示需要一定的網(wǎng)絡(luò)深度，以便讓Transformer解決問(wèn)題。例如在需要全局推理的任務(wù)中，Transformer超過(guò)了圖神經(jīng)網(wǎng)絡(luò)（GNN），這得益于自注意力機(jī)制，它允許長(zhǎng)距離依賴關(guān)系被高效評(píng)估。這些發(fā)現(xiàn)為使用Transformer處理具有復(fù)雜全局依賴性的圖推理任務(wù)提供了理論和實(shí)證支持。

論文地址：https://arxiv.org/abs/2405.18512
作者：Salvatore Raieli

本文來(lái)源：DeepHub IMBA