在一項(xiàng)新的研究中，研究人員發(fā)現(xiàn)了 LLM 中某種偏見的根本原因，為更準(zhǔn)確、更可靠的 AI 系統(tǒng)鋪平了道路。

研究表明，大型語言模型（LLM）往往傾向于過分強(qiáng)調(diào)文檔或?qū)υ掗_頭和結(jié)尾的信息，而相對(duì)忽略中間部分。這種“位置偏差”意味著，若律師使用LLM支持的虛擬助手檢索30頁宣誓書中的某個(gè)短語，該短語位于第一頁或最后一頁時(shí)被找到的可能性會(huì)大得多。

麻省理工學(xué)院的研究人員揭示了這種現(xiàn)象背后的機(jī)制。他們構(gòu)建了一個(gè)理論框架，用以探究信息在構(gòu)成LLM基礎(chǔ)的機(jī)器學(xué)習(xí)架構(gòu)中的流動(dòng)方式。研究發(fā)現(xiàn)，某些控制模型處理輸入數(shù)據(jù)方式的設(shè)計(jì)選擇可能會(huì)引發(fā)位置偏差。實(shí)驗(yàn)表明，模型架構(gòu)，特別是那些影響信息在模型內(nèi)詞元間傳播方式的部分，可能會(huì)導(dǎo)致或加劇位置偏差，而訓(xùn)練數(shù)據(jù)同樣可能是造成該問題的一個(gè)因素。

除了查明位置偏差的根源外，他們的框架還可用于在未來模型設(shè)計(jì)中診斷和糾正這一問題。這有望使聊天機(jī)器人在長時(shí)間對(duì)話中更好地保持主題連貫性，讓醫(yī)療AI系統(tǒng)在處理大量患者數(shù)據(jù)時(shí)推理更加公平，也能使代碼助手更均衡地關(guān)注程序的所有部分。

“這些模型如同黑匣子，因此作為LLM用戶，您或許不會(huì)意識(shí)到位置偏差可能導(dǎo)致模型表現(xiàn)不一致。您可能僅按照任意順序向模型提供文檔，并期望其正常運(yùn)行。然而，通過深入理解這些黑匣子模型的潛在機(jī)制，我們能夠針對(duì)性地解決其局限性，從而改進(jìn)模型性能?！甭槭±砉W(xué)院數(shù)據(jù)、系統(tǒng)和社會(huì)研究所（IDSS）和信息與決策系統(tǒng)實(shí)驗(yàn)室（LIDS）的研究生、該研究論文的第一作者Xinyi Wu說道。

1、分析注意力

Claude、Llama 和 GPT - 4 等 LLM（大型語言模型）由一種名為 transformer 的神經(jīng)網(wǎng)絡(luò)架構(gòu)提供支持。Transformer 架構(gòu)主要用于處理順序數(shù)據(jù)，它能夠?qū)⒕渥臃纸鉃榉Q為詞元的多個(gè)小塊，隨后通過學(xué)習(xí)這些詞元之間的關(guān)系來預(yù)測(cè)下一個(gè)單詞。由于其配備了注意力機(jī)制，這些模型在這一任務(wù)上表現(xiàn)得十分出色。注意力機(jī)制由互連的數(shù)據(jù)處理節(jié)點(diǎn)層構(gòu)成，它允許詞元有選擇地關(guān)注或聚焦于相關(guān)的詞元，從而更好地理解上下文。

然而，問題在于，若每個(gè)詞元都要處理 30 頁文檔中的所有其他詞元，那么計(jì)算成本將會(huì)迅速攀升，變得難以承受。鑒于此，工程師在構(gòu)建 transformer 模型時(shí)，通常會(huì)運(yùn)用注意力掩蔽技術(shù)來限定一個(gè)詞元可以關(guān)注的詞元范圍。

以因果掩碼為例，它僅允許一個(gè)詞元關(guān)注其前面的詞元。除此之外，工程師還會(huì)采用位置編碼技術(shù)，以此幫助模型準(zhǔn)確把握句子中每個(gè)詞元所處的位置，進(jìn)而提升模型的性能。

研究人員構(gòu)建了一個(gè)基于圖的理論框架，借此深入探究這些建模選擇（包括注意力掩碼和位置編碼）對(duì)位置偏差所產(chǎn)生的影響。研究分析發(fā)現(xiàn)，因果掩碼致使模型對(duì)輸入內(nèi)容的開頭部分存在天然的偏愛，即便數(shù)據(jù)本身并無此傾向。即使前面的詞元對(duì)于句子的整體含義作用不大，因果掩碼仍會(huì)使 transformer 模型更加關(guān)注句子的開頭部分。而且，隨著模型規(guī)模的擴(kuò)大以及注意力層數(shù)的增加，這種位置偏差還會(huì)進(jìn)一步加劇，因?yàn)檩斎氲脑缙诓糠衷谀Ｐ偷耐评磉^程中被更為頻繁地使用。

不過，位置編碼在這方面也發(fā)揮了一定的 “積極作用”，它能夠?qū)⒁粋€(gè)詞元與附近的詞元更緊密地聯(lián)系起來，從而在一定程度上緩解位置偏差問題，遺憾的是，這種緩解效果在多層模型中往往會(huì)遭到稀釋。

隨著模型的不斷增長，注意力機(jī)制的額外層級(jí)所引入的偏差會(huì)被逐漸放大，原因在于輸入的早期部分在模型的推理過程中被更為頻繁地使用。此外，位置編碼技術(shù)通過將單詞與其附近的單詞緊密關(guān)聯(lián)，能夠?qū)⒛Ｐ偷淖⒁饬χ匦乱龑?dǎo)至正確的位置，進(jìn)而減輕位置偏差，但這一效果在擁有眾多注意力層的模型中可能會(huì)被削弱。需要指出的是，這些設(shè)計(jì)選擇僅僅是導(dǎo)致位置偏差的原因之一，部分位置偏差或許還源自模型用于學(xué)習(xí)如何確定序列中單詞優(yōu)先級(jí)的訓(xùn)練數(shù)據(jù)。

“假如你知道你的數(shù)據(jù)在某種程度上存在偏差，那么除了對(duì)建模選擇進(jìn)行調(diào)整之外，你還應(yīng)當(dāng)對(duì)模型進(jìn)行微調(diào)?！盬u 表示。

2、實(shí)驗(yàn)驗(yàn)證：U形模式下的“迷失在中間”

在建立理論框架后，研究人員展開了實(shí)驗(yàn)。實(shí)驗(yàn)中，他們系統(tǒng)性地改變正確答案在文本序列中的位置，以完成信息檢索任務(wù)。

實(shí)驗(yàn)揭示了一種 “迷失在中間” 現(xiàn)象，即檢索精度呈現(xiàn)出 U 形模式。當(dāng)正確答案位于序列開頭時(shí)，模型性能最佳；越接近序列中間，性能下降得越顯著；而當(dāng)正確答案接近序列末尾時(shí)，性能又會(huì)有所回升。

總體而言，他們的研究指出，采用不同的掩碼技術(shù)、減少注意力機(jī)制的額外層級(jí)或有針對(duì)性地運(yùn)用位置編碼，能夠降低位置偏差，進(jìn)而提升模型的準(zhǔn)確性。

通過理論分析和實(shí)驗(yàn)探究，研究人員展現(xiàn)了模型設(shè)計(jì)選擇帶來的影響，凸顯了在高風(fēng)險(xiǎn)應(yīng)用里把握模型有效性的重要性，并且他們打算繼續(xù)深入研究位置編碼及相關(guān)策略，進(jìn)一步挖掘位置偏差的利用潛力。斯坦福大學(xué)教授 Amin Saberi 對(duì)團(tuán)隊(duì)在理解 Transformer 注意力機(jī)制上取得的成果予以高度評(píng)價(jià)，認(rèn)為該項(xiàng)工作不僅數(shù)學(xué)推導(dǎo)清晰嚴(yán)謹(jǐn)，而且對(duì)實(shí)際問題有著深刻洞察。

3、如何減少LLM在處理信息時(shí)的位置偏差？

• 改變注意力掩蔽技術(shù)

調(diào)整因果掩碼等注意力掩蔽方式，避免模型對(duì)開頭信息的過度偏重。或者采用其他先進(jìn)的注意力掩蔽策略，讓模型在關(guān)注前后文時(shí)更加均衡。

優(yōu)化位置編碼策略

改進(jìn)位置編碼方法，使其能更有效地將單詞與附近單詞聯(lián)系起來，幫助模型準(zhǔn)確把握每個(gè)位置信息的重要性，從而減輕位置偏差。

• 調(diào)整模型架構(gòu)

從注意力機(jī)制中刪除不必要的層，或者重新設(shè)計(jì)模型架構(gòu)，減少因?qū)訑?shù)過多導(dǎo)致的位置偏差放大效應(yīng)。

微調(diào)模型

如果知道訓(xùn)練數(shù)據(jù)存在偏差，除了調(diào)整建模選擇外，對(duì)模型進(jìn)行針對(duì)性的微調(diào)，以糾正數(shù)據(jù)中可能引起的位置偏差。

平衡訓(xùn)練數(shù)據(jù)

確保訓(xùn)練數(shù)據(jù)的分布和結(jié)構(gòu)合理，避免因數(shù)據(jù)本身的偏差導(dǎo)致模型學(xué)習(xí)到不均衡的位置信息權(quán)重。

• 數(shù)據(jù)增強(qiáng)

通過數(shù)據(jù)增強(qiáng)技術(shù)，增加訓(xùn)練數(shù)據(jù)樣式的多樣性，讓模型接觸到更多不同位置信息重要的樣本，從而提高模型對(duì)位置信息處理的魯棒性。

• 針對(duì)性的損失函數(shù)調(diào)整

在訓(xùn)練過程中，使用能夠平衡不同位置信息重要性的損失函數(shù)，讓模型在學(xué)習(xí)時(shí)更加關(guān)注中間位置的信息，減輕位置偏差。

本文轉(zhuǎn)自：善思開悟科技
內(nèi)容經(jīng)過翻譯、整理，核心觀點(diǎn)來自https://news.mit.edu/2025/unpacking-large-language-model-bias-0617，作者Adam Zewe