背景

近年來(lái)，隨著AIGC的發(fā)展，生產(chǎn)力的生成方式、產(chǎn)品形態(tài)都在發(fā)生重大的變化。計(jì)算規(guī)模和模型規(guī)模的不斷增大，尤其是大模型的出現(xiàn)和廣泛應(yīng)用對(duì)算力的需求呈現(xiàn)出爆發(fā)式的增長(zhǎng)。這一系列的變化對(duì)計(jì)算架構(gòu)提出了新的挑戰(zhàn)，首先是系統(tǒng)規(guī)模越來(lái)越大，系統(tǒng)結(jié)構(gòu)越來(lái)越復(fù)雜；其次計(jì)算形態(tài)的變革，傳統(tǒng)的計(jì)算形態(tài)，主要是基于CPU或GPU的同構(gòu)計(jì)算越來(lái)越難以滿足算力的持續(xù)增長(zhǎng)。

在這一背景下，Chiplet成為非常有潛力的設(shè)計(jì)方法和解決方案。Chiplet架構(gòu)可以將SoC進(jìn)行拆分重組，將主要功能單元如計(jì)算、存儲(chǔ)、傳感等轉(zhuǎn)變成芯粒的形式，從而支持復(fù)雜系統(tǒng)的異構(gòu)集成。而將各種芯粒重構(gòu)成為一個(gè)完整的系統(tǒng)則需要依賴D2D接口對(duì)其進(jìn)行互聯(lián)，尤其是當(dāng)設(shè)計(jì)人員需要構(gòu)建一個(gè)包含多種第三方芯粒的復(fù)雜系統(tǒng)時(shí)，一個(gè)統(tǒng)一的D2D互聯(lián)接口成為不可或缺的組件。在此背景下，UCIe、BoW、OpenHBI等D2D互聯(lián)接口協(xié)議應(yīng)運(yùn)而生，旨在構(gòu)建一個(gè)統(tǒng)一的D2D互聯(lián)框架。盡管協(xié)議不盡相同，D2D互聯(lián)接口的底層技術(shù)存在著較多的共性，而這些共性技術(shù)是D2D接口設(shè)計(jì)人員非常重要的研究?jī)?nèi)容。

本文將從D2D接口的信道特點(diǎn)、D2D接口的技術(shù)指標(biāo)，D2D接口的設(shè)計(jì)思考和D2D接口的設(shè)計(jì)流程革新等方面來(lái)淺談D2D互聯(lián)接口的共性技術(shù)。
?
D2D接口的信道特點(diǎn)

信道條件通常是接口研究的起點(diǎn)，接口電路的架構(gòu)搭建、微結(jié)構(gòu)選取到具體電路的實(shí)現(xiàn)無(wú)不以信道特性作為出發(fā)點(diǎn)，D2D接口的設(shè)計(jì)也不例外。相比傳統(tǒng)高速接口，D2D接口的信道表現(xiàn)了較多新的特點(diǎn)，這主要是由D2D接口的應(yīng)用環(huán)境和封裝形式所帶來(lái)的。眾所周知，D2D接口主要用于芯粒間的高帶寬數(shù)據(jù)互聯(lián)，這一應(yīng)用場(chǎng)景決定了D2D接口信道的兩個(gè)主要特點(diǎn)：一、信道長(zhǎng)度較短，一般局限在封裝內(nèi)部；二、信道數(shù)量大，布線密集。同時(shí)，這一應(yīng)用場(chǎng)景也決定了D2D接口往往面對(duì)較為先進(jìn)的封裝形式，其布線通道通常是基板（substrate）甚至是硅中介層（silicon interposer），我們分別稱之為D2D接口的標(biāo)準(zhǔn)封裝（standard package）和先進(jìn)封裝（advanced package）
。
相比以PCB走線為主的傳統(tǒng)互聯(lián)方式，D2D標(biāo)準(zhǔn)封裝和先進(jìn)封裝的顯著特點(diǎn)是節(jié)距（pitch）的減小。在標(biāo)準(zhǔn)封裝中，芯片凸點(diǎn)（bump）的節(jié)距從傳統(tǒng)封裝的0.5~1mm減小到100~200um，而在先進(jìn)封裝中，這一物理尺寸進(jìn)一步微縮到30~60um。這一變化首先帶來(lái)了一系列信道物理尺寸的同步微縮，包括互聯(lián)走線的線寬、線距和金屬厚度等。而這些物理尺寸的微縮進(jìn)一步引起了信道電學(xué)特性的改變。概括而言，從傳統(tǒng)封裝到先進(jìn)封裝，信道的單位長(zhǎng)度電阻顯著增大，而其單位長(zhǎng)度的等效電感和電容基本保持不變?？紤]到在D2D標(biāo)準(zhǔn)封裝和先進(jìn)封裝下其信道長(zhǎng)度顯著縮短，信道整體的等效電感和電容顯著縮小。具體而言，先進(jìn)封裝下的D2D信道的電學(xué)特性變化主要表現(xiàn)在如下方面：

插入損耗（insertion loss）

得益于D2D互聯(lián)間距較短，相比傳統(tǒng)的高速互聯(lián)接口，D2D接口信道的損耗較低。我們考察了多種D2D互聯(lián)協(xié)議的參考信道，在其最高工作頻率下的信道損耗均小于-6dB，在實(shí)際設(shè)計(jì)信道的過程中，這一指標(biāo)通?？梢钥刂频酶觾?yōu)越（-2~-3dB）。較低的信道損耗使得高階均衡不再是一個(gè)必須項(xiàng)，同時(shí)，簡(jiǎn)單的調(diào)制方式（如NRZ）就能實(shí)現(xiàn)較高數(shù)據(jù)率的傳輸，這些特點(diǎn)均為高能效數(shù)據(jù)傳輸提供了有利條件。

反射（reflection）

得益于D2D信道電學(xué)特性的變化趨勢(shì)（較高的阻抗，較小的等效電感和電容），相比傳統(tǒng)信號(hào)，D2D信道的反射特性得到了較大程度的優(yōu)化，尤其是在先進(jìn)封裝下，信道對(duì)反射敏感的頻率范圍進(jìn)一步推高，這一特點(diǎn)為D2D接口的端接方案提供了更大的空間。在D2D信道條件下，發(fā)射端的源阻抗和接收端的端接阻抗可以不要求完全匹配，設(shè)計(jì)人員可以選取更小的源阻抗和更大的端接阻抗以獲取更大的信號(hào)擺幅和更小的功耗。在互聯(lián)非常短的極端情況下，設(shè)計(jì)人員甚至可以選擇舍棄端接電阻。
?

串?dāng)_（crosstalk）

串?dāng)_是D2D信道設(shè)計(jì)所面臨的主要問題。由于D2D接口通常具有龐大的引腳數(shù)量，因此布線面積會(huì)非常受限，這將導(dǎo)致一些傳統(tǒng)的結(jié)論在D2D互聯(lián)場(chǎng)景下不再適用。通常而言，設(shè)計(jì)人員克服串?dāng)_的常用方法包括采用差分信號(hào)線以及引入屏蔽線等，而研究表明，在面積受限的情況下，單端非屏蔽方案相比差分屏蔽線方案具有更好的串?dāng)_特性，這是D2D信道顯著區(qū)別于傳統(tǒng)信道的一個(gè)重要特點(diǎn)。鑒于此，D2D信道的串?dāng)_特性更多地需要從返回路徑上進(jìn)行優(yōu)化，比如采用帶狀線而非微帶線結(jié)構(gòu)，采用更薄的介質(zhì)層，更完整的參考平面等。

?
D2D接口的技術(shù)指標(biāo)

對(duì)D2D接口的技術(shù)指標(biāo)的考察揭示了D2D高速接口的技術(shù)趨勢(shì)。我們整理了國(guó)內(nèi)外多個(gè)較為常見的D2D接口協(xié)議的技術(shù)指標(biāo)，從中可以看到D2D高速接口的一些共性技術(shù)要求。基本的技術(shù)指標(biāo)如封裝形式（凸點(diǎn)節(jié)距）、信道長(zhǎng)度、數(shù)據(jù)位寬、最高速率等本質(zhì)上相當(dāng)于設(shè)計(jì)參數(shù)，也可以認(rèn)為是D2D接口的功能指標(biāo)。

?
我們看到，多數(shù)D2D接口協(xié)議均支持標(biāo)準(zhǔn)封裝和先進(jìn)封裝，少數(shù)協(xié)議僅支持先進(jìn)封裝。在標(biāo)準(zhǔn)封裝下，典型的信道長(zhǎng)度通常在50mm以下，數(shù)據(jù)位寬多為16線；而在先進(jìn)封裝下，信道長(zhǎng)度僅為數(shù)個(gè)mm，而數(shù)據(jù)位寬通常會(huì)比標(biāo)準(zhǔn)封裝大很多，典型值在32~64線之間。通常來(lái)說，D2D接口的最高數(shù)據(jù)率對(duì)標(biāo)準(zhǔn)封裝和先進(jìn)封裝而言沒有明顯區(qū)分，一般在16~32Gbps之間。

真正考驗(yàn)D2D接口設(shè)計(jì)能力的是以下兩個(gè)性能指標(biāo)：時(shí)延（latency）和能效（power efficiency）。D2D接口的時(shí)延指標(biāo)通常在幾個(gè)ns，該指標(biāo)決定數(shù)據(jù)傳輸?shù)膶?shí)際吞吐率，是直接影響系統(tǒng)性能的重要因素。D2D接口的能效指標(biāo)一般在1pJ/b以下，先進(jìn)封裝下的這一數(shù)值還會(huì)進(jìn)一步降低。由于D2D接口傳輸?shù)臄?shù)據(jù)率非常龐大，其功耗十分可觀，甚至在整個(gè)系統(tǒng)功耗中也往往占據(jù)了相當(dāng)大的一部分，因此能效對(duì)于D2D接口而言同樣是一個(gè)至關(guān)重要的指標(biāo)。

出于對(duì)系統(tǒng)性能的考量（換言之對(duì)D2D接口時(shí)延和能效性能的考量），我們將進(jìn)一步審視D2D接口設(shè)計(jì)參數(shù)的選取。首先，為確保系統(tǒng)所需要的帶寬，我們通常認(rèn)為更高的數(shù)據(jù)率是更好的選擇，但是更高的數(shù)據(jù)率通常意味著更低的能效，甚至在特定情況下還會(huì)導(dǎo)致更大的時(shí)延。因此，在某些情況下，適當(dāng)降低數(shù)據(jù)率，同時(shí)配合更大的數(shù)據(jù)位寬可能是一個(gè)更好的方案。當(dāng)然，更大的數(shù)據(jù)位寬需要占據(jù)更大的芯片面積，此時(shí)設(shè)計(jì)者可能需要考慮采用更小的凸點(diǎn)節(jié)距，甚至采用先進(jìn)封裝等更為復(fù)雜的方案來(lái)縮小接口電路的面積。從上述分析中可以看到，D2D接口電路的設(shè)計(jì)參數(shù)選取本質(zhì)上仍是性能與成本的折中，如何實(shí)現(xiàn)有限成本（芯片面積，研發(fā)周期等）下的時(shí)延、能效最優(yōu)化是D2D接口設(shè)計(jì)者始終思考的問題。

在上述考量下，總結(jié)來(lái)說，對(duì)于標(biāo)準(zhǔn)封裝的D2D接口，較優(yōu)的設(shè)計(jì)選擇是采用最大的數(shù)據(jù)率和較小的數(shù)據(jù)位寬來(lái)實(shí)現(xiàn)帶寬和面積的平衡；而對(duì)于先進(jìn)封裝的D2D接口，較優(yōu)的設(shè)計(jì)選擇是采用適中的數(shù)據(jù)率和較大的數(shù)據(jù)位寬，從而在確保帶寬需求的情況下爭(zhēng)取更好的能效性能。
上述分析雖然針對(duì)D2D標(biāo)準(zhǔn)封裝和先進(jìn)封裝，對(duì)更為先進(jìn)的3D封裝也同樣適用。在最近發(fā)布的UCIe 2.0中，協(xié)議定義了UCIe 3D接口的設(shè)計(jì)指標(biāo)。在該指標(biāo)中，接口的數(shù)據(jù)率進(jìn)一步降低到4Gbps，以接近系統(tǒng)中邏輯電路的工作頻率，從而實(shí)現(xiàn)極致的時(shí)延和能效性能；同時(shí)，協(xié)議通過指定較大的位寬和極小的節(jié)距以確保該接口的數(shù)據(jù)帶寬和帶寬密度。
?
奇異摩爾作為AI網(wǎng)絡(luò)全棧式互聯(lián)架構(gòu)產(chǎn)品及解決方案提供商，核心產(chǎn)品不僅覆蓋基于提升單個(gè)芯片算力的UCIe V1.1 Die2Die IP（32Tg/s帶寬），Chiplet互聯(lián)芯粒2.5D/3D IO Die，還為AI智算中心提供面向北向Scale out網(wǎng)絡(luò)的AI原生智能網(wǎng)卡，面向南向Scale up網(wǎng)絡(luò)的片間加速芯粒RDMA G2G等全鏈路產(chǎn)品解決方案。
奇異摩爾以創(chuàng)新為核心驅(qū)動(dòng)、以技術(shù)探索新場(chǎng)景、以生態(tài)構(gòu)建新的半導(dǎo)體格局、為高性能AI計(jì)算奠定穩(wěn)固的基石。
?
D2D接口的設(shè)計(jì)思考

D2D接口的設(shè)計(jì)是一項(xiàng)系統(tǒng)而又細(xì)致的工作，其中最為困難從而也是最有價(jià)值的部分正是那些可以提升D2D接口性能的設(shè)計(jì)方法。如上所述，時(shí)延和能效是D2D接口最為重要的性能指標(biāo)，下面我們就從這兩個(gè)方面淺談D2D接口設(shè)計(jì)的一些思考。

時(shí)延

以設(shè)計(jì)方法和流程而言，D2D接口電路通常都可以分為數(shù)字電路和模擬電路兩部分。在D2D接口設(shè)計(jì)中，這兩部分通常由不同的設(shè)計(jì)者來(lái)承擔(dān)。自然地，設(shè)計(jì)者通常會(huì)從這兩個(gè)部分去分別優(yōu)化D2D接口的時(shí)延。比如，在數(shù)字電路設(shè)計(jì)中，嘗試采用更高的工作頻率和更精簡(jiǎn)的流水線結(jié)構(gòu)等；同樣，在模擬電路設(shè)計(jì)中也可以通過采用合理的串并轉(zhuǎn)換電路結(jié)構(gòu)來(lái)縮小時(shí)延。

然而，一個(gè)可能對(duì)時(shí)延影響更為顯著卻往往容易被忽視的環(huán)節(jié)是模擬電路和數(shù)字電路的接口部分。這是因?yàn)閿?shù)字電路和模擬電路往往處在不同的時(shí)鐘域中，而數(shù)據(jù)的跨時(shí)鐘域傳輸需要經(jīng)過同步。通常來(lái)說，設(shè)計(jì)人員一般會(huì)采用FIFO來(lái)對(duì)數(shù)據(jù)進(jìn)行跨時(shí)鐘域同步，這一過程將會(huì)帶來(lái)數(shù)個(gè)時(shí)鐘周期的時(shí)延。這一開銷在大多數(shù)場(chǎng)景下無(wú)足輕重，但是對(duì)于D2D接口而言卻可能是無(wú)法承受的。因此，如何處理數(shù)模接口上的數(shù)據(jù)同步問題是優(yōu)化D2D接口延時(shí)的重要課題。

優(yōu)化數(shù)模接口上的時(shí)延的中心思想是在完成數(shù)據(jù)同步的基礎(chǔ)上縮小甚至取消FIFO所帶來(lái)的時(shí)延開銷。對(duì)此，我們提供了兩種可行的方案：邊沿調(diào)整技術(shù)和FIFO重置技術(shù)。邊沿調(diào)整技術(shù)將數(shù)據(jù)的跨時(shí)鐘域操作視為一次數(shù)據(jù)采樣，其核心思想是通過調(diào)整算法搜索到最優(yōu)的采樣窗口對(duì)數(shù)據(jù)進(jìn)行采樣，從而完成跨時(shí)鐘域操作，該方案可以將時(shí)延開銷由數(shù)個(gè)時(shí)鐘周期減小到半個(gè)時(shí)鐘周期。FIFO重置技術(shù)是將FIFO從數(shù)模接口轉(zhuǎn)移到模擬電路內(nèi)部的串行時(shí)鐘域上，假設(shè)模擬電路中的串并轉(zhuǎn)換比為N，該方法可以將時(shí)延開銷減小到原始方案的N分之一。

能效

能效優(yōu)化所涉及內(nèi)容則更為廣泛，大到整個(gè)D2D接口架構(gòu)的選取，小到某個(gè)具體電路的實(shí)現(xiàn)，都可能與最終的能效特性有密不可分的聯(lián)系。這里我們將選取兩個(gè)典型的例子來(lái)討論基于能效優(yōu)化的一些設(shè)計(jì)實(shí)現(xiàn)方法。

D2D接口的時(shí)鐘方案是D2D接口架構(gòu)設(shè)計(jì)的一個(gè)重要內(nèi)容。通常對(duì)于16~32Gbps數(shù)據(jù)率的接口設(shè)計(jì)而言，半速率架構(gòu)是一個(gè)較為常用的選擇，因其結(jié)構(gòu)簡(jiǎn)明且性能魯棒。但是對(duì)于D2D接口，尤其是工作在較高數(shù)據(jù)率的D2D接口，半速率架構(gòu)對(duì)于能效性能而言可能不是一個(gè)最優(yōu)方案。因?yàn)镈2D接口的數(shù)據(jù)位寬通常較大，這意味著D2D接口的片上時(shí)鐘分布網(wǎng)絡(luò)較傳統(tǒng)的高速接口電路遠(yuǎn)為龐大，較高的時(shí)鐘頻率帶來(lái)的時(shí)鐘分布網(wǎng)絡(luò)的功耗開銷將變得十分可觀。因此，對(duì)于工作在較高數(shù)據(jù)率的D2D接口來(lái)說，采用四分之一時(shí)鐘速率架構(gòu)或是一個(gè)對(duì)能效性能更加友好的方案。
?

從具體的電路設(shè)計(jì)角度，去偏斜（de-skew）電路是D2D接口中一個(gè)非常重要的模塊，同時(shí)也是與整個(gè)接口的能效特性關(guān)系非常緊密的模塊。去偏斜電路的作用是調(diào)節(jié)D2D接口中每個(gè)通道的時(shí)延，從而將所有通道輸出信號(hào)的時(shí)間偏差限制在極小的范圍內(nèi)。對(duì)于去偏斜電路的設(shè)計(jì)，延時(shí)鏈結(jié)構(gòu)是一個(gè)常用的選擇。但是當(dāng)該模塊需要覆蓋較大的偏斜時(shí)，延時(shí)鏈結(jié)構(gòu)需要引入較大的延時(shí)，這同時(shí)也會(huì)帶來(lái)較大的功耗。因此，出于能效的考量，基于相位內(nèi)插器（PI）的電路結(jié)構(gòu)可能是更適合D2D接口的電路實(shí)現(xiàn)方案。
?
D2D接口的設(shè)計(jì)流程革新

D2D接口作為一種新興的高速接口，表現(xiàn)出很多不同于傳統(tǒng)高速接口的技術(shù)特點(diǎn)，而這些新的特點(diǎn)也對(duì)傳統(tǒng)的IC設(shè)計(jì)流程提出了挑戰(zhàn)。由上面討論可以看到，D2D接口是少數(shù)對(duì)數(shù)字電路、模擬電路和封裝都有極高設(shè)計(jì)要求的系統(tǒng)，而D2D接口設(shè)計(jì)對(duì)設(shè)計(jì)方法和流程的挑戰(zhàn)則主要集中在數(shù)字電路與模擬電路、芯片與封裝的界面銜接上。

對(duì)于數(shù)字電路和模擬電路界面，傳統(tǒng)的設(shè)計(jì)方法在設(shè)計(jì)流程上通常只對(duì)數(shù)字電路進(jìn)行時(shí)序約束和分析，在模擬電路側(cè)，一般僅通過仿真確保數(shù)模接口界面的時(shí)序。對(duì)傳統(tǒng)的高速接口而言，這樣的流程通常就可以滿足設(shè)計(jì)需求，而對(duì)于D2D高速接口，由于其大帶寬和低延時(shí)特性，其數(shù)模接口工作在更高的頻率，傳統(tǒng)的設(shè)計(jì)流程已然難以滿足數(shù)模接口界面的時(shí)序要求。因此，在D2D接口設(shè)計(jì)的過程中，設(shè)計(jì)人員還需要在模擬電路側(cè)應(yīng)用時(shí)序約束和分析流程，包括刻畫模擬電路邊界處器件的時(shí)序特性、對(duì)其編寫約束條件，并整合到數(shù)字電路的時(shí)序分析流程中進(jìn)行統(tǒng)一的時(shí)序優(yōu)化和收斂。

對(duì)于芯片和封裝的界面的處理則主要集中在信道建模問題上。在傳統(tǒng)的高速接口電路設(shè)計(jì)流程中，封裝設(shè)計(jì)人員通常對(duì)信道進(jìn)行單獨(dú)建模，通過電磁場(chǎng)仿真，提取信道的仿真模型（如S參數(shù)模型），并提供給電路設(shè)計(jì)者進(jìn)行仿真驗(yàn)證。在D2D接口設(shè)計(jì)中，尤其是先進(jìn)封裝甚至是3D封裝下的D2D接口，較傳統(tǒng)的高速接口有兩個(gè)顯著的區(qū)別：一是端口數(shù)量顯著增加，二是信道條件更加規(guī)則，各端口往往面對(duì)較為簡(jiǎn)單且一致的信道條件。在第一個(gè)變化下，傳統(tǒng)的設(shè)計(jì)流程將消耗大量的設(shè)計(jì)資源，使設(shè)計(jì)工作變得低效；而第二個(gè)變化則為信道的統(tǒng)一建模提供了機(jī)會(huì)。在先進(jìn)封裝尤其是3D封裝下，對(duì)信道建立集總器件的簡(jiǎn)單模型，并轉(zhuǎn)化為線延時(shí)融合到電路時(shí)序分析的流程中實(shí)現(xiàn)全鏈路的時(shí)序優(yōu)化將成為一種高效的主流設(shè)計(jì)方法。
?