在2024OCP全球峰會上，開發(fā)CXL交換機(jī)SoC和CXL IP的韓國無晶圓廠初創(chuàng)公司Panmnesia展示了第一個支持CXL的AI集群，該集群采用CXL 3.1交換機(jī)。

OCP全球峰會由世界上最大的數(shù)據(jù)中心硬件開發(fā)委員會OCP主辦。在活動期間，全球相關(guān)公司將討論如何構(gòu)建具有成本效益和可持續(xù)性的數(shù)據(jù)中心IT基礎(chǔ)設(shè)施的解決方案。在今年特別關(guān)注AI相關(guān)主題的活動中，Panmnesia展示了其支持CXL的AI集群，以加速用于ChatGPT等服務(wù)的下一代人工智能應(yīng)用RAG，擴(kuò)大其全球客戶群。

AI競爭的加劇凸顯了CXL的必要性

鑒于AI服務(wù)的重要性日益增加，企業(yè)正在努力提高其AI服務(wù)的質(zhì)量。近年來，人們不斷嘗試提高準(zhǔn)確率，特別是通過增加AI模型的規(guī)?；蚶酶嗟臄?shù)據(jù)。這導(dǎo)致企業(yè)對內(nèi)存的需求增加。為了增加內(nèi)存容量，企業(yè)通常會增加更多的服務(wù)器。但是，增加更多的服務(wù)器會給公司帶來不必要的支出，因為它們需要購買內(nèi)存本身之外的一系列服務(wù)器組件。

這就是下一代連接技術(shù)CXL發(fā)揮作用的地方。與前一種方法相比，CXL提供了一種擴(kuò)展內(nèi)存的新方法。使用CXL，公司只需要購買內(nèi)存和CXL設(shè)備，而不需要花錢購買額外的服務(wù)器組件。因此，CXL吸引了一些大型IT公司的興趣，這些公司一直遭受著與低效內(nèi)存擴(kuò)展相關(guān)的成本困擾。

AI的CXL解決方案

在CXL獲得全球關(guān)注的同時，Panmnesia也因其在CXL技術(shù)開發(fā)方面的領(lǐng)導(dǎo)地位而吸引了業(yè)界的興趣。該公司首次在2022年USENIX年度技術(shù)會議上推出了世界上第一個帶有CXL 2.0交換機(jī)的完整系統(tǒng)框架“DirectCXL”，引起了人們的關(guān)注。該公司在2023超級計算展覽會上推出了世界上第一個包含所有類型CXL 3.0/3.1組件的系統(tǒng)，進(jìn)一步鞏固了其在CXL技術(shù)方面的領(lǐng)先地位。此外，該公司還宣布了CXL解決方案，以加速AI，響應(yīng)行業(yè)需求。

在2023年閃存峰會(CES)上，該公司在其CXL 3.0/3.1框架上展示了推薦系統(tǒng)（商業(yè)上使用最多的AI應(yīng)用之一）的加速。隨后，在CES 2024上，Panmnesia宣布了一款支持CXL的AI加速器，通過處理接近內(nèi)存的數(shù)據(jù)來減少數(shù)據(jù)移動開銷，從而獲得了CES創(chuàng)新獎。在今年的OCP/OpenInfra峰會上，該公司推出了通過CXL技術(shù)擴(kuò)展GPU系統(tǒng)內(nèi)存的解決方案CXL-GPU，進(jìn)一步鞏固了Panmnesia作為AI CXL解決方案領(lǐng)導(dǎo)者的地位。

啟用了CXL的AI集群

在2024年OCP全球峰會上，Panmnesia展示了支持CXL的AI集群，它代表了該公司以AI為重點的CXL技術(shù)前沿。

支持CXL的AI集群包括一個配備CXL內(nèi)存擴(kuò)展器的“CXL-Memory節(jié)點”和一個配備CXLGPU的“CXL-GPU節(jié)點”。CXL-Memory節(jié)點通過多個CXL內(nèi)存擴(kuò)展器提供大容量內(nèi)存，而CXL-GPU節(jié)點通過多個CXL- GPU加速AI模型推理/訓(xùn)練。

為了構(gòu)建這個AI集群，Panmnesia使用了它的兩個主要產(chǎn)品：CXL IP和CXL交換機(jī)。首先，該公司的CXL IP嵌入到每個系統(tǒng)設(shè)備中，以啟用CXL功能。由于CXL IP優(yōu)化了設(shè)備之間的通信過程，因此它允許在不犧牲性能的情況下擴(kuò)展內(nèi)存，同時保持成本效益。接下來，使用Panmnesia的CXL 3.1交換機(jī)來互連上述各種類型的設(shè)備。

請注意，這不僅僅涉及物理連接。具體來說，CXL將GPU等加速器歸類為第2類設(shè)備，將內(nèi)存擴(kuò)展器歸類為第3類設(shè)備。為了將這些不同類型的設(shè)備互連在一起，交換機(jī)必須支持每種類型的設(shè)備所需的功能。由于該公司的CXL 3.1交換機(jī)滿足這些要求，因此能夠配置由不同類型設(shè)備組成的支持CXL的AI集群。此外，該公司的CXL 3.1交換機(jī)在增強跨多個節(jié)點（服務(wù)器）的可擴(kuò)展性方面發(fā)揮著至關(guān)重要的作用。這是通過支持為高可擴(kuò)展性而設(shè)計的CXL 3.1特性來實現(xiàn)的，例如多級交換和基于port的路由。

該公司表示：“這是世界上第一個采用CXL 3.1交換機(jī)的AI集群，也是世界上第一個采用CXL驅(qū)動的AI加速解決方案CXL- GPU的完整系統(tǒng)?！?/p>

CXL 3.1開關(guān)芯片也將在25年下半年提供給客戶。

OCP全球峰會演示：在支持CXL的AI集群上加速前沿AI模型RAG

在OCP全球峰會上，Panmnesia在其支持CXL的AI集群上展示了全球首個RAG加速演示。RAG是下一代LLM（大規(guī)模語言模型），目前正在開發(fā)中，并被OpenAI和微軟等公司使用。它可以成為當(dāng)今行業(yè)的主要應(yīng)用，因為它解決了現(xiàn)有LLM的固有局限性，即幻覺現(xiàn)象。

簡單解釋一下RAG的概念，它在包含大量數(shù)據(jù)的數(shù)據(jù)庫中搜索與用戶輸入相關(guān)的信息，并使用搜索結(jié)果來提高LLM響應(yīng)的準(zhǔn)確性。

Panmnesia的一位代表表示:“我們的演示將顯示，通過利用各種類型的CXL設(shè)備，Panmnesia的支持CXL的AI集群可以加速RAG應(yīng)用程序的所有階段。”

據(jù)該公司透露，通過CXL擴(kuò)展的大內(nèi)存可以有效地加速搜索過程，而CXL-GPU則可以加速LLM。

Panmensia相關(guān)人士表示：“通過CXL 3.1交換器和高性能CXL IP，可以連接數(shù)十臺甚至100臺設(shè)備，可以在數(shù)據(jù)中心層面有效地加速RAG等最新AI應(yīng)用。通過參與OCP全球峰會，我們的目標(biāo)是加強我們現(xiàn)有的全球合作伙伴關(guān)系，擴(kuò)大我們的客戶群。”