人工智能進一步推動了對算力的渴求，硬件的世界已經(jīng)發(fā)生了極大的顛覆，不論是數(shù)據(jù)的處理方式還是計算架構(gòu)的延伸，除了CPU、GPU、DSP、FPGA等，還涌現(xiàn)出各種各樣的AI加速器。除了傳統(tǒng)的芯片提供商，算法提供商、設(shè)備服務(wù)商甚至互聯(lián)網(wǎng)公司等，也都開始規(guī)劃自己的芯片戰(zhàn)略。另一方面，創(chuàng)新速度也在加劇，甚至遠遠超出芯片的設(shè)計速度。

硬件發(fā)展受到了前所未有的挑戰(zhàn)。但與此同時，軟件的重要性也被提到了前所未有的高度。這背后的邏輯是什么？

三大行業(yè)趨勢正在驅(qū)動變革

第一個趨勢是云和端的一體化。以前我們將大的計算量都放在云端，但隨之而來產(chǎn)生了帶寬傳輸?shù)膯栴}。當把運算量漸漸移到端側(cè)的時候，又產(chǎn)生了功耗、算力的問題。可能的處理方式是：當數(shù)據(jù)量較小的時候放在端側(cè)，隨著數(shù)據(jù)量增大再放到云上，這就使得很多場景下很難界定究竟是云上還是端側(cè)，因此需要從云到端統(tǒng)一的解決方案，來適配不同場景下的計算需求。

第二個趨勢是AI激增。其前提是數(shù)據(jù)量的激增，以及數(shù)據(jù)形態(tài)的巨大變化。從傳統(tǒng)的文本、圖形數(shù)據(jù)，到現(xiàn)在的視頻、音頻、社交等非結(jié)構(gòu)化數(shù)據(jù)，未來還有包括聯(lián)網(wǎng)汽車數(shù)據(jù)、神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)、基因數(shù)據(jù)等更多形態(tài)的數(shù)據(jù)。當數(shù)據(jù)量越來越大之后，如何讓數(shù)據(jù)發(fā)揮真正的價值成為重要的關(guān)注點。

第三個趨勢是異構(gòu)計算。傳統(tǒng)上應(yīng)對運算性能提升的方式包括單核速度的提升，以及單核變多核。但是當這兩種方式仍然無法滿足計算需求的時候，CPU+GPU、CPU+FPGA等組合形式的異構(gòu)計算概念出現(xiàn)了。異構(gòu)雖然帶來了性能上的提升，但是也給軟件開發(fā)者帶來了各種挑戰(zhàn)。

軟硬件各自為政的時代已過去！

除了上述趨勢，軟硬件本身的特性也在促使二者關(guān)系的轉(zhuǎn)變。硬件按照物理規(guī)律在發(fā)展，相對于軟件，必然存在迭代慢、架構(gòu)復(fù)雜的問題，特別是隨著摩爾定律趨緩，硬件架構(gòu)上的物理增長越來越艱難。相較之下，算法的增長和優(yōu)化則空間很大，一方面能夠提升硬件架構(gòu)的物理性能；另一方面，通過算法的升級能夠帶來算力上的躍進。例如蘋果、華為、百度、阿里等公司都推出了內(nèi)置AI算法的芯片，應(yīng)用場景多以云端為主。

在這些趨勢的引領(lǐng)下，軟硬件的關(guān)系產(chǎn)生了新的變化。軟件似乎正變得越來越重要，許多公司甚至選擇軟件為先，硬件再去跟進。

當所有創(chuàng)新都被按下快進鍵的過程中，硬件工程師需要工具幫助他們突破固定硬件的開發(fā)限制，快速面對市場；軟件工程師則需要幫助他們屏蔽硬件復(fù)雜性，讓他們可以在熟悉的開發(fā)環(huán)境中提升效率。

二者誰更重要呢？沒有軟件，芯片無法使用，需要大量的軟件開發(fā)者去將它表達為用戶真正所需；另一方面，軟件又需要芯片這個實體去承載，在整個系統(tǒng)中發(fā)揮價值。

誰能幫助硬件和軟件工程師重新坐下來對話，為他們搭建起溝通的橋梁？

巨頭們已經(jīng)嗅到了這樣的趨勢。

10月9日，賽靈思宣布推出開放、標準、免費的統(tǒng)一軟件平臺Vitis。這是賽靈思有史以來首次發(fā)布的一款軟硬件統(tǒng)一的平臺，可以說是賽靈思近年來轉(zhuǎn)型中一個重要的成果，根據(jù)官方說明，它可以讓包括軟件工程師和 AI 科學(xué)家在內(nèi)的廣大開發(fā)者都能受益于硬件靈活應(yīng)變的優(yōu)勢。Vitis統(tǒng)一軟件平臺支持賽靈思異構(gòu)平臺（包括FPGA、SoC和Versal ACAP）上開發(fā)嵌入式軟件和加速應(yīng)用，為邊緣、云和混合計算應(yīng)用加速提供統(tǒng)一編程模型。它可以與高層次框架進行集成，通過加速庫采用C、C++或Python進行開發(fā)，也可以使用基于RTL的加速器和低層次運行時API對實現(xiàn)方案進行粒度更為精確的控制。

四層堆棧，打通從硬件到應(yīng)用的道路！

Vitis 平臺構(gòu)建在基于堆棧的架構(gòu)之上，該架構(gòu)可以無縫插入到開源的標準開發(fā)系統(tǒng)與構(gòu)建環(huán)境，并且包含一套豐富的標準庫。

基礎(chǔ)層是 Vitis 目標平臺，該平臺由電路板和預(yù)編程 I/O構(gòu)成。

第二層稱為 Vitis 核心開發(fā)套件，覆蓋開源賽靈思運行時庫，以管理不同域間的數(shù)據(jù)移動，包括子系統(tǒng)、即將發(fā)布的 Versal ACAP內(nèi)的AI引擎和必要的外部主機。此外，該層也提供編譯器、分析器和調(diào)試器等核心開發(fā)工具，這些工具設(shè)計的目的是能與業(yè)界標準的構(gòu)建系統(tǒng)與開發(fā)環(huán)境無縫集成。

在第三層，8個Vitis 庫提供 400 余種優(yōu)化的開源應(yīng)用。這8個庫分別是：Vitis 基本線性代數(shù)子程序（BLAS）庫、Vitis 求解器庫、Vitis 安全庫、Vitis 視覺庫、Vitis 數(shù)據(jù)壓縮庫、Vitis 計量金融庫、Vitis 數(shù)據(jù)庫集和 Vitis AI 庫。借助這些庫，軟件開發(fā)者可以使用標準的應(yīng)用編程接口（API）來實現(xiàn)硬件加速。

Vitis 平臺的第四層，也是最具有變革意義的一層是 Vitis AI。它集成了特定領(lǐng)域架構(gòu)（DSA），提供了針對AI模型的硬件實現(xiàn)，開發(fā)者可以使用包括TensorFlow和Caffe等框架進行配置與編程。Vitis AI 提供的工具鏈能在數(shù)分鐘內(nèi)完成優(yōu)化、量化和編譯操作，在賽靈思器件上運行預(yù)先訓(xùn)練好的AI模型。此外，它也為從邊緣到云端的部署提供了專用 API，實現(xiàn)更好的推斷性能與效率。賽靈思很快還將推出另一個 DSA（Vitis Video），支持從 FFmpeg 直接進行編碼并提供同樣超級簡單且功能極強大的端到端視頻解決方案。由合作伙伴公司提供的 DSA 包括：與 GATK 集成用于基因分析的Illumina，與ElasticSearch 集成用于大數(shù)據(jù)分析的BlackLynx，以及當前客戶正在使用的專有DSA。

如何打破軟硬件壁壘，提升創(chuàng)新效率？

賽靈思軟件和人工智能高級經(jīng)理羅霖，以智慧城市為例說明了如何通過統(tǒng)一軟件平臺Vitis，來幫助開發(fā)人員進行效率提升。

智慧城市一個典型的應(yīng)用場景就是在道路上實時統(tǒng)計交通流量，包括汽車流量、人流量等，通過大量攝像頭實時捕捉，在前端進行特征提取，再傳給服務(wù)器或云端，進行更高層次的信息提取和分析。

這個典型案例中，攝像頭和邊緣端服務(wù)器端都可以部署賽靈思的器件，硬件開發(fā)人員完成IP開發(fā)后，再由嵌入式開發(fā)人員進行一定程度的修改，基于Shell和Runtime，由應(yīng)用開發(fā)人員使用經(jīng)過優(yōu)化的庫（包括CNN加速庫、數(shù)據(jù)分析和加速庫）完成應(yīng)用開發(fā)。

對于算法開發(fā)人員，他們通過TensorFlow等進行模型訓(xùn)練之后，可以得到一個浮點的Model。接下來的開發(fā)流程中，他們就可以使用Vitis AI開發(fā)工具?；谀Ｐ瓦M行第一步優(yōu)化，第二步完成模型的量化即定點，第三步定點好之后進行編譯，生成基于底層DPU的機器代碼。最終，在板上進行部署后分析性能，包括運算效率等。如果覺得性能已達到目標，就可以編譯成庫，應(yīng)用代碼可以直接調(diào)用編譯好的庫，進行網(wǎng)絡(luò)推斷。整個過程中，他們不需要關(guān)注底層的RTL、驅(qū)動程序或是數(shù)據(jù)的搬運，所有的工作都是基于模型，由工具去生成在目標硬件上運行的機器代碼。

如何快速通過Vitis達到用戶所需的目標性能？羅霖表示，第一，軟件開發(fā)人員可以把算法，包括前后處理都在CPU上完成，這部分不需要底層硬件開發(fā)人員的幫助，用Vitis可以達到每秒6幀的性能；第二，把DPU放在Shell里，用算法在其中做加速，性能可以從每秒6幀提升到每秒30幀；第三，為了提升端到端的性能，比如預(yù)處理是設(shè)計空間的轉(zhuǎn)換或者是視頻縮放，這部分可以用Vitis庫提供前處理的優(yōu)化，從30FPS提升到40FPS甚至再提升到80FPS。

整個項目中用到了瀏覽器、編譯器還有分析器，按照時間線來看，內(nèi)核占用情況、數(shù)據(jù)從編寫到搬運占用時間、中斷是否合適……所有這些底層運行的細節(jié)，軟件工程師一目了然，從而可以判定系統(tǒng)的運行狀況，以及瓶頸問題等。而傳統(tǒng)上，還需要在工具中專門插入芯片間隙或數(shù)據(jù)監(jiān)測器才能夠?qū)崿F(xiàn)。

屏蔽硬件復(fù)雜性——當前軟件的重要價值

通過開放、通用的軟件來屏蔽硬件復(fù)雜性，使軟件人員在他們熟悉的開發(fā)環(huán)境中專注于創(chuàng)新，而無需關(guān)注底層硬件平臺的細節(jié)——成為消除當前軟硬件壁壘的主要手段。

今年8月，Intel對其即將于年底發(fā)布的oneAPI開發(fā)者測試版本進行了劇透。OneAPI整合了計算和架構(gòu)創(chuàng)新，通過高速互連以及新的軟件開發(fā)模式，希望為開發(fā)者簡化API。Intel希望將硬件能力抽象出來，把最重要的算法融于oneAPI，使開發(fā)者不再需要針對硬件做開發(fā)，更容易發(fā)揮出硬件的所有潛力。Intel的軟件策略似乎更強調(diào)圍繞架構(gòu)所進行的擴展，橫跨PC、網(wǎng)絡(luò)和數(shù)據(jù)中心，目標包括易用性、開放性以及統(tǒng)一的開發(fā)體驗。

再看英偉達建立在GPU基礎(chǔ)上的通用計算開發(fā)平臺CUDA，由于在性能、成本和開發(fā)時間上較傳統(tǒng)的CPU解決方案有顯著優(yōu)勢，當時一經(jīng)推出就頗受市場歡迎。近年來，英偉達為了推進GPU的易用性，仍持續(xù)從軟件層面幫助開發(fā)者在更多垂直領(lǐng)域的GPU平臺上部署應(yīng)用程序。

賽靈思大中華區(qū)銷售副總裁唐曉蕾表示，提供靈活豐富的硬件選擇給軟件工程師，通過高層的API去調(diào)用下層資源，這個理念是一致的，只是不同廠商有不同的實現(xiàn)手段。賽靈思強調(diào)軟件定義硬件，硬件必須是可適應(yīng)的、靈活的。

她以自動駕駛多樣化的應(yīng)用場景為例談到，攝像頭、環(huán)視、泊車等可能由不同的公司來實現(xiàn)，應(yīng)用場景包括高速公路、市區(qū)、港口、碼頭等等。如果專門為某一個應(yīng)用設(shè)計一款芯片是不可能的，客戶需要的是——靈活的、擴展性較強的平臺，可以根據(jù)應(yīng)用和工作負載來優(yōu)化系統(tǒng)，這是賽靈思推出Vitis的主要原因。此外，推出開放、標準、免費的Vitis，也便于拓展用戶群，讓更多的軟件工程師體驗賽靈思的的自適應(yīng)硬件平臺。

未來軟硬件的關(guān)系走向？

使用標準的環(huán)境與API、擁抱開源、軟硬件協(xié)同作戰(zhàn)——是未來軟硬件關(guān)系的三大方向。

由于開源社區(qū)在生態(tài)系統(tǒng)和開發(fā)者社區(qū)創(chuàng)新中越來越重要，巨頭們都希望以更積極的態(tài)度介入這場大變革之中。

值得一提的是，在開放性方面，賽靈思一個很大的創(chuàng)新還在于：賽靈思完全將集成的開發(fā)環(huán)境免費提供給用戶，讓他們將Vitis無縫集成在自己的開發(fā)環(huán)境中。這與過去用戶自己設(shè)計開發(fā)環(huán)境，背后調(diào)用賽靈思的編譯器和調(diào)試工具有很大的不同，更有利于軟件開發(fā)人員在自適應(yīng)的開發(fā)平臺上釋放創(chuàng)新力。其開發(fā)者網(wǎng)站developer.xilinx.com，將作為連接Vitis開發(fā)者社區(qū)的空間，由賽靈思、Vitis專家及愛好者共同管理，分享更新、設(shè)計技巧等信息。

正如唐曉蕾所說，如果以搭建樂高來比喻未來的系統(tǒng)設(shè)計的話，那么硬件更像是一個個的樂高塊，軟件就像是搭建規(guī)則或是創(chuàng)意。樂高塊也許會有相同，但不同的搭建方式可以實現(xiàn)創(chuàng)意紛呈，賽靈思希望把樂高塊越做越豐富，給工程師更多的選擇，幫助他們更容易實現(xiàn)更多的功能創(chuàng)新，靈活應(yīng)對不斷變化的市場需求。