9月17-19日，2020中關(guān)村論壇在北京舉行。為期三天的論壇上，來自全球數(shù)百位全球產(chǎn)學(xué)研界的大咖共聚一堂，圍繞“合作創(chuàng)新·共迎挑戰(zhàn)”這一主題，展開了全面的思想碰撞和交流分享。Imagination Technologies受邀出席本次論壇，公司高管Andrew Grant在9月18日由曠視主辦的“人工智能開源開放與生產(chǎn)力促進(jìn)論壇”上發(fā)表主題演講。 人工智能（AI）作為當(dāng)前最熱門的科技話題之一，得到了半導(dǎo)體、工業(yè)、醫(yī)療、消費(fèi)等幾乎所有領(lǐng)域的關(guān)注，Imagination也不例外，一直以來都在不斷加大對(duì)AI領(lǐng)域的投入，并且推出了可支持多種AI應(yīng)用的圖形處理器（GPU）和神經(jīng)網(wǎng)絡(luò)加速器（NNA）知識(shí)產(chǎn)權(quán)（IP）產(chǎn)品，以及AI協(xié)同（AI Synergy）等創(chuàng)新性AI支持技術(shù)。 由于無法親自來到大會(huì)現(xiàn)場(chǎng)，Imagination高管Andrew Grant以視頻的方式，為參會(huì)者帶來了“在邊緣側(cè)神經(jīng)網(wǎng)絡(luò)處理器IP中使用開源的AI框架”的主題分享。分享中，他首先介紹了邊緣側(cè)推理的發(fā)展趨勢(shì)和典型應(yīng)用，然后闡釋了Imagination的NNA和GPU如何支持邊緣推理應(yīng)用及各種開源AI框架。 Andrew Grant說道：“根據(jù)ABI Research的預(yù)測(cè)，隨著越來越多應(yīng)用案例的實(shí)現(xiàn)，AI芯片的銷售正在持續(xù)增長(zhǎng)，尤其是在邊緣AI推理方面。邊緣側(cè)推理從根本上承擔(dān)了以前僅適用于云的工作負(fù)載，現(xiàn)在可以在嵌入式設(shè)備上運(yùn)行AI計(jì)算，這為移動(dòng)、工業(yè)、安全、物聯(lián)網(wǎng)和汽車等領(lǐng)域的各類應(yīng)用帶來了新的機(jī)遇，例如面部識(shí)別/驗(yàn)證、零售自助結(jié)賬、機(jī)場(chǎng)旅客出入管理、智能工廠、先進(jìn)駕駛輔助系統(tǒng)（ADAS）和自動(dòng)駕駛等應(yīng)用?！?/p>

邊緣AI推理為各類應(yīng)用帶來了新的機(jī)遇 關(guān)于Imagination的NNA和GPU如何支持邊緣側(cè)推理，Andrew Grant作了重點(diǎn)講解。他表示：“對(duì)于AI 邊緣推理工作負(fù)載，靈活、可編程的并行流水線式GPU或GPGPU是非常理想的，而超快速的NNA則可以提供進(jìn)一步增強(qiáng)的性能，根據(jù)工作量的不同，NNA可以提供比CPU快10-100倍的處理速度，這是數(shù)量級(jí)上的差距?！?/p>

Imagination的NNA擁有眾多優(yōu)異特性 Imagination的NNA具有4-16位的可變位寬度，使用動(dòng)態(tài)定點(diǎn)數(shù)據(jù)類型，可以支持用戶對(duì)精度進(jìn)行優(yōu)化；它可以為Android NN提供過濾器目數(shù)選擇，也可以為Tensorflow Lite帶來兼容性和更好的量化特性?？傮w來說，NNA具有很高的PPA（性能、功耗、面積）效率，可以擴(kuò)展并且支持多實(shí)例。 Imagination的GPU擁有強(qiáng)大的多任務(wù)并行處理能力，利用Hyperlane技術(shù)，GPU可以同時(shí)運(yùn)行8個(gè)獨(dú)立的工作負(fù)載，這意味著可以執(zhí)行不同的圖形處理或計(jì)算任務(wù)。此外，Hyperlane還支持Imagination創(chuàng)新性的AI協(xié)同技術(shù)，可以利用GPU的備用資源去配合NNA進(jìn)行AI計(jì)算。

用戶可以通過IMG DNN API同時(shí)對(duì)GPU和NNA進(jìn)行優(yōu)化 Andrew Grant還對(duì)Imagination如何支持開源AI框架進(jìn)行了介紹：“Imagination非常歡迎開源社區(qū)，并希望支持開發(fā)人員更輕松地將其模型轉(zhuǎn)移至邊緣側(cè)。大家知道，基于各種典型網(wǎng)絡(luò)的任務(wù)應(yīng)用，可以在PyTorch、Tensorflow、PaddlePaddle等不同框架下實(shí)現(xiàn)，再利用ONNX等交換環(huán)境導(dǎo)出模型，就可以在邊緣側(cè)進(jìn)行部署。而Imagination提供了一個(gè)組合式的DNN API，這樣只需要通過一個(gè)API，用戶的網(wǎng)絡(luò)就可以同時(shí)針對(duì)GPU和NNA進(jìn)行優(yōu)化。無論用戶使用哪種框架或模型，我們都可以支持其進(jìn)行部署，從而提高效率，加快上市速度?！?/p>