ChatGPT近期成為了全球話題中心。短短兩個(gè)月，ChatGPT注冊(cè)用戶數(shù)已經(jīng)破億，成為史上用戶破億速度最快的軟件之一。它不但可以回答問(wèn)題，還能寫(xiě)詩(shī)，寫(xiě)代碼，提供旅游攻略…而ChatGPT的核心結(jié)構(gòu)正是Transformer模型。

Transformer是一種能夠同時(shí)處理所有輸入數(shù)據(jù)的深度學(xué)習(xí)模型，最初是為翻譯和自動(dòng)問(wèn)答等自然語(yǔ)言處理應(yīng)用開(kāi)發(fā)的。計(jì)算機(jī)視覺(jué)應(yīng)用領(lǐng)域過(guò)去主要采用卷積神經(jīng)網(wǎng)絡(luò)（CNN），現(xiàn)在Transformer模型則更為流行，但它不會(huì)取代CNN，而是與之配合來(lái)提高視覺(jué)處理應(yīng)用的準(zhǔn)確度。

為何Transformer是嵌入式計(jì)算機(jī)視覺(jué)的理想選擇呢？Transformer又將如何改變深度學(xué)習(xí)架構(gòu)的發(fā)展方向？哪些技術(shù)可以優(yōu)化這些模型來(lái)獲得更出色的結(jié)果？本文將帶著這些問(wèn)題與大家共同探討。

更專(zhuān)注的注意力機(jī)制

更好的情景感知

10多年來(lái)，CNN一直是視覺(jué)處理的首選深度學(xué)習(xí)模型。隨著技術(shù)的不斷發(fā)展，CNN現(xiàn)已能夠準(zhǔn)確地完成圖像分類(lèi)、物體檢測(cè)、語(yǔ)義分割（對(duì)圖像中的每個(gè)像素進(jìn)行分組或標(biāo)記）和全景分割（識(shí)別物體位置以及對(duì)每個(gè)物體中的每個(gè)像素進(jìn)行分組和標(biāo)記）。

但Transformer除了需要將語(yǔ)言塊替換為圖像塊外，不需要任何其他修改就可以在準(zhǔn)確性方面超越CNN。

2017年，Google Research將Transformer定義為一種基于自注意力機(jī)制的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)，特別適合用于語(yǔ)言理解。到2020年，Google Research的科學(xué)家們發(fā)表了一篇關(guān)于Vision Transformer（ViT）的文章，ViT是一個(gè)基于原始Transformer架構(gòu)的模型。據(jù)該文章表示，當(dāng)有足夠的數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，ViT表現(xiàn)出了優(yōu)異的性能，超過(guò)了先進(jìn)的CNN，而所需的計(jì)算資源卻只有CNN的四分之一。這些Transformer雖然需要龐大的數(shù)據(jù)集進(jìn)行訓(xùn)練，但確實(shí)非常擅于處理圖像分類(lèi)和物體檢測(cè)等視覺(jué)任務(wù)。

Transformer之所以能夠在視覺(jué)應(yīng)用中游刃有余，其專(zhuān)有的注意力機(jī)制是關(guān)鍵，該機(jī)制讓模型能夠?qū)μ囟ㄇ榫秤懈钊氲睦斫狻ransformer和CNN一樣都可以檢測(cè)到前方道路上的物體是行人，而不是電線桿或者一棵樹(shù)，但不同的是，Transformer并不會(huì)同等處理所有像素，它更多關(guān)注的是數(shù)據(jù)中微小但重要的部分，比如那個(gè)行人，而不太會(huì)去過(guò)多關(guān)注代表道路其余部分的那些不重要像素。

在處理每幀數(shù)據(jù)時(shí)，CNN通常并不會(huì)考慮該幀之前和之后的數(shù)據(jù)。而相比CNN，Transformer更擅于學(xué)習(xí)較為復(fù)雜的模式，因此所需的計(jì)算也就更多，所以在速度方面Transformer沒(méi)有CNN快，但它也在努力的奮起直追了。

GPU目前可以支持這二種模型，但如果在實(shí)際應(yīng)用中需要以更小的尺寸和更低的功耗來(lái)實(shí)現(xiàn)更高的性能，那么NPU或神經(jīng)處理單元等專(zhuān)用AI加速器將會(huì)是更好的選擇。

為了提高推理效率，視覺(jué)處理應(yīng)用可同時(shí)使用CNN和Transformer。要想實(shí)現(xiàn)全方位視覺(jué)感知，僅靠純視覺(jué)模型可能無(wú)法輕松獲得所需的信息，而多模態(tài)學(xué)習(xí)可以提供更詳盡的視覺(jué)信息。此外，Transformer等基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)非常適合像汽車(chē)應(yīng)用這種集成了多個(gè)傳感器的應(yīng)用。

利用NPUIP優(yōu)化

Transformer和CNN的性能

Transformer包括以下幾種運(yùn)算：

• 矩陣乘法

• 逐元素加法

• Softmax數(shù)學(xué)函數(shù)

• L2歸一化

• 激活函數(shù)

目前大多數(shù)AI加速器都針對(duì)CNN進(jìn)行了優(yōu)化，但它們并非全都適合Transformer。Transformer需要龐大的計(jì)算能力來(lái)執(zhí)行大量計(jì)算并支持其注意力機(jī)制。

ChatGPT安全嗎？

在ChatGPT爆火的背后，我們也要知道，ChatGPT或者其他AI軟件所產(chǎn)出的內(nèi)容或做出的決策并不是無(wú)懈可擊的。這些工具提供的結(jié)果往往會(huì)和現(xiàn)實(shí)有所偏差，而只有人類(lèi)才能基于現(xiàn)實(shí)去對(duì)結(jié)果進(jìn)行檢查和驗(yàn)證。

而且是否會(huì)有人利用ChatGPT編寫(xiě)惡意代碼來(lái)進(jìn)行網(wǎng)絡(luò)攻擊呢？自從人類(lèi)開(kāi)始編寫(xiě)代碼以來(lái)，開(kāi)發(fā)人員一直都在無(wú)意或者有意地編寫(xiě)出可被利用的代碼。幸運(yùn)的是，有很多安全測(cè)試工具可以幫助開(kāi)發(fā)者們進(jìn)行安全防護(hù)。無(wú)論編碼者是誰(shuí)，都應(yīng)該使用安全工具掃描源代碼發(fā)現(xiàn)漏洞。

總結(jié)