本站原創(chuàng)！

（電子發(fā)燒友網(wǎng)報(bào)道 文/章鷹）近日，在雷鋒網(wǎng)舉辦的全球人工智能與機(jī)器人峰會(huì)上，中國(guó)工程院院士、鵬城實(shí)驗(yàn)室主任，CCF會(huì)士、IEEE Fellow高文帶來(lái)最新的《城市大腦2.0－邊端云處理分工的人工智能賦能系統(tǒng)》報(bào)告解讀。

根據(jù)資料顯示，“城市大腦”一詞誕生于2016年的杭州，從面世至今僅僅三年，就吸引了全世界的目光， 在產(chǎn)業(yè)領(lǐng)域，2016年阿里提出阿里城市大腦，2017年，華為提出城市神經(jīng)網(wǎng)絡(luò)，2018年，騰訊提出城市超級(jí)大腦。高文院士解讀說(shuō)，城市大腦1.0，是一個(gè)以云計(jì)算為核心的系統(tǒng)，目前的痛點(diǎn)是由于系統(tǒng)各部分沒(méi)有很好的協(xié)調(diào)分工機(jī)制，使得系統(tǒng)成本高、響應(yīng)速度慢、數(shù)據(jù)的可利用率低。

高文院士指出，城市大腦1.0到2.0，從云計(jì)算中心，轉(zhuǎn)變?yōu)槎诉呍茀f(xié)同體系。城市大腦是智慧城市的核心系統(tǒng)，將算力和數(shù)據(jù)匯聚到一起；通過(guò)數(shù)據(jù)的匯聚、治理、計(jì)算、分析、挖掘和調(diào)度，完成數(shù)據(jù)的全流程加工，面向行業(yè)提供不同層次的產(chǎn)品和服務(wù)。加入算法，產(chǎn)生出好的結(jié)果。

城市大腦是智慧城市的核心，基于互聯(lián)網(wǎng)數(shù)據(jù)、政務(wù)數(shù)據(jù)集合在一起，得到好的結(jié)果。從城市傳感器匯集來(lái)的90%的是圖像、視頻數(shù)據(jù)、乘車數(shù)據(jù)，汽車行駛當(dāng)中的交通數(shù)據(jù)，這些大多從視頻攝像頭得來(lái)。一類是從攝像頭和視頻端口，簡(jiǎn)單的進(jìn)行視頻壓縮，然后上傳到云端，然后進(jìn)行分析，包括人臉識(shí)別、車輛識(shí)別、交通分析。第二類是智能終端，比如通過(guò)人臉識(shí)別機(jī)、車輛識(shí)別機(jī)將有價(jià)值的信息識(shí)別出來(lái)，送到云端，進(jìn)行分析和使用。

高文院士分析說(shuō)，城市大腦1.0目前面對(duì)兩大挑戰(zhàn)：第一、海量數(shù)據(jù)不等于大數(shù)據(jù)，數(shù)據(jù)表達(dá)不到位，第二、數(shù)據(jù)海量，但是低價(jià)值。這些數(shù)據(jù)的價(jià)值也比較低，它不是結(jié)構(gòu)化的，你無(wú)法在上面進(jìn)行分析，這也是為什么很多智慧城市的視頻數(shù)據(jù)，一段時(shí)間之后就被覆蓋了。他指出，城市大腦的評(píng)測(cè)指標(biāo)包括城市智力，性能（響應(yīng)時(shí)間、并發(fā)、吞吐）、效率（單位的能耗產(chǎn)出）。比如高速車輛超速、交通情況預(yù)警、社區(qū)門禁開(kāi)門等場(chǎng)景，都需要第一時(shí)間響應(yīng)。一個(gè)規(guī)模城市的視頻接入量在10-100萬(wàn)級(jí)別，IoT設(shè)備，更在1000萬(wàn)以上。

需要強(qiáng)調(diào)的是，城市大腦1.0需要解決城市級(jí)大數(shù)據(jù)的傳輸匯聚，低碳大容量存取、海量數(shù)據(jù)高效調(diào)度及應(yīng)用適配問(wèn)題。目前，城市大腦1.0版本中，具備有海量數(shù)據(jù)的系統(tǒng)，90%的數(shù)據(jù)是沒(méi)有結(jié)構(gòu)化，數(shù)據(jù)價(jià)值沒(méi)有辦法進(jìn)行直接分析和利用。必須采取新的結(jié)構(gòu)來(lái)對(duì)視頻信息進(jìn)行特征提取和視頻解碼，高文院士就引用了人類視網(wǎng)膜系統(tǒng)進(jìn)行解說(shuō)。

人類的視網(wǎng)膜的結(jié)構(gòu)由三類細(xì)胞組成，包括感光細(xì)胞、雙極細(xì)胞和神經(jīng)節(jié)細(xì)胞，其中1.2億感光細(xì)胞，可以感知顏色、光線強(qiáng)弱。神經(jīng)節(jié)細(xì)胞相對(duì)較少，只有100萬(wàn)個(gè)，從視網(wǎng)膜、視神經(jīng)有125：1緊縮，我們理解為視覺(jué)信號(hào)的壓縮，壓縮對(duì)于大腦有效的工作起到關(guān)鍵作用。根據(jù)任務(wù)簡(jiǎn)單和復(fù)雜程度，提取的視覺(jué)特征不同，簡(jiǎn)單的任務(wù)優(yōu)先提取相關(guān)的特征，一個(gè)分布型的簡(jiǎn)化模型，是從視網(wǎng)膜到大腦，整個(gè)過(guò)程就是經(jīng)過(guò)特征提取和編碼壓縮，傳輸?shù)街悄苤黧w-大腦，大腦是通用計(jì)算。視網(wǎng)膜是進(jìn)行輕量級(jí)定制計(jì)算，通過(guò)視覺(jué)神經(jīng)通道傳給大腦，生物視覺(jué)系統(tǒng)的簡(jiǎn)化模型有很大的作用。

高文院士指出，仿真生物視網(wǎng)膜的視覺(jué)計(jì)算架構(gòu)具備優(yōu)勢(shì)：包括智能化的端邊側(cè)使系統(tǒng)更加靈活，云側(cè)作為智能主題更加強(qiáng)大，優(yōu)化的存儲(chǔ)傳輸使系統(tǒng)更經(jīng)濟(jì)。

城市大腦2.0版本發(fā)布，最核心的技術(shù)是仿生生物視網(wǎng)膜的視覺(jué)計(jì)算架構(gòu)，三大特征：第一、全局統(tǒng)一的時(shí)空ID，包括全網(wǎng)統(tǒng)一的時(shí)間，提供精確地理位置（GPS、北斗），還有提供攝像機(jī)視角，參數(shù)信息；第二、多層次視網(wǎng)膜表示：視頻編碼、特征編碼和聯(lián)合優(yōu)化；第三、模型可以更新（支持端/邊深度學(xué)習(xí)模型的自適應(yīng)遷移）+注意可調(diào)節(jié)+軟件可以定義（支持端邊云協(xié)同計(jì)算與推理，實(shí)現(xiàn)特征實(shí)時(shí)匯聚與視頻按需調(diào)取）

2019年9月，華為海思發(fā)布了全球首顆基于AVS3標(biāo)準(zhǔn)的、支持8K分辨率、120fps的超高清芯片Hi3796CV300。華為海思這款芯片已經(jīng)裝配在4K/8K電視，4K/8K機(jī)頂盒中。

相比于上一代視頻編碼標(biāo)準(zhǔn)，AVS3在塊劃分結(jié)構(gòu)、參考幀管理、預(yù)測(cè)、變換等模塊都有創(chuàng)新，增加了很多新的編碼技術(shù)，大幅提升了編碼效率。AVS3基準(zhǔn)檔次起草完成，將于2022年投入應(yīng)用，中國(guó)的AVS3+5G+8K產(chǎn)業(yè)發(fā)展將領(lǐng)先全球部署。AVS3標(biāo)準(zhǔn)將對(duì)8K產(chǎn)業(yè)的推動(dòng)和發(fā)展起到強(qiáng)大的推動(dòng)作用。高文院士介紹說(shuō)，視頻編碼對(duì)應(yīng)MPEG7 CDVS標(biāo)準(zhǔn)，花了４年時(shí)間做出標(biāo)準(zhǔn)，用于深度學(xué)習(xí)的視頻匹配，CDVA視頻檢索流水線，花了三年多時(shí)間完成的。深度學(xué)習(xí)做出來(lái)視覺(jué)檢索和匹配。聯(lián)合優(yōu)化就是在視頻編碼和特征編碼之間找到最優(yōu)的結(jié)合點(diǎn)，使得兩大特征捆綁到一起，效果是最優(yōu)的。

據(jù)高文院士介紹，2019 年11月22日,杭州博雅鴻圖視頻技術(shù)有限公司發(fā)布了數(shù)字視網(wǎng)膜首顆芯片“鴻芯圖騰GV9531”,實(shí)現(xiàn)了對(duì)數(shù)字視網(wǎng)膜技術(shù)的完整詮釋。實(shí)現(xiàn)對(duì)上百路視網(wǎng)膜信息的篩選。除了數(shù)字視網(wǎng)膜以外，我們正在牽頭推動(dòng)中國(guó)首批AI技術(shù)國(guó)家標(biāo)準(zhǔn)。包括《神經(jīng)網(wǎng)絡(luò)模型表示與壓縮》標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)的開(kāi)發(fā)路線圖如下表。數(shù)字視網(wǎng)膜是三種標(biāo)準(zhǔn)合作的一個(gè)系統(tǒng)，

數(shù)字視網(wǎng)膜系統(tǒng)賦能城市大腦2.0，模仿人類視網(wǎng)膜機(jī)理，通過(guò)算法和計(jì)算對(duì)視頻逐級(jí)提取和濃縮，為大數(shù)據(jù)云計(jì)算提供高質(zhì)量的視頻信息數(shù)據(jù)。

高文院士總結(jié)說(shuō)，城市大腦2.0，是一個(gè)端邊云分工協(xié)調(diào)的混合系統(tǒng)架構(gòu)，可以有效解決城市大腦1.0的大部分問(wèn)題。數(shù)字視網(wǎng)膜及其標(biāo)準(zhǔn)化，是城市大腦2.0的核心：包括先進(jìn)視頻編碼技術(shù)：節(jié)能存儲(chǔ)和帶寬50%以上；定制ASIC邊緣計(jì)算：節(jié)省云計(jì)算資源90%以上；原始圖像上特征提?。旱脱訒r(shí)和高精度；標(biāo)準(zhǔn)化特征的提取，存儲(chǔ)和復(fù)用：顯著提升信息密度和價(jià)值。

本文由電子發(fā)燒友網(wǎng)原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。如需轉(zhuǎn)載，請(qǐng)?zhí)砑游⑿盘?hào)elecfans999。