欧美日本国产,人妻5566,超碰99青草

海量傳感器知識(shí)、行業(yè)報(bào)告，請(qǐng)?jiān)诠娞?hào)對(duì)話框回復(fù)關(guān)鍵詞【資料下載】獲取，部分資料查看《傳感器專業(yè)知識(shí)資料100+，總有一份適合你~》

這里關(guān)注我，記得點(diǎn)右上角菜單欄???鍵設(shè)為星標(biāo)

2024年11月19日，在烏鎮(zhèn)召開(kāi)的第十一屆世界互聯(lián)網(wǎng)大會(huì)頒發(fā)了2024世界互聯(lián)網(wǎng)領(lǐng)先科技獎(jiǎng)。該獎(jiǎng)項(xiàng)由全球40多位頂尖專家評(píng)選，2024年共評(píng)選出20項(xiàng)，分基礎(chǔ)研究組、關(guān)鍵技術(shù)組和工程研發(fā)組三類。清華大學(xué)精儀系類腦團(tuán)隊(duì)“基于原語(yǔ)表示的類腦互補(bǔ)視覺(jué)感知芯片”榮獲領(lǐng)先科技獎(jiǎng)（基礎(chǔ)研究組，共評(píng)選出3項(xiàng)）。

▲ 基礎(chǔ)研究組獲獎(jiǎng)名單

▲ 施路平教授發(fā)布“天眸芯”演講

今年5月，全球頂尖學(xué)術(shù)期刊《Nature》（《自然》），封面文章刊登了由我國(guó)清華大學(xué)研究團(tuán)隊(duì)發(fā)表的論文《面向開(kāi)放世界感知具有互補(bǔ)通路的視覺(jué)芯片》（A Vision Chip with Complementary Pathways for Open-world Sensing）。

該重磅研究成果報(bào)道獲等多家權(quán)威媒體轉(zhuǎn)發(fā)，據(jù)新華社報(bào)道，清華大學(xué)類腦計(jì)算研究中心團(tuán)隊(duì)研制出了世界首款類腦互補(bǔ)視覺(jué)芯片“天眸芯”（Tianmouc），這是該團(tuán)隊(duì)繼異構(gòu)融合類腦計(jì)算“天機(jī)芯”后，第二次登上《自然》封面，標(biāo)志著在類腦計(jì)算和類腦感知兩個(gè)方向上均取得了基礎(chǔ)性突破。

這是一款全面超越現(xiàn)有傳統(tǒng)圖像傳感器和神經(jīng)形態(tài)傳感器的視覺(jué)傳感器芯片，是智能感知芯片領(lǐng)域的一個(gè)重大突破，不僅為智能革命的發(fā)展提供了強(qiáng)大的感知技術(shù)支持，還為未來(lái)自動(dòng)駕駛、具身智能等重要應(yīng)用，開(kāi)辟了新的道路?！疤祉尽钡募尤雽⒛軌蜻M(jìn)一步完善類腦智能生態(tài)，有力推動(dòng)人工通用智能的發(fā)展。

清華大學(xué)施路平教授、趙蓉教授為論文共同通訊作者，此外精密儀器系楊哲宇博士（現(xiàn)北京靈汐科技有限公司研發(fā)經(jīng)理）、精密儀器系 2020 級(jí)博士生王韜毅、林逸晗為論文共同第一作者。研究團(tuán)隊(duì)依托清華大學(xué)精密儀器系的類腦計(jì)算研究中心。

▲論文《Nature》網(wǎng)站頁(yè)面&研究團(tuán)隊(duì)，來(lái)源：人民日?qǐng)?bào)（張兆基攝）

該新型視覺(jué)傳感器芯片長(zhǎng)什么樣？有什么特點(diǎn)？有什么優(yōu)勢(shì)？

目前，我們主流中使用的視覺(jué)傳感器，主要是CMOS圖像傳感器和CCD圖像傳感器。

然而現(xiàn)有圖像傳感器在開(kāi)放世界中處理動(dòng)態(tài)、多樣化和不可預(yù)測(cè)的場(chǎng)景時(shí)，存在許多的不足，如向高速、高分辨率、大動(dòng)態(tài)范圍和高精度方向發(fā)展，受到功率和帶寬的限制。

論文通訊作者、清華大學(xué)精密儀器系教授施路平在媒體采訪中介紹，在開(kāi)放世界中，智能系統(tǒng)不僅要應(yīng)對(duì)龐大的數(shù)據(jù)量，還需要應(yīng)對(duì)如駕駛場(chǎng)景中的突發(fā)危險(xiǎn)、隧道口的劇烈光線變化和夜間強(qiáng)閃光干擾等極端事件。而傳統(tǒng)視覺(jué)感知芯片面對(duì)此類場(chǎng)景往往出現(xiàn)失真、失效或高延遲，限制系統(tǒng)的穩(wěn)定性和安全性。

“該范式借鑒了人類視覺(jué)系統(tǒng)的基本原理，將開(kāi)放世界的視覺(jué)信息拆解為基于視覺(jué)原語(yǔ)的信息表示，并通過(guò)有機(jī)組合這些原語(yǔ)，模仿人視覺(jué)系統(tǒng)的特征，形成兩條優(yōu)勢(shì)互補(bǔ)、信息完備的視覺(jué)感知通路?！?/span>

與傳統(tǒng)圖像傳感器相比，人類視覺(jué)系統(tǒng)在開(kāi)放世界環(huán)境中以其多功能性、適應(yīng)性和魯棒性而脫穎而出。人類視覺(jué)系統(tǒng)將視覺(jué)刺激解釋為多種視覺(jué)，如顏色、方向和運(yùn)動(dòng)，并以互補(bǔ)的方式將其分配給腹側(cè)和背側(cè)通路。

當(dāng)前已有一系列模仿人類視覺(jué)系統(tǒng)特定特征的器件，包括硅視網(wǎng)膜、神經(jīng)形態(tài)視覺(jué)傳感器、脈沖頻率調(diào)制和近傳感器計(jì)算芯片等。然而，在有限的功率和帶寬的限制下，實(shí)現(xiàn)具有高空間分辨率、高速、高精度和大動(dòng)態(tài)范圍的圖像傳感器仍然存在挑戰(zhàn)。

因此，研究團(tuán)隊(duì)提出一種受人類視覺(jué)系統(tǒng)（HVS）多級(jí)特性啟發(fā)的互補(bǔ)感知范式，該范式涉及將視覺(jué)信息解析為基于視覺(jué)原語(yǔ)的表示，并通過(guò)有機(jī)組合這些原語(yǔ)，模仿人視覺(jué)系統(tǒng)的特征，形成兩條優(yōu)勢(shì)互補(bǔ)、信息完備的視覺(jué)感知通路：用于準(zhǔn)確認(rèn)知的面向認(rèn)知的路徑和用于快速認(rèn)知的面向行動(dòng)的路徑。

為了實(shí)現(xiàn)這一范式，研究團(tuán)隊(duì)開(kāi)發(fā)了世界首款類腦互補(bǔ)視覺(jué)芯片「天眸芯」（Tianmouc），該芯片結(jié)合了混合像素陣列和并行異構(gòu)讀出架構(gòu)，利用互補(bǔ)視覺(jué)通路的特性，可以在極低的帶寬（降低 90%）和功耗條件下，實(shí)現(xiàn)每秒 10000 幀的高速、10bit 的高精度、130dB 的高動(dòng)態(tài)范圍視覺(jué)信息采集。它不僅突破了傳統(tǒng)視覺(jué)感知范式的性能瓶頸，而且能夠高效應(yīng)對(duì)各種極端場(chǎng)景，確保系統(tǒng)的穩(wěn)定性和安全性。

下圖為類腦互補(bǔ)視覺(jué)芯片「天眸芯」的測(cè)試系統(tǒng)。被處理的數(shù)據(jù)首先會(huì)傳輸?shù)?FPGA 版上，F(xiàn)PGA 板采集原始數(shù)據(jù)，然后通過(guò) PCIe 傳輸?shù)街鳈C(jī)，主機(jī)再負(fù)責(zé)數(shù)據(jù)處理，以完成測(cè)試等任務(wù)。

▲“天眸芯”（Tianmouc）芯片測(cè)試系統(tǒng)

基于Tianmouc 芯片，研究團(tuán)隊(duì)將其與自動(dòng)駕駛系統(tǒng)集成，展示了其即使在開(kāi)放道路上具有挑戰(zhàn)性的極端情況下也能實(shí)現(xiàn)準(zhǔn)確、快速和穩(wěn)健感知的能力。基于基元的互補(bǔ)傳感范式有助于克服為各種開(kāi)放世界應(yīng)用開(kāi)發(fā)視覺(jué)系統(tǒng)的基本限制。

“天眸芯”（Tianmouc）互補(bǔ)視覺(jué)芯片怎么設(shè)計(jì)？采用90nm CMOS背照式技術(shù)制造！

在物理傳感系統(tǒng)中，想實(shí)現(xiàn)互補(bǔ)傳感范式有幾個(gè)必須解決的挑戰(zhàn)。首先，設(shè)計(jì)像素陣列至關(guān)重要，這需要同時(shí)解析同一焦平面上相應(yīng)圖元的光電信息轉(zhuǎn)換。其次，兩條路徑的讀出架構(gòu)必須包含異構(gòu)構(gòu)建塊，這些構(gòu)建塊可以使用不同的數(shù)據(jù)分布和格式對(duì)電信息進(jìn)行編碼。

如圖 2 所示，「天眸芯」采用 90 nm CMOS 背照式技術(shù)制造，由兩個(gè)核心部分組成：

用于將光學(xué)信息轉(zhuǎn)換為電信號(hào)的混合像素陣列；
用于構(gòu)建兩個(gè) CVP 的并行異構(gòu)讀出架構(gòu)。

受感光細(xì)胞的啟發(fā)，混合像素陣列包括錐體和桿體像素，具有不同的特性，如顏色、響應(yīng)模式、分辨率和靈敏度。這些像素可以將視覺(jué)信息解析為特定的顏色（紅色、綠色、藍(lán)色）和白色光譜，充當(dāng)顏色對(duì)立圖元。

研究團(tuán)隊(duì)對(duì)「天眸芯」的量子效率、動(dòng)態(tài)范圍、響應(yīng)速度、功率和帶寬等性能指標(biāo)進(jìn)行了全面的評(píng)估。該芯片在 COP 和 AOP 中均表現(xiàn)出較高的量子效率，530 nm 最高可實(shí)現(xiàn) 72% 的 AOP 和 69% 的 COP。「天眸芯」通過(guò)利用互補(bǔ)的 COP 和 AOP 中不同增益模式的動(dòng)態(tài)范圍來(lái)實(shí)現(xiàn)高動(dòng)態(tài)范圍。

可以說(shuō)，全面超越了現(xiàn)有的神經(jīng)形態(tài)傳感器和傳統(tǒng)圖像傳感器，同時(shí)仍能保持低功耗和低帶寬消耗。

以自動(dòng)駕駛為示例，“天眸芯”（Tianmouc）的表現(xiàn)有多強(qiáng)悍？

「天眸芯」的互補(bǔ)感知范式為自動(dòng)化系統(tǒng)提供了巨大的想象空間，它可以作為感知算法的優(yōu)質(zhì)數(shù)據(jù)源。為了在開(kāi)放世界場(chǎng)景中評(píng)估這些能力，研究人員開(kāi)發(fā)了一個(gè)集成「天眸芯」的汽車駕駛感知系統(tǒng)（圖 4a），以評(píng)估在開(kāi)放道路上行駛，涉及各種極端情況，例如強(qiáng)光干擾、高動(dòng)態(tài)范圍場(chǎng)景、域偏移問(wèn)題（異常物體）和具有多個(gè)極端情況的復(fù)雜場(chǎng)景。

▲圖 4：開(kāi)放世界感知實(shí)驗(yàn)。

為了利用天眸芯架構(gòu)的優(yōu)勢(shì)，作者設(shè)計(jì)了一種多路徑算法，專門(mén)用于利用 AOP 和 COP 的互補(bǔ)特性。在感知層面，圖元的完整性使得原始場(chǎng)景的重建和對(duì)極端照明的適應(yīng)成為可能。同時(shí)在感知層面，AOP 提供對(duì)變化、紋理和運(yùn)動(dòng)的即時(shí)感知，而 COP 提供精細(xì)的語(yǔ)義細(xì)節(jié)。通過(guò)同步這些結(jié)果，我們可以讓 AI 系統(tǒng)全面了解場(chǎng)景。

圖 4b 所示的第一種場(chǎng)景評(píng)估了突然強(qiáng)光環(huán)境的感知能力，在光照快速變化的情況下，傳感器的魯棒性受到了考驗(yàn)。天眸芯對(duì)這種強(qiáng)光表現(xiàn)出了極強(qiáng)的適應(yīng)能力，同時(shí)在正常情況下也保持了較高的感知性能。對(duì)于實(shí)時(shí)高動(dòng)態(tài)范圍感知（圖 4c），兩條通路的互補(bǔ)靈敏度使天眸芯能夠感知高亮度對(duì)比度而不會(huì)犧牲速度。

在感知層面，AOP 上的高速光流濾波器補(bǔ)充了異常檢測(cè)能力，其中 AOP-TD 和 AOP-SD 之間的協(xié)作可以精確計(jì)算運(yùn)動(dòng)方向和速度以識(shí)別異常（圖 4d）。圖 4e 顯示了自然光照昏暗、交通環(huán)境混亂、人造光突然干擾的復(fù)雜場(chǎng)景，需要在采樣速度、分辨率和動(dòng)態(tài)范圍方面具有不同的感知能力。CVP 上的算法提供了互補(bǔ)和多樣化的結(jié)果，為這些場(chǎng)景中的進(jìn)一步?jīng)Q策提供了充足的空間。

根據(jù) mAP_0.50（平均精度），與圖 4 中所有情況下僅使用單一路徑相比，CVP 具有更優(yōu)的整體檢測(cè)性能。值得注意的是，它在實(shí)現(xiàn)這一目標(biāo)的同時(shí)消耗了不到 80 MB s^(-1) 的帶寬和 328 mW 的平均功耗。實(shí)驗(yàn)結(jié)果表明，天眸芯可以有效適應(yīng)極端光環(huán)境并提供領(lǐng)域不變的多級(jí)感知能力。

天眸芯擅長(zhǎng)捕捉復(fù)雜的認(rèn)知細(xì)節(jié)，同時(shí)可對(duì)快速不可預(yù)測(cè)的突發(fā)情況和運(yùn)動(dòng)作出響應(yīng)。它提供高速、高動(dòng)態(tài)范圍和高精度，同時(shí)保持了自適應(yīng)低帶寬的特性。同樣重要的是，它的高可擴(kuò)展性允許通過(guò)先進(jìn)的制造工藝實(shí)現(xiàn)高級(jí)空間分辨率，從而促進(jìn)具有低功耗和帶寬要求的分辨率敏感應(yīng)用。作者認(rèn)為，新的范式為開(kāi)發(fā)用于開(kāi)放世界應(yīng)用的先進(jìn)計(jì)算機(jī)視覺(jué)理論、算法和系統(tǒng)開(kāi)辟了一條新途徑。

您對(duì)本文有什么看法？歡迎在傳感器專家網(wǎng)公眾號(hào)本內(nèi)容底下留言討論，或在中國(guó)最大的傳感社區(qū)：傳感交流圈中進(jìn)行交流。

您對(duì)本文有什么看法？歡迎留言分享！

順手轉(zhuǎn)發(fā)&點(diǎn)擊在看，將中國(guó)傳感產(chǎn)業(yè)動(dòng)態(tài)傳遞給更多人了解！

星標(biāo)的內(nèi)容=你在乎的內(nèi)容，根據(jù)微信公眾號(hào)推薦原則，沒(méi)有在傳感器專家網(wǎng)公眾號(hào)主頁(yè)【設(shè)為星標(biāo)】，將無(wú)法及時(shí)獲得傳感器行業(yè)最新資訊！

聲明：本文內(nèi)容系作者個(gè)人觀點(diǎn)，不代表傳感器專家網(wǎng)觀點(diǎn)或立場(chǎng)。如有侵權(quán)或其他事宜，請(qǐng)微信聯(lián)系：MM380702。更多觀點(diǎn)，歡迎大家留言評(píng)論。

如有投稿爆料采訪需求，請(qǐng)發(fā)郵箱：sensorexpert@sensorexpert.com.cn。

原文標(biāo)題：清華大學(xué)傳感器芯片獲2024世界互聯(lián)網(wǎng)大會(huì)領(lǐng)先科技獎(jiǎng)，曾登Nature封面！世界第一款！

文章出處：【微信公眾號(hào)：傳感器專家網(wǎng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴

傳感器

傳感器

+關(guān)注

關(guān)注
2578

文章
55610

瀏覽量
794418

日B视频亚洲,啪啪啪网站一区二区,91色情精品久久,日日噜狠狠色综合久,超碰人妻少妇97在线,999青青视频,亚洲一区二卡,让本一区二区视频,日韩网站推荐

搜索歷史

清華大學(xué)傳感器芯片獲2024世界互聯(lián)網(wǎng)大會(huì)領(lǐng)先科技獎(jiǎng)，曾登Nature封面！世界第一款！

評(píng)論

搜索歷史

清華大學(xué)傳感器芯片獲2024世界互聯(lián)網(wǎng)大會(huì)領(lǐng)先科技獎(jiǎng)，曾登Nature封面！世界第一款！

評(píng)論

清華大學(xué)傳感器芯片獲2024世界互聯(lián)網(wǎng)大會(huì)領(lǐng)先科技獎(jiǎng)，曾登Nature封面！世界第一款！