網(wǎng)聯(lián)智能車是無(wú)人駕駛的重要技術(shù)路線，而包含多車和多路端的通信（包括不同頻段，即sub-6 GHz、毫米波等，和不同天線陣列，即SISO、MIMO、大規(guī)模MIMO等，的射頻信道信息）與多模態(tài)感知（包括射頻感知，即毫米波雷達(dá)等，和非射頻感知，即RGB圖、深度圖、激光雷達(dá)等），覆蓋典型網(wǎng)聯(lián)交通場(chǎng)景以及具有豐富場(chǎng)景條件的數(shù)據(jù)集是網(wǎng)聯(lián)智能車研究的基石。

然而，現(xiàn)階段面向網(wǎng)聯(lián)智能車的數(shù)據(jù)集存在缺少多車和多路端的通信與多模態(tài)感知信息，具有交通場(chǎng)景簡(jiǎn)單和單一以及場(chǎng)景條件匱乏等不足，從而制約了網(wǎng)聯(lián)智能車的快速及深度發(fā)展。

7月2日，2023中國(guó)智能車大會(huì)暨國(guó)家智能車發(fā)展論壇在廣州南沙盛大開幕。會(huì)上重磅發(fā)布全球首個(gè)面向網(wǎng)聯(lián)智能車的包含多車和多路端的通信與多模態(tài)感知數(shù)據(jù)集Mixed Multi-Modal Sensing and Communication （M3SC）。該數(shù)據(jù)集由中國(guó)工程院院士、中國(guó)自動(dòng)化學(xué)會(huì)理事長(zhǎng)、西安交通大學(xué)教授鄭南寧指導(dǎo)，北京大學(xué)程翔教授牽頭，聯(lián)合西安交通大學(xué)、北京大學(xué)、香港科技大學(xué)（廣州）和中信科移動(dòng)通信技術(shù)股份有限公司共同發(fā)布。

據(jù)悉，M3SC數(shù)據(jù)集包含多模態(tài)感知實(shí)測(cè)數(shù)據(jù)集和通信與多模態(tài)感知仿真數(shù)據(jù)集。實(shí)測(cè)數(shù)據(jù)集包含了豐富的多模態(tài)感知信息并覆蓋了典型的網(wǎng)聯(lián)智能應(yīng)用路段，包括廈門、杭州、北京、西安和常熟多個(gè)城市的校園園區(qū)、城市道路、復(fù)雜路口。仿真數(shù)據(jù)集包含了通信與多模態(tài)感知信息，涵蓋了城鎮(zhèn)、郊區(qū)、鄉(xiāng)村等多種網(wǎng)聯(lián)智能交通場(chǎng)景，并具有多時(shí)段、多天氣、多視角、多車流量密度、多頻段、多種天線陣列等豐富場(chǎng)景條件。

目前，實(shí)測(cè)數(shù)據(jù)集包含63萬(wàn)幀RGB圖，41.5萬(wàn)幀激光雷達(dá)點(diǎn)云和41.8萬(wàn)幀毫米波雷達(dá)點(diǎn)云，并有2.5萬(wàn)幀多類型標(biāo)注信息。仿真數(shù)據(jù)集包含18萬(wàn)張RGB圖，36萬(wàn)張深度圖，18萬(wàn)組激光雷達(dá)點(diǎn)云，10萬(wàn)組毫米波雷達(dá)信號(hào)波形和16萬(wàn)組信道沖激響應(yīng)。發(fā)布的M3SC數(shù)據(jù)集將為面向網(wǎng)聯(lián)智能車的通信與多模態(tài)感知智能融合理論及方案設(shè)計(jì)提供重要支撐。