在前段時間 2022 世界人工智能大會（WAIC）上， OpenMMLab 基于新一代訓(xùn)練架構(gòu) MMEngine ，發(fā)布了全新的 OpenMMLab 2.0 視覺算法體系，詳細見上一期內(nèi)容。

MMEngine 提供了強大靈活的訓(xùn)練引擎，以及常見的訓(xùn)練技術(shù)，以滿足用戶多樣的模型訓(xùn)練需求。對于模型評測的需求，MMEngine 也提供了評測指標(biāo)（Metric）和評測器（Evaluator）模塊，下游算法庫基于 MMEngine 提供的評測指標(biāo)基類，實現(xiàn)對應(yīng)任務(wù)所需的評測指標(biāo)。

OpenMMLab 是深度學(xué)習(xí)時代最完整的計算機視覺開源算法體系，目前已涵蓋 30+ 研究領(lǐng)域，這些研究領(lǐng)域都有各自任務(wù)的評測指標(biāo)。我們希望能夠?qū)⑦@些評測指標(biāo)統(tǒng)一起來，以更加易用和開放的方式服務(wù)于更多用戶。因此，我們在 MMEngine 中的評測指標(biāo)模塊基礎(chǔ)上，將原 OpenMMLab 各算法庫的評測指標(biāo)集成進來，開發(fā)了一個統(tǒng)一開放的跨框架算法評測庫：MMEval。

GitHub 主頁：

https://github.com/open-mmlab/mmeval

（文末點擊閱讀原文可直達）

歡迎大家來 star~

中文文檔：

https://mmeval.readthedocs.io/zh_CN/latest

MMEval 簡介

MMEval 是一個跨框架的機器學(xué)習(xí)算法評測庫，提供高效準(zhǔn)確的分布式評測以及多種機器學(xué)習(xí)框架后端支持，具有以下特點：

提供豐富的計算機視覺各細分方向評測指標(biāo)（自然語言處理方向的評測指標(biāo)正在支持中）

支持多種分布式通信庫，實現(xiàn)高效準(zhǔn)確的分布式評測

支持多種機器學(xué)習(xí)框架，根據(jù)輸入自動分發(fā)對應(yīng)實現(xiàn)

MMEval 的架構(gòu)如下圖所示：

和已有一些開源的算法評測庫相比，比如 Lightning-AI/metrics，huggingface/evaluate，以及近日開源的 pytorch/torcheval，MMEval 的區(qū)別主要在于對計算機視覺領(lǐng)域評測指標(biāo)的更全面支持，以及提供跨框架評測的能力。

MMEval 目前提供了 20+ 評測指標(biāo)，涵蓋了分類，目標(biāo)檢測，圖像分割，點云分割，關(guān)鍵點檢測和光流估計等任務(wù)，MMEval 已支持的評測指標(biāo)可以在文檔中的支持矩陣中查看：https://mmeval.readthedocs.io/zh_CN/latest/get_started/support_matrix.html

MMEval 安裝與使用

MMEval 依賴 Python 3.6+，可以通過 pip 來安裝 MMEval：pip install mmeval

MMEval 中的評測指標(biāo)提供兩種使用方式，以 Accuracy 為例：

from mmeval import Accuracy
import numpy as np


accuracy = Accuracy()


# 第一種是直接調(diào)用實例化的 Accuracy 對象，計算評測指標(biāo)。
labels = np.asarray([0, 1, 2, 3])
preds = np.asarray([0, 2, 1, 3])
accuracy(preds, labels)
# {'top1': 0.5}


# 第二種是累積多個批次的數(shù)據(jù)后，計算評測指標(biāo)。
for i in range(10):
  labels = np.random.randint(0, 4, size=(100, ))
  predicts = np.random.randint(0, 4, size=(100, ))
  # 調(diào)用 `add` 方法，保存指標(biāo)計算中間結(jié)果。
  accuracy.add(predicts, labels)


# 調(diào)用 compute 方法計算評測指標(biāo)
accuracy.compute()
# {'top1': ...}
# 調(diào)用 reset 方法，清除保存的中間結(jié)果。
accuracy.reset()

MMEval 中的評測指標(biāo)還支持分布式評測功能，關(guān)于分布式評測的使用方式可以參考教程：https://mmeval.readthedocs.io/zh_CN/latest/tutorials/dist_evaluation.html

多分布式通信后端支持

在評測過程中，通常會以數(shù)據(jù)并行的形式，在每張卡上推理部分?jǐn)?shù)據(jù)集的結(jié)果，以加快評測速度。而在每個數(shù)據(jù)子集上計算得到的評測結(jié)果，通常不能通過簡單的求平均來與整個數(shù)據(jù)集的評測結(jié)果進行等價。因此，通常的做法是在分布式評測過程中，將每張卡得到的推理結(jié)果或者指標(biāo)計算中間結(jié)果保存下來，在所有進程中進行 all-gather 操作，最后再計算整個評測數(shù)據(jù)集的指標(biāo)結(jié)果。

MMEval 在分布式評測過程中所需的分布式通信需求，主要有以下兩個：

將各個進程中保存的評測指標(biāo)計算中間結(jié)果 all-gather

將 rank 0 進程計算得到的指標(biāo)結(jié)果 broadcast 給所有進程

為了能夠靈活的支持多種分布式通信庫，MMEval 將上述分布式通信需求抽象定義了一個分布式通信接口 BaseDistBackend，其接口設(shè)計如下圖所示：

MMEval 中已經(jīng)預(yù)置實現(xiàn)了一些分布式通信后端，如下表所示：

多機器學(xué)習(xí)框架支持

MMEval 希望能夠支持多種機器學(xué)習(xí)框架，一個最為簡單的方案是讓所有評測指標(biāo)的計算都支持 NumPy 即可。這樣做可以實現(xiàn)大部分評測需求，因為所有機器學(xué)習(xí)框架的 Tensor 數(shù)據(jù)類型都可以轉(zhuǎn)為 NumPy 的數(shù)組。

但是在某些情況下可能會存在一些問題：

NumPy 有一些常用算子尚未實現(xiàn)，如 topk，會影響評測指標(biāo)的計算速度

大量的 Tensor 從 CUDA 設(shè)備搬運到 CPU 內(nèi)存會比較耗時

如果希望評測指標(biāo)的計算過程是可導(dǎo)的，那么就需要用各自機器學(xué)習(xí)框架的 Tensor 數(shù)據(jù)類型進行計算

為了應(yīng)對上述問題，MMEval 的評測指標(biāo)提供了一些特定機器學(xué)習(xí)框架的指標(biāo)計算實現(xiàn)。同時，為了應(yīng)對不同指標(biāo)計算方式的分發(fā)問題，MMEval 采用了基于類型注釋的動態(tài)多分派機制，可以根據(jù)輸入的數(shù)據(jù)類型，動態(tài)的選擇不同的計算方式。

一個基于類型注釋的多分派簡單示例如下：

from mmeval.core import dispatch


@dispatch
def compute(x: int, y: int):
  print('this is int')


@dispatch
def compute(x: str, y: str):
  print('this is str')


compute(1, 1)
# this is int


compute('1', '1')
# this is str

愿景

在機器學(xué)習(xí)模型實驗和生產(chǎn)過程中，訓(xùn)練和評測是其中兩個非常重要的階段。

MMEngine 已經(jīng)提供了一個靈活強大的訓(xùn)練架構(gòu)，而 MMEval 則希望能夠提供一個統(tǒng)一開放的模型評測庫。其中，統(tǒng)一體現(xiàn)在不同領(lǐng)域不同任務(wù)的模型評測需求都能夠滿足，開放則體現(xiàn)為與機器學(xué)習(xí)框架解耦，以更加開放的方式為不同的機器學(xué)習(xí)框架生態(tài)提供評測功能。

目前 MMEval 仍處于早期階段，有很多評測指標(biāo)仍在添加當(dāng)中，有一些架構(gòu)設(shè)計可能不夠成熟。在之后的一段時間里，MMEval 將主要圍繞以下兩個方向去持續(xù)迭代完善：

持續(xù)的補充添加評測指標(biāo)，不斷擴展到 NLP、語音、推薦系統(tǒng)等更多的任務(wù)領(lǐng)域

支持更多機器學(xué)習(xí)框架，并且探索多機器學(xué)習(xí)框架支持的新方式