數(shù)據(jù)標注是大多數(shù)人工智能的基礎，它決定了機器學習和深度學習模型的質量。今天的數(shù)據(jù)呈現(xiàn)指數(shù)級的爆發(fā)，比如僅在2018年，就產(chǎn)生了超過30 ZB的數(shù)據(jù)。而在在任何人工智能項目中，對于數(shù)據(jù)科學家而言，數(shù)據(jù)問題都是其中的癥結所在。

什么是數(shù)據(jù)標注？

訓練機器學習和深度學習模型，需要豐富的數(shù)據(jù)，以便將其用于部署，訓練和調整模型。訓練機器學習和深度學習模型需要大量經(jīng)過仔細標注的數(shù)據(jù)。標注原始數(shù)據(jù)并準備將其應用于機器學習模型和其他AI工作流，被稱為數(shù)據(jù)標注。根據(jù)相關統(tǒng)計，數(shù)據(jù)整理在AI項目中消耗了80%以上的時間。

數(shù)據(jù)如何標注？

如今，大多數(shù)數(shù)據(jù)都沒有標注。帶標簽的數(shù)據(jù)，意味著標注或注釋目標模型的數(shù)據(jù)，以便可以預測。通常，數(shù)據(jù)標注包括數(shù)據(jù)標注，注釋，審核，分類，轉錄和處理。

標注的數(shù)據(jù)突出顯示某些特征，并根據(jù)這些特征對其進行分類，可以通過模型分析其模式以預測新的目標。例如，對于自動駕駛汽車中的計算機視覺，AI專業(yè)人員或數(shù)據(jù)標注者可以使用視頻標注工具來指示路牌的位置，并通過行人和其他車輛的位置來訓練模型。

數(shù)據(jù)標注中包含的一系列任務：

1.豐富數(shù)據(jù)的工具

2.質量保證

3.流程迭代

4.管理數(shù)據(jù)標簽

5.培訓新的數(shù)據(jù)標簽

6.項目計劃

7.成功指標

8.流程運作

AI專業(yè)人員的數(shù)據(jù)標簽挑戰(zhàn)？

在典型的AI項目中，專業(yè)人員在進行數(shù)據(jù)標注時會遇到以下幾個方面的挑戰(zhàn)。

1.數(shù)據(jù)標簽質量低下。數(shù)據(jù)標簽質量低可能有很多原因。其中最突出的原因之一是任何企業(yè)或工作流程確實三個決定因素：人員，流程和技術。

2.無法擴展數(shù)據(jù)標注操作。當數(shù)據(jù)量不斷增長并且業(yè)務或項目需要擴展其容量時，由于大多數(shù)企業(yè)都在內部標記數(shù)據(jù)，因此它們通常也難以擴展其數(shù)據(jù)標注任務。

3.難以承受的成本和不存在的結果。企業(yè)和AI項目經(jīng)理通常雇用高薪數(shù)據(jù)科學家和AI專業(yè)人士或一組業(yè)余人員來處理數(shù)據(jù)標簽，而企業(yè)需要承擔高昂的人工成本，當然企業(yè)也會面臨數(shù)據(jù)標簽不確定所帶來的問題，所以合適的專業(yè)人員至關重要。

4.質量保證。進行質量檢查可以為數(shù)據(jù)標注過程提供重要價值，尤其是在機器學習模型測試和驗證的迭代階段。

誰來標注數(shù)據(jù)？

相關調查顯示，2019年，企業(yè)在數(shù)據(jù)標簽上的支出超過17億美元。到2024年，這一數(shù)字將達到41億美元。進行數(shù)據(jù)標注工作，除了雇傭專業(yè)的數(shù)據(jù)科學家和AI專家之外，還可以考慮通過其他方式。

雇員。這包括雇用包括AI專業(yè)人員在內的全職或兼職員工，參與AI項目的各個方面，其中之一是數(shù)據(jù)標注。

托管團隊。他們是經(jīng)驗豐富，且訓練有素的數(shù)據(jù)標簽團隊。

承包商。他們包括自由職業(yè)者和臨時工。

眾包。企業(yè)可以使用第三方平臺一次性尋找數(shù)據(jù)標注團隊。