（文章來(lái)源：CDA數(shù)據(jù)分析師）

隨著IT組織的發(fā)展，其代碼庫(kù)的大小以及開發(fā)人員工具鏈的復(fù)雜性也在不斷增長(zhǎng)。工程負(fù)責(zé)人對(duì)其代碼庫(kù)，軟件開發(fā)過(guò)程和團(tuán)隊(duì)狀態(tài)了解的非常有限。通過(guò)將現(xiàn)代數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)技術(shù)應(yīng)用于軟件開發(fā)，大型企業(yè)有機(jī)會(huì)顯著提高其軟件交付性能和工程效率。

在過(guò)去的幾年中，許多大型公司，例如Google，Microsoft，F(xiàn)acebook以及類似Jetbrains等較小的公司已經(jīng)與學(xué)術(shù)研究人員合作，為基于代碼的機(jī)器學(xué)習(xí)奠定了基礎(chǔ)。

基于代碼的機(jī)器學(xué)習(xí)？代碼機(jī)器學(xué)習(xí)（MLonCode）是一個(gè)新的跨學(xué)科研究領(lǐng)域，涉及自然語(yǔ)言處理，編程語(yǔ)言結(jié)構(gòu)以及社會(huì)和歷史分析，例如貢獻(xiàn)圖形和提交時(shí)間序列。MLonCode旨在從大規(guī)模的源代碼數(shù)據(jù)集中學(xué)習(xí)，從而能自動(dòng)執(zhí)行軟件工程任務(wù)，例如輔助代碼審查，代碼重復(fù)數(shù)據(jù)刪除，軟件專業(yè)知識(shí)評(píng)估等。

為什么MLonCode很難？某些MLonCode問(wèn)題要求零錯(cuò)誤率，例如與代碼生成有關(guān)的錯(cuò)誤率。自動(dòng)程序修復(fù)是一個(gè)特定的示例。一個(gè)微小的單一錯(cuò)誤預(yù)測(cè)可能會(huì)導(dǎo)致整個(gè)程序的編譯失敗。

在其他一些情況下，錯(cuò)誤率必須足夠低。理想的模型應(yīng)犯的錯(cuò)誤應(yīng)盡可能少，所以用戶（軟件開發(fā)人員）的信噪比仍是可承受且值得信賴的。因此，可以使用與傳統(tǒng)靜態(tài)代碼分析工具相同的方式來(lái)使用該模型。最佳實(shí)踐挖掘就是一個(gè)很好的例子。

最后，絕大多數(shù)MLonCode問(wèn)題是無(wú)監(jiān)督的，或至多是弱監(jiān)督的。手動(dòng)標(biāo)記數(shù)據(jù)集可能會(huì)非常昂貴，因此研究人員通常必須開發(fā)相關(guān)的啟發(fā)式方法。例如，有許多相似性分組任務(wù)，例如向相似的開發(fā)人員展示或根據(jù)專業(yè)領(lǐng)域幫助團(tuán)隊(duì)。我們?cè)诒局黝}中的經(jīng)驗(yàn)在于挖掘代碼格式化規(guī)則，并將其應(yīng)用于修復(fù)錯(cuò)誤，這與短絨一樣，但完全不受監(jiān)督。有一個(gè)相關(guān)的學(xué)術(shù)競(jìng)賽來(lái)預(yù)測(cè)格式問(wèn)題，稱為CodRep。

MLonCode問(wèn)題包括各種數(shù)據(jù)挖掘任務(wù)，這些任務(wù)從理論上講可能是微不足道的，但由于規(guī)模或?qū)?xì)節(jié)的關(guān)注，在技術(shù)上仍然具有挑戰(zhàn)性。示例包括代碼克隆檢測(cè)和類似的開發(fā)人員聚類。此類問(wèn)題的解決方案在年度學(xué)術(shù)會(huì)議“ 采礦軟件存儲(chǔ)庫(kù)”中進(jìn)行了介紹。

采礦軟件存儲(chǔ)庫(kù)會(huì)議徽標(biāo)。解決MLonCode問(wèn)題時(shí)，通常用以下方式之一表示源代碼：頻率字典（加權(quán)詞袋，BOW）。示例：函數(shù)內(nèi)的標(biāo)志符；文件中的graphlet；存儲(chǔ)庫(kù)的依賴性；可以通過(guò)TF-IDF加權(quán)頻率等。這些表示是最簡(jiǎn)單，可伸縮性最高的。順序令牌流（TS），對(duì)應(yīng)于源代碼解析序列。該流通常通過(guò)指向相應(yīng)抽象語(yǔ)法樹節(jié)點(diǎn)的鏈接來(lái)增強(qiáng)。此表示形式對(duì)常規(guī)自然語(yǔ)言處理算法（包括序列到序列深度學(xué)習(xí)模型）很友好。

一棵樹，它自然地來(lái)自抽象語(yǔ)法樹。在進(jìn)行不可逆的簡(jiǎn)化或標(biāo)志符后，我們執(zhí)行各種轉(zhuǎn)換。這是最強(qiáng)大的表示形式，也是最難使用的表示形式。以下是相關(guān)的ML模型包括各種圖嵌入和門控圖神經(jīng)網(wǎng)絡(luò)。

解決MLonCode問(wèn)題的許多方法都基于所謂的自然假說(shuō)（Hindle等）：“從理論上講，編程語(yǔ)言是復(fù)雜，靈活且功能強(qiáng)大的，但很多人實(shí)際上編寫的程序大多是簡(jiǎn)單且相當(dāng)重復(fù)的，因此它們具有有用的可預(yù)測(cè)統(tǒng)計(jì)屬性，可以在統(tǒng)計(jì)語(yǔ)言模型中捕獲并用于軟件工程、任務(wù)?！?/p>

該聲明證明了大代碼的有用性：分析的源代碼越多，強(qiáng)調(diào)的統(tǒng)計(jì)屬性越強(qiáng)，并且訓(xùn)練有素的機(jī)器學(xué)習(xí)模型所獲得的指標(biāo)越好。底層關(guān)系與當(dāng)前最新的自然語(yǔ)言處理模型相同：如XLNet，ULMFiT等。類似地，通用MLonCode模型可以在下游任務(wù)中進(jìn)行訓(xùn)練和利用。
（責(zé)任編輯：fqj）