沃特金斯和她的研究小組發(fā)現(xiàn)，連續(xù)不斷的無(wú)監(jiān)督學(xué)習(xí)之后，網(wǎng)絡(luò)仿真變得不穩(wěn)定。當(dāng)他們將網(wǎng)絡(luò)暴露于類似于活腦在睡眠中經(jīng)歷的波動(dòng)的狀態(tài)時(shí)，穩(wěn)定性得以恢復(fù)。沃特金斯說(shuō)：“好像我們?cè)诮o神經(jīng)網(wǎng)絡(luò)一樣，可以睡個(gè)好覺。”

這一發(fā)現(xiàn)是在研究團(tuán)隊(duì)致力于開發(fā)神經(jīng)網(wǎng)絡(luò)時(shí)得出的，該網(wǎng)絡(luò)與人類和其他生物系統(tǒng)如何學(xué)習(xí)看得很近。該小組最初努力使穩(wěn)定的模擬神經(jīng)網(wǎng)絡(luò)經(jīng)受無(wú)監(jiān)督的字典訓(xùn)練，該訓(xùn)練涉及對(duì)對(duì)象進(jìn)行分類，而無(wú)需事先進(jìn)行示例比較。

洛斯·阿拉莫斯（Los Alamos）的計(jì)算機(jī)科學(xué)家和研究合著者加勒特·凱尼恩（Garrett Kenyon）說(shuō)：“只有在嘗試?yán)蒙飳W(xué)上逼真的尖峰神經(jīng)形態(tài)處理器或試圖了解生物學(xué)本身時(shí)，才會(huì)出現(xiàn)如何使學(xué)習(xí)系統(tǒng)變得不穩(wěn)定的問(wèn)題?！薄敖^大多數(shù)機(jī)器學(xué)習(xí)，深度學(xué)習(xí)和AI研究人員從未遇到過(guò)這個(gè)問(wèn)題，因?yàn)樵谒麄冄芯康姆浅Ｈ斯さ南到y(tǒng)中，他們可以執(zhí)行全局?jǐn)?shù)學(xué)運(yùn)算，從而具有調(diào)節(jié)系統(tǒng)整體動(dòng)態(tài)增益的作用?！?/p>

研究人員將決定使網(wǎng)絡(luò)暴露于人工模擬睡眠的決定是將其穩(wěn)定的最后努力。他們對(duì)各種類型的噪聲進(jìn)行了實(shí)驗(yàn)，大致可與調(diào)諧收音機(jī)時(shí)在電臺(tái)之間遇到的靜態(tài)噪聲相媲美。當(dāng)他們使用所謂的高斯噪聲波時(shí)，最好的結(jié)果是出現(xiàn)的，其中包括范圍廣泛的頻率和幅度。他們假設(shè)該噪聲模仿了慢波睡眠過(guò)程中生物神經(jīng)元接收到的輸入。結(jié)果表明，慢波睡眠可能在某種程度上起到了確保皮質(zhì)神經(jīng)元維持其穩(wěn)定性而不產(chǎn)生幻覺的作用。

小組的下一個(gè)目標(biāo)是在英特爾的Loihi神經(jīng)形態(tài)芯片上實(shí)現(xiàn)他們的算法。他們希望讓Loihi時(shí)不時(shí)地進(jìn)入睡眠狀態(tài)，使其能夠穩(wěn)定地實(shí)時(shí)處理來(lái)自硅視網(wǎng)膜相機(jī)的信息。如果這些發(fā)現(xiàn)證實(shí)了人造大腦需要睡眠，那么我們可能會(huì)期望未來(lái)可能出現(xiàn)的android和其他智能機(jī)器也是如此。

沃特金斯將于6月14日在西雅圖的“計(jì)算機(jī)視覺中的女性”研討會(huì)上介紹這項(xiàng)研究。