神經(jīng)網(wǎng)絡(luò)通過模仿人類睡眠模式更好地學(xué)習(xí)
加州大學(xué)圣地亞哥分校的一組研究人員正在探索人工神經(jīng)網(wǎng)絡(luò)如何模仿人腦的睡眠模式以減輕災(zāi)難性遺忘問題。
該研究發(fā)表在PLOS Computational Biology上。
平均而言,人類每 24 小時需要 7 至 13 小時的睡眠。雖然睡眠以多種方式使身體放松,但大腦仍然非?;钴S。
睡眠時活躍的大腦
Maxim Bazhenov 博士是加州大學(xué)圣地亞哥分校醫(yī)學(xué)院的醫(yī)學(xué)教授和睡眠研究員。
“我們睡覺時大腦非常忙碌,重復(fù)我們白天學(xué)到的東西,”Bazhenov 說。“睡眠有助于重組記憶并以最有效的方式呈現(xiàn)它們。”
Bazhenov 和他的團(tuán)隊之前發(fā)表了關(guān)于睡眠如何建立理性記憶的工作,理性記憶是記住物體、人或事件之間任意或間接關(guān)聯(lián)的能力。它還可以防止忘記舊記憶。
災(zāi)難性遺忘的問題
人工神經(jīng)網(wǎng)絡(luò)從人腦的架構(gòu)中汲取靈感,以改進(jìn) AI 技術(shù)和系統(tǒng)。雖然這些技術(shù)以計算速度的形式成功地實(shí)現(xiàn)了超人的性能,但它們有一個主要的局限性。當(dāng)神經(jīng)網(wǎng)絡(luò)按順序?qū)W習(xí)時,新信息會在一種稱為災(zāi)難性遺忘的現(xiàn)象中覆蓋以前的信息。
“相比之下,人腦不斷學(xué)習(xí)并將新數(shù)據(jù)整合到現(xiàn)有知識中,當(dāng)新訓(xùn)練與睡眠時間交織在一起以鞏固記憶時,它通常學(xué)得最好,”Bazhenov 說。
該團(tuán)隊使用人工模擬自然神經(jīng)系統(tǒng)的尖峰神經(jīng)網(wǎng)絡(luò)。信息不是連續(xù)通信,而是在特定時間點(diǎn)作為離散事件或尖峰傳輸。
在神經(jīng)網(wǎng)絡(luò)中模擬睡眠
研究人員發(fā)現(xiàn),當(dāng)脈沖神經(jīng)網(wǎng)絡(luò)接受新任務(wù)的訓(xùn)練并偶爾離線模仿睡眠時,災(zāi)難性遺忘的問題得到緩解。與人腦類似,研究人員表示,“睡眠”使網(wǎng)絡(luò)能夠在不明確使用舊訓(xùn)練數(shù)據(jù)的情況下重播舊記憶。
“當(dāng)我們學(xué)習(xí)新信息時,神經(jīng)元會按特定順序放電,這會增加它們之間的突觸,”Bazhenov 說。“在睡眠期間,我們在清醒狀態(tài)下學(xué)到的尖峰模式會自發(fā)地重復(fù)。這稱為重新激活或重播。
“突觸可塑性,即改變或塑造的能力,在睡眠期間仍然存在,它可以進(jìn)一步增強(qiáng)代表記憶的突觸權(quán)重模式,有助于防止遺忘或使知識從舊任務(wù)轉(zhuǎn)移到新任務(wù)。”
該團(tuán)隊發(fā)現(xiàn),通過將這種方法應(yīng)用于人工神經(jīng)網(wǎng)絡(luò),它可以幫助網(wǎng)絡(luò)避免災(zāi)難性遺忘。
“這意味著這些網(wǎng)絡(luò)可以像人類或動物一樣不斷學(xué)習(xí),”Bazhenov 繼續(xù)說道。“了解人腦在睡眠期間如何處理信息有助于增強(qiáng)人類受試者的記憶力。增強(qiáng)睡眠節(jié)奏可以提高記憶力。
“在其他項(xiàng)目中,我們使用計算機(jī)模型來制定最佳策略,以在睡眠期間應(yīng)用刺激,例如聽覺音調(diào),從而增強(qiáng)睡眠節(jié)奏并改善學(xué)習(xí)。當(dāng)記憶力不佳時,例如當(dāng)記憶力因衰老或阿爾茨海默氏病等疾病而下降時,這一點(diǎn)可能尤為重要。”
相關(guān)資訊
- 云計算如何讓供應(yīng)鏈更智能和更強(qiáng)
- 數(shù)實(shí)融合,區(qū)塊鏈回歸商業(yè)的真實(shí)寫
- 人工智能在用戶體驗(yàn)設(shè)計中的應(yīng)用
- 人工智能如何幫助新創(chuàng)業(yè)公司取得
- 為什么您的組織需要擁抱數(shù)據(jù)彈性
- 云計算和IDC:數(shù)字化時代的未來之
- 工業(yè)智能網(wǎng)關(guān)是什么及主要功能?
- 數(shù)據(jù)管理:云技術(shù)還是數(shù)據(jù)中心?
- 值得關(guān)注的5項(xiàng)物聯(lián)網(wǎng)傳感器技術(shù)
- 借助邏輯數(shù)據(jù)倉庫應(yīng)對供應(yīng)鏈挑戰(zhàn)