機器學習與微分方程的淺析
大家都已經使用機器學習了,尤其是基于神經網絡的深度學習,chatGPT甚囂塵上,還需要深入理解微分方程么?不論答案是啥,都會涉及到二者的對比,那么,機器學習與微分方程的區(qū)別又是什么呢?
從愛情模型的微分方程說起
這兩個方程預測了夫妻戀愛關系的長久性,基于心理學家 John Gottman 的開創(chuàng)性工作,該模型預測持續(xù)的積極情緒是婚姻成功的有力因素。關于模型的更多解讀,可以參考《幸福的婚姻》一書,作者還給出了維護婚姻幸福的7個法則:
- 完善你的愛情地圖
- 培養(yǎng)你對配偶的喜愛和贊美
- 彼此靠近而不是遠離
- 讓配偶影響你的決定
- 以溫和開場,用妥協(xié)收場
- 學會和問題和諧相處
- 創(chuàng)造共同意義
疫情三年,大家親身經歷,冷暖自知。那么,如何用微分方程描述患者與傳染者的關系呢?
SIR 模型假設病毒是通過感染者和未感染者之間的直接接觸傳播的,患病者自動以某種固定的速率恢復。
這些微分方程都包含了一些未知函數的導數(即變化率),這些未知函數,例如 SIR 模型中的 S (t) ,I (t)和 R (t) ,稱為該微分方程的解?;谶@些方程的機制,我們可以得到模型的設計方式,而數據稍后將用于驗證我們的假設。
數學模型的分類
類似微分方程這樣的數學模型是預先對系統(tǒng)的基本機制進行假設,建模始于物理學,實際上,整個數學建模領域都始于17世紀對解開行星運動背后的基本動力學的探索。從那時起,基于數學的機制模型開啟了許多現(xiàn)象的關鍵見解,從生物學和工程學到經濟學以及社會科學。這樣的機制模型可以分為基于方程的模型,如微分方程,或基于Agent的模型。
基于經驗或數據驅動的建模,例如機器學習,是通過豐富的數據來了解系統(tǒng)的結構。機器學習對于復雜的系統(tǒng)特別有用,因為我們真的不知道如何從噪聲中分離出信號,這時候,只要訓練一個聰明的算法就可以幫助解決難題。
機器學習任務可大致分為以下幾類:
- 監(jiān)督式學習(例如,回歸和分類) ;
- 非監(jiān)督式學習(例如,聚類及降維) ;
- 強化學習
先進的機器學習和人工智能系統(tǒng)如今在我們的日常生活中無處不在,從基于智能音箱的會話助手(例如 小度)到各種推薦引擎,再到人臉識別技術,甚至特斯拉(Tesla)的自動駕駛汽車。所有這些都是由嵌入在堆積如山的代碼下的數學和統(tǒng)計建模驅動的。
進一步,可以將這些模型分為“確定性”(預測是固定的)或“隨機性”(預測包括隨機性)的。
確定性模型忽略隨機變量,在相同的起始條件下總是預測相同的結果。一般的,機器學習和基于方程的模型都是確定性的,輸出總是可預測的。換句話說,輸出完全由輸入決定。
隨機模型通過在模型中引入概率來考慮總體的隨機變化。捕捉這些變化的一種方法是讓每個實體成為模型中一個單獨的Agent,并為這些Agent定義允許的行為和機制,這些行為和機制具有一定的概率。這些是基于Agent的模型。
然而,對個體行為者進行建模的可實現(xiàn)性是有代價的,而基于代理的模型則更為現(xiàn)實。由于計算代價的高昂以模型的可解釋性,這激發(fā)了數學建模中的一個關鍵概念: 模型復雜度。
模型復雜度
模型復雜度的困境是所有建模者都要面對的現(xiàn)實,我們的目標是構建并優(yōu)化既不太簡單也不太復雜的模型。簡單的模型容易分析,但往往缺乏預測能力。復雜的模型可能是超現(xiàn)實的,但有可能試圖了解復雜問題的背后真相。
我們需要在簡單性和易于分析性之間進行權衡。復雜的機器學習模型在努力學習信號(即系統(tǒng)的真實結構)的同時排除噪音(即干擾)。這導致模型在新數據上表現(xiàn)不佳。換句話說,機器學習模型的普遍性較差。
平衡模型復雜度的微妙行為是一種“藝術”,試圖尋找一個既不太簡單也不太復雜的最佳位置。這個理想的模型可以沖刷掉噪音,捕捉到正在發(fā)生的事情的潛在動態(tài),并且是可以合理解釋的。
需要注意的是,這意味著一個好的數學模型并不總是正確的。不過沒關系??赏茝V性是目標,可以向受眾解釋模型為什么這么做,無論他們是學者、工程師還是商業(yè)領袖。
所有的模型都是錯誤的,但有些是有用的。——喬治•博克斯(George Box),1976
在機器學習和統(tǒng)計學中,模型復雜度稱為偏差-方差的折衷。高偏差模型過于簡單,導致擬合不足,而高方差模型記憶噪聲而不是信號,導致過度擬合。數據科學家努力通過精心選擇訓練算法和調整相關的超參數來達到這種微妙的平衡。
微分方程與機器學習的對比
在機制建模中,我們在對系統(tǒng)的潛在機制做出假設之前,會仔細地觀察和審查一種現(xiàn)象,然后用數據驗證模型。我們的假設正確嗎?如果是這樣,既然是親自挑選的機制,完全可以向任何人解釋是什么模型的這種行為。如果假設是錯誤的,那也沒關系,只是浪費了一些時間,沒什么大不了的。建模畢竟是反復試驗。修補這些假設,甚至從頭開始。機制模型,通常是微分方程等形式的方程,甚至是基于主體的模型。
在數據驅動建模中,我們是先讓數據開始工作,為我們構建系統(tǒng)的全景。我們要做的就是滿足那臺機器的數據質量,希望有足夠的數據。這便是機器學習。如果普通人很難搞清楚一個現(xiàn)象,可以調整一臺機器來篩選噪音,為我們學習那難以捉摸的信號。標準的機器學習任務包括回歸和分類,它們使用一系列度量標準進行評估。神經網絡和強化學習也已經流行了起來,它們能夠創(chuàng)建模型并學習令人驚嘆的復雜信號。
盡管機器學習從20世紀50年代就已經存在,但隨著計算機變得越來越強大,數據在爆炸式增長,使得人們如何利用人工智能獲得競爭優(yōu)勢、提高洞察力和增長利潤展開了廣泛的實踐。對于不同的應用場景,機器學習與微分方程都有著廣泛的場景。?