現(xiàn)在，我們已經(jīng)習慣了計算會變得越來越便宜，以至于我們從來不曾懷疑過，也許有一天我們會用不起它。

現(xiàn)在，Rodolfo Rosini，一家初創(chuàng)公司的CEO提出了一個令我們震驚的問題：如果我們正在達到經(jīng)典計算模型的基本物理極限，就像我們的經(jīng)濟依賴廉價的計算一樣，那該怎么辦？

大型計算的停滯

現(xiàn)在，由于缺乏技術創(chuàng)新，美國已經(jīng)到達了一個平穩(wěn)期。

賴特定律（Wright’s Law）在很多行業(yè)中都成立——制造工藝每改進20%左右，生產(chǎn)率就會翻一番。

在技術領域，它表現(xiàn)為摩爾定律。

在1960年代，英特爾聯(lián)合創(chuàng)始人Gordon Moore注意到集成電路中的晶體管數(shù)量似乎同比翻了一番，提出了摩爾定律。

從此，這個定律就成為市場和工程之間契約的基礎，利用過剩的計算能力和尺寸的縮小，推動計算堆棧中產(chǎn)品的構建。

那時的預期是，有了更快和更便宜的處理器，計算能力會隨著時間呈指數(shù)級提高。

然而，構成摩爾定律的不同力量已經(jīng)發(fā)生了變化。

幾十年來，摩爾定律背后的推動力是Dennard縮放定律。晶體管尺寸和功耗同步減半，使每單位能量的計算量增加一倍（后者也稱為Koomey’s LawKoomey定律)。

50年的微處理器趨勢數(shù)據(jù)

2005 年，由于電流泄漏導致芯片升溫，這種縮放比例開始失效，隨之而來的是具有單個處理核心的芯片的性能停滯不前。

為了保持計算增長軌跡，芯片行業(yè)轉向了多核架構：多個微處理器“粘合”在一起。雖然這可能在晶體管密度方面延長了摩爾定律，但它增加了整個計算堆棧的復雜性。

對于某些類型的計算任務，如機器學習或計算機圖形，這帶來了性能提升。但是對于很多并行化不好的通用計算任務，多核架構無能為力。

總之，很多任務的計算能力不再呈指數(shù)級增長。

即使在多核超級計算機的性能上，從TOP500 （全球最快超級計算機排名）來看，2010年左右也出現(xiàn)了明顯的拐點。

這種放緩的影響是什么？計算在不同行業(yè)中發(fā)揮的越來越重要的作用表明，影響是立竿見影的，而且只有在摩爾定律進一步動搖的情況下才會變得更加重要。

舉兩個極端的例子：計算能力的提高和成本的降低使得能源行業(yè)石油勘探的生產(chǎn)率增長了49%，生物技術行業(yè)的蛋白質(zhì)折疊預測增長了94%。

這意味著計算速度的影響不僅限于科技行業(yè)，過去50年的大部分經(jīng)濟增長都是摩爾定律驅(qū)動的二階效應，沒有它，世界經(jīng)濟可能會停止增長。

還有一個需要更多算力的突出原因，就是人工智能的興起。在今天，訓練大語言模型 (LLM) 可能花費數(shù)百萬美元，并需要數(shù)周時間。

如果不繼續(xù)增加數(shù)字運算和數(shù)據(jù)擴展，機器學習所承諾的未來就無法實現(xiàn)。

隨著機器學習模型在消費技術中的日益普及，預示著其他行業(yè)對計算的巨大需求，而且可能是雙曲線的需求，廉價的處理正成為生產(chǎn)力的基石。

摩爾定律的死亡可能會帶來計算的大停滯。與達到AGI可能需要的多模態(tài)神經(jīng)網(wǎng)絡相比，今天的LLM仍然相對較小，且容易訓練。未來的GPT和它們的競爭對手將需要特別強大的高性能計算機來改進，甚至進行優(yōu)化。

或許很多人會感到懷疑。畢竟，摩爾定律的終結已經(jīng)被預言過很多次了。為什么應該是現(xiàn)在？

從歷史上看，這些預測中有許多都源于工程上的挑戰(zhàn)。此前，人類的聰明才智曾一次又一次地克服了這些障礙。

現(xiàn)在的不同之處在于，我們面臨的不再是工程和智能方面的挑戰(zhàn)，而是物理學施加的限制。

MIT Technology Review2月24日發(fā)文稱，我們沒有為摩爾定律的終結做好準備

過熱導致無法處理

計算機是通過處理信息來工作的。

當他們處理信息時，其中一些信息會隨著微處理器合并計算分支或覆蓋注冊表而被丟棄。這并不是免費的。

熱力學定律對某些過程的效率有嚴格的限制，而它也適用于計算，就像它適用于蒸汽機一樣。這個成本稱為Landauer’s limit蘭道爾極限（Landauer’s limit）。

它是每次計算操作過程中散發(fā)的微量熱量：大約每比特10^-21焦耳。

鑒于這種熱量這么小，蘭道爾極限長期以來一直被認為可以忽略。

然而，現(xiàn)在的工程能力已經(jīng)發(fā)展到了可以達到這種能量規(guī)模的程度，因為由于電流泄漏等其他開銷，現(xiàn)實世界的極限估計比Landauer的邊界大了10-100倍。芯片有數(shù)以千億計的晶體管，以每秒數(shù)十億次的速度運行。

把這些數(shù)字加起來，或許在到達熱障礙之前，摩爾定律或許還剩下一個數(shù)量級的增長。

到那時，現(xiàn)有的晶體管架構將無法進一步提高能效，而且產(chǎn)生的熱量會阻止將晶體管封裝得更緊密。

如果我們不弄清楚這一點，就無法看清行業(yè)價值觀將會發(fā)生什么變化。

微處理器將受到限制，行業(yè)將爭奪邊際能源效率的較低獎勵。

芯片尺寸會膨脹?？纯从ミ_4000系列的GPU 卡：盡管使用了更高密度的工藝，但它只有一只小狗那么大，功率高達650W。

這促使NVIDIA首席執(zhí)行官黃仁勛在2022年底宣布“摩爾定律已死”——盡管這一聲明大部分正確，但其他半導體公司否認了這一聲明。

IEEE每年都會發(fā)布半導體路線圖，最新的評估是2D的微縮將在2028年完成，3D微縮應該在2031年全面啟動。

3D 微縮（芯片在其中相互堆疊）已經(jīng)很普遍，但它是在計算機內(nèi)存中，而不是在微處理器中。

這是因為內(nèi)存的散熱要低得多；然而，散熱在3D架構中很復雜，因此主動內(nèi)存冷卻變得很重要。

具有256層的內(nèi)存即將出現(xiàn)，預計到2030年將達到1,000層大關。

回到微處理器，正在成為商業(yè)標準的多門器件架構（如Fin場效應晶體管和Gates-all-round）將在未來幾年繼續(xù)遵循摩爾定律。

然而，由于固有的熱問題，在20世紀30年代以后都不可能有真正的垂直擴展（vertical scaling）。

事實上，目前的芯片組會仔細監(jiān)督處理器的哪些部分隨時處于活躍狀態(tài)，即使在單個平面上也能避免過熱。

2030危機？

一個世紀前， 美國詩人Robert Frost曾經(jīng)這樣問道：世界會在霜還是火中終結?

如果答案是火，那就幾乎預示著計算的終結。

或者，就接受這個事實：電力使用會增加，然后擴大微處理器的制造規(guī)模。

為了這個目的，人類已經(jīng)消耗了很大一部分地球能源。

也許另一種選擇是簡單地接受增加的電力使用并擴大微處理器的制造規(guī)模。我們已經(jīng)為此目的使用了地球能源供應的很大一部分。

在愛爾蘭，僅70個數(shù)據(jù)中心就消耗了全國14%的能源。到2030年代，預計全球生產(chǎn)電力的30-50%將用于計算和冷卻。

（有趣的是，在3月19日博文發(fā)表后，作者又將這個預測刪除了。他的解釋是，這是基于Nature論文中最壞情況的推斷，為了論證的清晰和精確，現(xiàn)在已將其刪除）

而現(xiàn)在的能源生產(chǎn)的規(guī)模化速度，在這之后會導致摩爾定律規(guī)?；某杀韭晕⒃黾?。

而在設計（能源效率）和實施層面（將仍在使用的舊設計替換為最新技術）的一系列一次性優(yōu)化措施，將允許印度等發(fā)展中經(jīng)濟體趕上全球的整體生產(chǎn)力。

而摩爾定律終結后，人類在微處理器芯片的制造還沒有達到極限之前，就會耗盡能源，計算成本下降的步伐將停滯不前。

雖然量子計算被吹捧為超越摩爾定律的有效途徑，但它存在太多未知數(shù)了，離商用還有數(shù)十年的發(fā)展，至少在未來 20到30年內(nèi)，都派不上用場。

顯然，未來10年將出現(xiàn)嚴重的算力差距，現(xiàn)有的技術公司、投資者或政府機構都沒辦法解決。

摩爾定律和蘭道爾極限的碰撞已經(jīng)有數(shù)十年了，可以說是2030年代最重大、最關鍵的事件之一。

但現(xiàn)在，知道這件事的人，似乎并不多。