2024年諾貝爾物理獎頒給美國普林斯頓大學的約翰‧霍普菲爾德(John J. Hopfield，91歲)，以及加拿大多倫多大學的傑佛瑞‧辛頓(Geoffrey E. Hinton，76歲)，「表揚他們在人工智慧與機器學習上的奠基與發明」[1]。最近，生成式人工智慧變得越來越流行和易於使用，對科學和日常應用產生了巨大並深遠的影響。儘管電腦無法思考，但人工智慧(Artificial Intelligence，AI)機器可以模仿記憶和學習等功能，而機器學習則一直主導著人工智慧的成長與發展。過去十五到二十年，機器學習的發展呈現爆炸性的成長主要是利用一種稱為人工神經網絡(Artificial Neural Network，ANN)的工具。巧合的是今年是易辛模型 (Ising Model) 誕生100週年[2]（Ernest Ising 1924年的博士論文，博士導師為Wilhelm Lenz），而諾貝爾物理學獎授予發展機器學習的基礎方法皆植根於易辛模型和統計力學。以人工神經網路 (ANN) 為基礎的機器學習，受大腦生物神經元的啟發。ANN的結構與統計物理學中的Ising自旋模型非常相似，ANN節點之間之權重就類比是Ising自旋之間的相互作用，而神經元靜止和激發兩個態就對應於Ising模型系統中上、下的自旋，可見機器學習的基礎及進展是跟統計力學息息相關的。

科學家們早已經開始努力找出生物系統如何解決模式辨識(pattern recognition)問題。早在1943年，Warren McCulloch 和 Walter Pitts 就提出了一個非常簡單的大腦神經元如何協作的模型，該模型成為後來生物和ANN研究的始祖。在心理學領域，Donald Hebb提出了一種學習和記憶機制，其中兩個神經元的同時和重複激發會導致它們之間的突觸連結增強: ``firing enhances wiring" 的Hebb's 法則。本年諾貝爾物理學得獎者Hopfield於80年代在美國國家科學院院刊(PNAS)發表了一個基於簡單循環神經網路的聯想記憶動態模型，題為“具有新興集體計算能力的神經網絡和物理系統”[3]，其中介紹了現在被稱為Hopfield 網絡的一種ANN，並提出與統計物理學中類似相變的集體現象:大量神經元中出現可能會產生「計算」能力。Hopfield提出了一種模擬人類記憶模型的Hopfield neural network， 是一個使用保存和重新創建模式或記憶方法的網路。網路節點之間的交互作用wij 用於儲存記憶，Hopfield 網路中的穩態被識別為記憶。Hopfield模型提出原本是作為聯想記憶， 探討記憶檢索過程，作為糾錯或圖案恢復的方法，而靜止狀態代表透過Hebb’s法則學到或重塑的記憶。Hopfield 網路利用統計學來描述材料因原子自旋而產生的特性，如Ising模型。整個網路以相當於自旋系統能量的方式進行描述，並透過尋找節點之間的連接值(wij)進行訓練，以便保存的圖像具有低能量。當Hopfield網路輸入扭曲或不完整的圖像時，它會系統地透過節點工作並更新它們的值，從而使網路的能量下降。因此，當網路逐步運作，最終可找到最接近其輸入的不完美影像的已儲存影像。隨後，Hopfield 和 David Tank 開發了一種基於連續時間動態來解決離散的最佳化問題的方法。而要解決的最佳化問題被編碼在網路的交互參數（權重wij）內，提供了機器學習想法的原型。但在數十年前，就算簡單的分類（例如影像分類）所需的巨大的運算資源使得人工神經網路不可能達成其精確標準。然而Hopfield模型後來被Hinton等人提升，在使用ANN機器學習研究中發揚光大[4]。Hopfield 模型是現代人工智慧產業中使用的機器學習神經網路的原型。雖然最初的 Hopfield 網路記憶體有限，不過Hopfield和Dimitry Krotov 在 2016年解決了這個問題。具有高儲存Hopfield網路現在被稱為現代Hopfield網路[5]。

另外，值得一提的是Hopfield是一位知識淵博的跨學科學者。他於1954 年在賓夕法尼亞州Swarthmore學院獲得物理學士，並於1958 年在康奈爾大學獲得物理學博士， 研究晶體的複介電常數，創造了極化子(polariton)一詞。及後於貝爾實驗室工作期間(1959~1961) 開始對生物物理表現出興趣，與Robert  Shulman 合作開發了描述血紅蛋白合作行為的定量模型。隨後，Hopfield任職於加州大學柏克萊分校物理系（1961-64）；普林斯頓大學物理系教授（1964-80）；貝爾電話實驗室技術人員（1973-89）；加州理工學院化學與生物系教授 (1980-97， 期間受費曼邀請講授聯想神經網路)；普林斯頓大學分子生物系教授（1997至今為退休教授）。Hopfield於生物物理領域的重要工作是在1974 年引入了一種生化反應中動力學校正(kinetic proof-reading)的糾錯機制，以解釋 DNA 複製的準確性。1969 年Hopfield獲授予凝聚態物理的Buckley Prize，表彰其”增進了對光與固體相互作用的理解”。2001年榮獲國際理論物理中心Dirac Medal表揚他”在令人印象深刻的廣泛科學領域做出的重要貢獻”。因其在動力學校對和 Hopfield 模型方面的工作而榮獲2023年玻爾茲曼獎章(Boltzmann Medal) 。Hopfield的博士生範圍涵蓋凝聚態物理學、生物物理學、神經/分子生物學和計算科學: 著名的包括Bertrand Halperin（1965博士）、Steven Girvin（1977）、Terry Sejnowski（1978）、José Onuchic（1987）、Erik Winfree（1998）。

另一物理學獲獎者 Geoffrey Hinton 使用 Hopfield 網路作為利用不同方法的新ANN之基礎：玻爾茲曼機(Boltzmann Machine，BM)可以學習識別給定類型資料中的特徵元素。Hinton 使用了統計物理學中的工具，透過向機器提供運行時可能出現的範例來訓練機器。BM可用於對影像進行分類或建立其所訓練的模式類型的新範例。Hinton 在這項工作的基礎上，幫助啟動了當前機器學習的爆炸性發展。值得一提的是Hinton是極少數諾貝爾物理學獎得主卻沒有受過物理學背景訓練的罕見情況。Hinton於1970年在英國劍橋大學獲得實驗心理學學士。此後於1978年在愛丁堡大學獲得人工智慧博士。自 1987年起任職於多倫多大學計算機科學系，2013~2023年在Google兼任工作。

Hinton是玻爾茲曼機(BM)，反向傳播算法(Back-propagation，BP )和對比散度算法(Contrastive Divergence，CD)的發明人之一，也是深度學習(Deep Learning)的積極推動者，被譽為「深度學習教父」，甚至是「AI教父」。1985年，Hinton 與 David Ackley和Terry Sejnowski 共同發明了BM-- Hopfield模型隨機版本的推廣。BM是一個生成(generative)模型。與 Hopfield 模型不同，它側重於模式的統計分佈而不是單一模式。它包含與要學習的模式相對應的可見節點(visible nodes)以及附加的隱藏節點(hidden nodes)，其中包含後者是為了能夠對更一般的機率分佈進行建模。調整網路的權重和偏差參數，以令BM產生可見模式的統計分佈與給定訓練模式集的統計分佈之間的偏差最小。但由於可見節點和隱藏節點都連接在一起，BM的學習能力對於較大的實際問題效率非常低，無法處理實際應用。Paul Smolensky於1986年，提出了一個關鍵的改進---Restricted BM (RBM): 可見節點之間沒有連接，隱藏節點分為層結構而層內無連接. 及後Hinton 與合作者在 2000 年代中期使用快速學習演算法後，RBM在深度學習中發揮著至關重要的作用。也在1986年，當Hinton 在加州大學聖地牙哥分校擔任博士後研究員時，與David Rumelhart和Ronald Williams提出了一個突破性的技術進展 --- 反向傳播演算法(BP)。他們將應用於多層神經網路。他們的實驗表明，這樣的網路可以學習有用的數據內部表示。BP是對多層類神經網路進行梯度下降的演算法，也就是用鏈式法則以網路每層的權重為變數計算損失函數的梯度，以更新權重來最小化損失函數。此外，Hinton 與合作者在1999年提出對比散度算法(CD)最初開發用於訓練Product of Expert(PoE)模型。CD是一種高效率演算法用於訓練RBM的近似梯度下降演算法。它透過比較兩個分佈之間的差異來近似計算梯度，從而更新RBM的參數。除此之外，Hinton神經網路研究的其他貢獻包括分散式表示、延時神經網路、Mixture of Experts(MoE)、Helmholz machine和PoE。2012年Hinton帶領學生參加AI圖形識別精密度國際比賽奪冠，當時就使用輝達(Nvidia)的圖形處理器，他的學生Ilya Sutskever日後成為OpenAI聯合創始人。Hinton因在深度學習方面的貢獻與Yoshua Bengio和Yann LeCun一同被授予了2018年的圖靈獎(Turing Award) 。

上文概述多年來見證物理學如何成為人工神經網路發明和發展的驅動力。相反，如今人工神經網路幾乎作為所有物理學、科學和技術領域建模和分析的強大工具，正日益發揮廣泛及重要作用。人工神經網路經過訓練可以從大量實驗或模擬數據其中挑選出特定的模式，進而取得新的科學發現。一個有說服力的例子是2024年諾貝爾化學獎的一半授予Demis Hassabis和John Jumper，表揚他們開發了一種機器學習模型來解決五十多年來的問題：預測蛋白質的複雜結構。（化學獎另外一半授予David Baker，表揚他在計算及設計蛋白質的貢獻）。在蛋白質中，胺基酸以長串連接在一起，折疊起來形成三維結構，這對蛋白質的功能至關重要。自1970年代以來，研究人員一直嘗試根據胺基酸序列預測蛋白質結構，但這非常困難。然而，2020 年Hassabis 和 Jumper 提出了一個名為 AlphaFold2的AI 模型。在它的幫助下出現了驚人的突破：他們已能預測研究人員已識別的幾乎所有 2 億種蛋白質的結構。AlphaFold2已被來自190個國家的超過200萬人使用。

雖然Hopfield和 Hinton因為對人工智慧的貢獻而獲得了諾貝爾獎，但他們都對人工智慧的爆炸性發展持懷疑態度。Hinton於2023年公開宣布辭去Google職務並解釋了自己的決定，表示他想「自由地談論人工智慧的風險」。並補充說他「現在對自己一生的工作感到遺憾」。2023年5月，他稱其後悔研發人工智慧，擔心人工智慧會為世界帶來嚴重危害。Hopfield於2023年3月簽署了一封公開信，呼籲暫停訓練比GPT-4 更強大的AI系統。這封信有超過3萬人簽名。在共同獲得2024年諾貝爾物理學獎後，Hopfield透露，他對人工智能能力的最新進展感到非常不安，並表示「作為一名物理學家，我對無法控制的事物感到非常不安」。

參考文獻

[1] Scientific Background to the Nobel Prize in Physics 2024,“FOR FOUNDATIONAL DISCOVERIES AND INVENTIONS THAT ENABLE MACHINE LEARNING WITH ARTIFICIAL NEURAL NETWORKS”. https://www.nobelprize.org/uploads/2024/09/advanced-physicsprize2024.pdf

[2] Z. Budrikis, “100 years of the Ising model”. Nat. Rev. Phys. 6, 530 (2024). https://doi.org/10.1038/s42254-024-00760-x

[3] J. J. Hopfield, “Neural networks and physical systems with emergent collective computational abilities”. PNAS 79, 2554 (1982). https://doi.org/10.1073/pnas.79.8.2554

[4] "Stories by Geoffrey E. Hinton in Scientific American". Scientific American. https://www.scientificamerican.com/author/geoffrey-e-hinton/

[5] D. Krotov, J.J. Hopfield, "Dense Associative Memory for Pattern Recognition". Neural Information Processing Systems 29, 1172 (2016).