人工智慧的神秘性
人工智慧(AI)最令人驚奇的地方在於,沒有人真正知道它是如何運作的。科學家們和我們一樣,不斷在探索和學習。過去一年來,他們達成了一個略為令人不安的結論:目前AI模型的回應越是穩定,它們的準確性反而越低。似乎智慧需要一點混亂。
AI模型的運作方式
目前的尖端AI模型如ChatGPT、Claude和Gemini都是大型語言模型。如果你問它們一個問題,它們會計算回應中詞語的概率,然後根據概率隨機選擇一個接一個。雖然現今的模型比這複雜得多,底層仍然是這樣一個隨機字串的組合。
這就是為什麼每次你問相同的問題時,會得到稍微不同的答案。即使將內建的隨機性設置為零,結果仍會有些隨機。這是因為電腦晶片會根據使用多少晶片和同時處理多少問題而略微不同地進行數字四捨五入。
不確定性的必要性
一組來自萊斯大學的研究者用小版本的DeepSeek推理模型進行測試,發現僅四捨五入的差異就能使模型在數學測試中的得分改變高達9%。科學家們一直假設,最終這並不重要。稍微不同的開始會給你稍微不同的措辭,但內容應該是一樣的。畢竟,問題的答案要麼正確要麼錯誤,因此模型越好,正確答案的頻率就越高,答案也就越可預測。
「如果你堅持讓一個模型的輸出變得更可預測,那不一定意味著輸出更常正確。它可能只是更一致地錯誤。」
AI模型的複雜性與重現性
最近的研究顯示,至少對於大型語言模型而言,這似乎是必須付出的代價。你試圖讓它們更可預測,它們的表現就越差。我們已經知道,大型語言模型在重現性方面存在問題。如果你在相同的數據上兩次訓練相同的網絡,可能會得到不同的答案。谷歌的研究人員稱之為“預測波動”。
訓練過程中的變異性
一組來自澳大利亞的研究者測試了一個小型神經網絡,研究訓練結果是如何依賴於訓練的。他們發現,只改變一個起始參數的位元,計算機能表示的最小變化,會在大約48%的情況下給出不同的網絡配置。更有趣的是,最準確的模型是那些對錯誤回應意見分歧最多的模型。
AI的未來:探索和挑戰
這個問題的關鍵在於,這是否是特定於這些類型AI模型的問題,還是AI的一般問題。個人推測這是前者,特定於這些模型。原因如前所述,對於神經網絡來說,“接近”的兩個狀態在意義或準確性上可能相距甚遠。常見的例子是一些假問題,例如“什麼更重,一公斤羽毛還是一磅鋼鐵。”
AI的智慧演進
舊模型常常說它們重量相同,因為問題在語言上類似於一個騙人的問題,但在意義上卻非常遠離正確的回應。新一代模型不再犯這樣的簡單錯誤,但由於神經網絡的工作方式,問題可能被推向更複雜的問題。你會期望人工通用智慧更好地收斂,意即模型越好,其失誤就越小。然而,最終的基本問題可能是,可預測性並不等同於智慧。
感謝您的觀看,明天見。
如何應對這些挑戰
- 多模型比較: 使用平台如Mammouth,你可以對不同AI模型進行比較,找到最適合的解決方案。
- 關注研究進展: 追踪最新的AI研究,了解模型的優化方法和可能的局限性。
- 靈活應用: 不要局限於單一模型,根據需求靈活選擇和應用不同的AI技術。


