📝 目錄
引言
在使用本地人工智慧(AI)時,許多人會發現系統運行速度緩慢,從而影響工作流程。然而,通過調整一些設置和了解AI運行背後的機制,可以在不購買新硬體的情況下顯著提高速度。本文將探討如何在不升級硬體的情況下,讓你的本地AI快10倍。
AI運行速度的瓶頸
記憶體頻寬和運算速度
每次AI模型生成一個字元,該模型需要從記憶體中讀取其使用的每一個權重。這意味著,寫入速度受限於記憶體的移動速度,即所謂的記憶體頻寬。通過將頻寬除以模型的大小,可以計算每秒能生成的字元數量上限。
提示處理與重複讀取
在生成任何內容之前,AI必須讀取所有已發送的信息。這包括你的消息、整個聊天記錄、你上傳的文件以及應用程序在頂部插入的指令。這一過程稱為提示處理,通常是運算的瓶頸。
提升速度的具體方法
利用書籤功能提高效率
本地伺服器會將已讀取的所有內容緩存在一個快取中。當下一條消息到達時,系統會將新的提示與上一條進行比較,保留相同部分,只讀取新內容。如果你讓系統保持其書籤,則可以顯著減少讀取時間。
調整模型的持續時間設定
Ollama模型在你最後一次使用後會在記憶體中保留五分鐘,然後卸載。這樣會導致每次重新訪問時需要重新讀取所有內容。通過將Ollama的保持活躍時間設置為更長,甚至永久,可以減少這一問題。
擴大上下文容量
在圖形記憶體較少的機器上,默認的上下文容量可能不足。當聊天超過此限制時,Ollama會刪除中間的一段內容,這會導致需要重讀部分內容。擴大上下文容量以適應實際需求,可以避免這一問題。
避免不必要的重新計算
許多編碼代理會在每次請求的頂部發送大量指令塊。如果這些指令塊在消息之間有所變動,則會丟失書籤,導致重新計算。保持這些指令的一致性可以提高效率。
選擇合適的AI模型
密集模型與專家混合模型
一個密集模型在每個字元上都使用其所有權重,而專家混合模型只激活其中的一小部分。選擇一個合適的模型可以同時提高讀取和寫入速度。
思考模式的影響
推理模型在回答之前會進行思考,這會耗費額外的時間。根據需求關閉不必要的思考功能,可以顯著減少等待時間。
結論
在不升級硬體的情況下,通過調整設置和選擇合適的模型,可以顯著提高本地AI的運行速度。這些改進不僅能提高工作效率,還能節省資金。

