如何將雲端儲存桶鏡像到管理式Lustre

📝 目錄

引言

在現今的雲端運算環境中,處理大量的AI模型訓練或高效能運算工作負載時,企業常需要有效率地管理其數據儲存和計算資源。Google Cloud 提供了管理式Lustre文件系統,這是一個高效能的平行文件系統,能夠滿足次毫秒級別高吞吐量的存取需求。然而,將數據在雲端儲存桶和管理式Lustre之間手動轉移,不僅耗時而且容易出錯。本文將詳細介紹如何使用管理式Lustre雲端儲存鏡像,實現自動化的數據同步。

什麼是管理式Lustre雲端儲存鏡像?

管理式Lustre雲端儲存鏡像是一種自動化的單向同步服務,它能夠直接將雲端儲存桶與平行文件系統連結。此服務使用Google儲存傳輸服務,在桶事件發生時(如對象的創建、更新或刪除),觸發背景事件並將變更直接同步至管理式Lustre,確保數據和元數據在工作開始前已經準備就緒。

主要優勢

  • 自動化同步:減少手動腳本操作,降低出錯機率。
  • 高效能:保證數據在高效能文件系統中的可用性,提升工作負載處理速度。
  • 安全可靠:使用最小權限的IAM角色,確保數據安全性。

步驟指南:如何設置管理式Lustre雲端儲存鏡像

步驟一:驗證Lustre實例狀態

首先,進入Google Cloud 控制台,驗證您的管理式Lustre實例是否處於活動且健康的狀態。這是確保同步過程順利進行的基礎。

步驟二:初始化GCS服務代理

接著,初始化GCS服務代理,這是讓管理式Lustre能夠安全地從您的儲存桶中讀取數據的必要步驟。確保服務代理的身份驗證和訪問權限設置正確。

步驟三:創建IAM角色並綁定到服務帳戶

為了保持最小權限原則,創建自定義的項目級別IAM角色,僅授予其必要的桶和對象權限。然後,將此角色綁定到源桶上的管理式Lustre服務帳戶。

步驟四:創建鏡像並設置背景同步

現在,您可以開始創建鏡像並設置背景同步。將GCS桶路徑直接映射到Lustre根掛載點,並啟用異步標誌,讓長時間的創建過程在背景中運行。

步驟五:驗證鏡像創建

最後,列出並描述鏡像細節,確認鏡像已經成功創建並處於活動狀態。此時,您已經完成了鏡像的設置。

實際應用:從計算客戶端的視角觀察

在計算客戶端,您可以SSH進入GCE客戶端VM,查看掛載的Lustre文件系統。此時,您會發現預加載的GCS文件初始同步已經被填充到高效能層中。若要觀察實時事件驅動的同步,可以監視Lustre掛載目錄,並觀察新文件的自動同步。

處理命名衝突與刪除傳播

在同步過程中,若發生命名衝突,雲端儲存的更新將覆蓋本地編輯,結構性衝突則會被安全跳過並記錄到雲端日誌中。文件刪除的傳播是可切換的,您可以使用保留刪除文件標誌來保留Lustre上的拷貝,或使用不保留刪除文件標誌來同步GCS刪除到Lustre。

結論

自動化您的數據管道,使用管理式Lustre雲端儲存鏡像,能夠讓您的高效能文件系統與對象儲存湖保持一致,讓您專注於模型的建構和訓練。若要開始創建您自己的同步管道,請參考上方描述中的文檔鏈接。希望這篇指南對您有所幫助,請按讚、留言並訂閱Google Cloud Tech以獲取更多高效能存儲和AI基礎設施指南。

📺 來源影片參考