VPDL深度學習 | 在VPDL深度學習軟體中使用多個GPU的常見問題與解答

問題:在 ViDi 應用程式中使用 GPU 的方式有哪些?

回答:
GPU模式: 
可能的 GPU 操作模式有: 
SingleDevicePerTool (預設設定)- 使用單一 GPU 來分析工具。使用多個 GPU 時,單一影像的處理時間保持不變,但可以在不同裝置上同時處理多個影像:

MultipleDevicesPerTool – 此模式適用於 Red Analytics 工具,允許將其影像分析指派到多個 GPU 上。此模式最適合使用較小特徵尺寸和/或較高採樣密度來分析較大影像的應用。當 MultipleDevicesPerTool 模式用於小影像、大特徵尺寸和低取樣密度時,此模式可能比 SingleDevicePerTool模式慢。 


NoGPUSupport – 指定不使用 GPU。 


多 GPU :  
在單一系統中使用多個 GPU 不會減少ViDi工具訓練或處理時間。多個 GPU 可以執行以下操作: 
• 當您的應用程式使用多個執行緒同時處理映像時,可以提高系統吞吐量。 
• 透過讓您同時培訓多個工具來提高培訓效率。 

在一種情況下,可以使用多個 GPU 來減少工具處理時間。如果您將系統配置為MultipleDevice s PerTool 模式,則所有已安裝的 GPU 在處理過程中都會被視為單一 GPU。這意味著整個伺服器一次只能處理一個工具。  

在紅色分析工具的特定情況下,使用MultipleDevicesPerTool模式可能會加快該工具的速度,尤其是具有高影像與特徵尺寸比的工具。然而,這種潛在的加速是以所有客戶端的延遲為代價的。  

多 GPU系統的系統配置:  
• 為多個 GPU 配置熱系統時,請記住以下幾點: 
• 機箱可能需要提供高達2KW的功率。 
• Quadro 和 Tesla 卡為多卡安裝提供更好的冷卻配置。 
• 確保 PCIe 配置為每個 GPU 提供 16 個 PCIe 通道。 
• 不要啟用 SLI 。 


訓練時間怎麼樣:   
減少工具培訓時間不會影響運行時的效能,但可以提高開發團隊的生產力。  
ViDi訓練混合使用 CPU 和 GPU 資源。具體考慮培訓時,分為三個階段: 
• 計算影像統計數據, 
• 建立模型,  
• 使用新訓練的模型處理影像集

訓練的模型建置階段通常耗時最長,並且是一個迭代過程。每次迭代都要求該工具從所有訓練圖像產生訓練資料。如果影像是非 BMP 格式,則每次迭代都需要將其轉換為 BMP。 

工具訓練始終是單執行緒和單 GPU。使用多個GPU無法加速訓練速度 
使用多個 GPU可以提高您的工作效率,因為您可以同時訓練多個工具 
 
line