VPDL深度學習 | 展開製造業中的深度學習專案 第2階段:收集資料並建立真實狀況

公司組成深度學習專案團隊,並選定要推進的專案後,下一步便是收集資料並建立真值。

絕對與相對資料 

必須在此階段收集兩種資料類型:影像(絕對)資料與製程(相對)資料。由深度學習團隊所收集的影像資料有助於最佳化與訓練神經網路進行缺陷及合格/不合格判定。除此之外,可靠的影像擷取包括使用解析度合適的攝影機,並選擇和設定合適的照明設置。
製程資料可讓公司開發一套以深度學習為基礎的系統,以進行進階最佳化。這可能包括逸失與廢料的單位成本、合格與不合格的頻率,以及不同缺陷類型的頻率。深度學習團隊必須根據真實狀況查看深度學習系統的效能,並根據真值查看現有解決方案的效能,例如人工檢測。 

保持持續製程

深度學習專案的所有階段一般皆持續進行。此工作包括收集影像和製程資料、訓練模型,以及將資料標記保持在最新狀態。

公司需要工作人員一致地、可靠地標記影像中的缺陷,以讓深度學習模型使用優質資料進行訓練。持續進行訓練流程可讓團隊簡化收集與記錄精準資料的作業。

為了避免統計異常,團隊必須擷取並追蹤產品變異、元件變更、設備漂移和工具磨損。所有影像標記還須一致、公正,採用獨立測量和明確定義。產品規格變更、新增新產品或汰除過時產品時,團隊必須更新影像標籤。團隊也須建立一套流程,隨著時間持續擷取資訊,以便在問題發生時,團隊可以及時因應並解決問題。

深度學習團隊應避免在訓練中使用偽缺陷。如零件上的標記、裂縫或刮傷等偽缺陷都不足代表真正的缺陷,還會對訓練流程帶來負面影響。例如,如果團隊中有人為了要測試,以人工的方式在零件上做出刮痕,那麼系統僅會在該區域中尋找缺陷。

著手建立真值

有多種選項可供團隊取得真值,包括使用工廠人工檢測結果。在此方法中,資料隨手可得並可接受。對於需要特殊處理(如傾斜等)才能進行檢測的零件而言,這可能是唯一的選項。另一方面,結果可能會隨著時間或不同檢測人員之間而不盡相同,而且某些利害關係人可能在目前設置的系統中已有既得利益。此方法僅應預示著開端而已,因為公司必須投入資料收集與庋用,才能測得更準確的基線。

Knapp 測試可讓數個已知合格與不合格的零件多次通過同一組檢測人員,藉以協助公司評比人工品質檢測人員。在 Knapp 測試中,個別檢測人員會檢查混入生產零件的對照組零件數字,然後彙整每位人員的結果,以取得合格/不合格結果共識。儘管此方法可讓公司知道可以持續抓到哪些缺陷類型,以及哪些檢測人員的表現做好,但此方法僅限於少量資料集。由於缺陷外觀可能不符合真實狀況或人工造成,而且缺陷分布也總是不符合真實狀況,因而也可能會產生代表性不足的結果。公司應評估個別檢測人員在準確性與再現性方面的表現,並使用真實缺陷的影像建立用於神經網路訓練的初始標記資料集。
 

方法 優點 限制 建議
手動檢測  ♦ 資料存在並可接受
♦ 對於需要特殊處理(如傾斜等)才能進行檢測的零件而言,可能是唯一的選項
♦ 不一致 - 隨時間產生變化,也因檢測人員不同而異
♦ 許多利害關係人在目前的系統中具有既得利益
♦ 以人工檢測結果做為開端
♦ 投入資料收集與庋用,以取得更準確的基線
Knapp 測試 ♦ 在真實世界的製造環境中的測試行為
♦ 比任何單一檢測人員的判斷更健全
♦ 某些產業中不切實際的測試
♦ 僅限於少量資料集
♦ 結果經常不具代表性
♦ 評估個別檢測人員在準確性與再現性方面的表現
♦ 建立用於神經網路訓練的初始標記資料集
♦ 生產驗證


最後公司必須至少有一位值得信任、熟稔該公司品質標準的專家,以取得真實狀況。團隊要先在生產期間,透過人工與自動化檢測記錄影像與檢測結果。再由專家確認是否可以從影像可靠地進行合格/不合格判定,並協助設立標記團隊的影像品質標準,確保僅將準確的資料饋入深度學習模型。

在點焊應用中深度學習軟體與人工檢測人員的比較圖


在此範例中,由值得信任的專家建立點焊檢測應用中的真值。

然後即可比較人工和自動化視覺檢測結果。如果結果一致,團隊即可假定決策正確,並可將影像加入資料集。如果結果不同,專家則會審查結果並決定後續步驟。專家使用在真實條件下的真實世界樣品影像,建立可靠的真值影像。 此外,專家還可協助建立可靠的表現統計資料,包括缺陷分布及人工與自動化檢測表現資料,同時改善檢測流程。專家也會提供可以在未來自動化專案中重複使用的資料。請注意,如果必須以特定方式處理零件才能找出缺陷,此方法則會得出不佳的結果。此方法的另一個缺點是其仰賴單一決策者。

在第 3 階段中,我們將探討最佳化階段。

第三階段:展開製造業中的深度學習專案 第3階段:最佳化

技術白皮書_VIDI深度學習技術部署指南_TW


了解更多
點擊 YuYou VisionPro Deep Learning 視覺產品 或透過 LINE 聯繫我們,探索更多機器視覺解決方案,提升您的生產流程!

line