在製造業場景中展開深度學習專案的最終階段中,一旦系統在測試環境中的表現良好後,團隊則必須進行工廠驗收測試(FAT)程序。
在 FAT 階段,視覺系統和人工檢測人員將繼續把零件分為合格或不合格,而且專家會審查任何不明確的地方並貼上正確的標籤。接著會追蹤所有統計資料,以協助判斷人工與視覺系統的表現。
統計與再現性測試
深度學習系統導入工廠現場進行驗收測試後,團隊應進行統計測試,而此工作包括長時間收集數以千個資料點,以擷取完整的缺陷類型範圍與頻率。此方法可以結合人工檢測驗證,以協助計算準確的專案 ROI。其實這是讓深度學習系統與人工檢測流程並行,並在一個月後收集影像並比較結果。任何不明確或不一致之處之後便會交由指派的專家進行正確的判定,以產生準確的統計資料。
此測試方法可讓團隊對多個步驟的檢測進行端對端驗證、對零件與缺陷類型進行複合測試、進行成本測量,以及準確的 ROI 計算。唯一的缺點是統計測試需要具有代表性的龐大資料集,但這並非一蹴可及。除此之外,成像、產品外觀或真實狀況標籤的改變也會讓耗費數週或數月收集的資料化為烏有,因此必須將此謹記在心。
統計測試的樣品結果
最後,再現性測試並無法代表真實缺陷分布或真實缺陷外觀,因而讓公司無法取得準確的誤判、漏判及 ROI 預估值。如果您被迫部署再現性測試方法,請謹記這點。
加入檢測層
另一種常在 FAT 階段部署的方法是兩層式檢測。深度學習系統此時負責執行第一次檢測,然後將任何不確定之處交由人工檢測人員進行第二次檢查。如此即可降低誤報情況與偽陰性。取得的結果也可改善深度學習訓練流程。
每當落入不明確類別的零件可以重工時,兩層式方法可讓公司減少漏判與誤判。此外,此方法可限縮不合格零件生產,協助減少廢料產生,同時提升整體系統信賴度,進而節省人工成本,並找出可加入訓練組合的高難度零件影像,進行持續改善。
在兩層式檢測中,得分在「灰色區域」閾值或中間階段的零件,便會轉交由人工檢測人員進行進一步分析。
持續改善
即便取得正向的 FAT 結果,深度學習團隊也須收集資料並將資料加入訓練組和,持續改善系統。此筆資料包括合格零件、不合格零件、處於模糊界線的零件和任何新零件變異的影像,以及視覺系統與人工檢測人員之間的差異。團隊成員可以手動選取這些影像,並將影像加入至訓練組合,以驗證新模型。由於此系統可以更容易適應隨著時間產生的變異,例如因照明變更、零件處理調整及新元件等導致的變異,因此團隊可以透過此方式,成功達成目標。每當包含罕見缺陷的新影像可用時,團隊應將這些影響加入系統,以便進一步微調系統。
製造公司進行所有專案階段時,包括初期規劃、資料收集及建立真實狀況、最佳化與 FAT 時,深度學習系統都能帶來巨大價值。但工作並不僅於此。團隊必須持續收集資料並改善模型。隨著時間進展,最終結果會越來越好。
技術白皮書_如何驗證深度學習系統_TW
Cognex VisionPro Deep Learning