深度學習技術可協助製造商,偵測逐漸損害電子元件品質之有缺陷的焊接點。
焊接點連接零件以及讓電流流動,是電氣裝置效能的關鍵。有缺陷的焊接點會縮短電子元件的有效期,導致大量退貨或維修,進而損及製造商的商譽。’在製造階段偵測出更多缺陷,可減少召回與修改的成本。
人類雖然能夠偵測有缺陷的焊接點,但是能力不一致,可用的工作時間也有限。人類無法無時無刻盯著每個焊接點。’相對地,將偵測焊接點的過程自動化,在製程顯現出上游問題,可以找出更多缺陷並降低修改成本。因此,相較於單靠人工檢測人員,自動化擁有可觀的優勢。
深度學習運用軟體演算法與統計建模,模仿人腦的運作方式。演算法會建立經最佳化的神經網路,辨識異常狀況,區別好結果與壞結果。在時間與資料足夠的情況下,這類網路可以自行學習如何改善效能。
但製造商為什麼應該部署深度學習應用程式來檢測焊接點? 為什麼不使用傳統機器視覺系統檢測焊接點? 多半是因為焊接金屬本質上都是模棱兩可的三維物體。沒有形狀或尺寸一模一樣的焊接金屬。
(由左到右,不同類型的焊接點:針腳至針腳、束線至針腳/墊子、束線至束線)
規則型機器視覺系統,利用軟體識別數位影像上的特定細節 — 例如引擎本體上的序號或是鋼製元件的邊緣。元件特性差不多時效果尤佳。
若為焊接點,每個金屬塊的尺寸都略有差異。這樣一來,若要為了檢測用於組裝線的大量焊接點,建立規則型機器視覺系統的過程便極其複雜。
深度學習檢測應用程式透過比較有缺陷焊接點的影像和沒有缺陷焊接點的影像,克服了這項挑戰。一組影像會訓練神經網路,掃描是否有已知的缺陷,而另一組驗證影像則提供了比較基準。
(良好的焊接點)
(有問題的焊接點,由左至右:孔蝕、尺寸過小、尺寸過大)
下載白皮書:在焊接點應用使用深度學習
VisionPro 深度學習如何在焊接點檢測運作
Cognex 開發了 VisionPro® Deep Learning 軟體工具套組,簡化將焊接點檢測這類製程自動化的過程。VisionPro Deep Learning 有兩種核心工具,非常適合焊接點檢測應用:
♦ Red Analyze 工具可識別缺陷,然後您便可將缺陷從製程排除
♦ Green Classify 工具會建立缺陷類別,協助您從檢測點改善上游製程品質和準確度。
使用 Red Analyze 工具
Red Analyze 工具可在焊接點數位影像找到異常。使用者可以決定何謂正確影像,標記任何與正確影像偏差的地方。一組影像會訓練神經網路辨識有缺陷的焊接點。第二組驗證影像則不會提供給訓練資料庫。這些驗證影像可協助軟體建立好壞焊接點的「真实结果」。
Red Analyze 工具有兩種訓練模式:
♦ 監督:在監督模式(如上所述),使用者拍下焊接的照片、縮小缺陷或異常範圍、記錄每種缺陷,然後為缺陷标注,告知軟體「這是缺陷」。
♦ 非監督。在非監督模式,使用者先從沒有缺陷或異常的影像開始,然後將它標為「好」。凡是與這個基礎有出入的影像,都會被假設為可以找到缺陷。
這些模式的標籤會為 VisionPro Deep Learning 內的神經網路產生訓練影像。檢查時,軟體會分析生產線上焊接的影像。深度學習網路會比較這張線上生產影像和訓練過的驗證影像,判斷焊接處是否通過檢測。
使用 Green Classify 工具
Green Classify 工具會建立缺陷或異常類別,用於診斷生產線上游問題。舉例來說,過於扁平或奇形怪狀的焊接處,可能顯示焊接機器故障。有了分類工具,使用者可標記這些瑕疵,並且指示檢測系統標記缺陷,然後向機器操作人員通知錯誤。
Green Classify 跟 Red Analyze 工具一樣,也有兩種訓練模式:
♦ 場景分類。有了場景分類,使用者可以將影像標示為好影像或有問題的影像,然後新增標記,記錄孔蝕或形狀不恰當這類缺陷。
♦ 個別缺陷分類。透過個別分類,使用者從 Red Analyze 工具取得影像和結果資料,然後利用它分類特定缺陷或缺陷區。
(場景流程和個別缺陷分類)
使用者分類影像後,神經網路會將類別與驗證影像比較,然後回傳正確的缺陷類型。
Red Analyze 與 Green Classify 工具通常會依序使用。首先,Red Analyze 偵測到現有缺陷或異常,然後 Green Classify 會評估異常,判斷缺陷類型。產生的輸出會提供給線上控制員,由他們決定如何處理有缺陷的產品。
提高深度學習應用成功機率的 3 個決定
適時做出正確的決定,有助於確保深度學習在焊接點應用的成功率。有三項舉足輕重的決定:
1. 衡量投資報酬率
將焊接點檢測自動化產生的益處必須超過成本。應用深度學習時,必須投資軟體、支付薪水,以及購買設備。此外,建立、測試和實作系統所需要的時間會產生成本。投資自動化應該能省錢,或者至少以相同的價格締造更優異的效能。
另外,將檢測自動化還能產生寶貴的結果,但締造的投資報酬可能未必顯而易見,例如:
♦ 持續學習。深度神經網路經訓練的影像越多,一段時間之後也越準確。
♦ 程序文件記錄。輕鬆編制及分享檢測品質報告。
2. 準確複製生產環境
用於深度學習的工業自動化攝影機需要更適當的照明與定位,才能獲得焊接點的所有關鍵資料。若是控制數位影像的眩光及限制陰影,偵測缺陷更容易。如果肉眼看不到焊接處的某樣東西,那麼深度學習應用程式也看不到。
深度學習應用程式從實驗室開始開發,接著移至廠房繼續開發。當然,在實驗室中完全複製生產環境幾乎是不可能的任務。因此,使用者希望將應用程式帶到實驗室以外的地方,儘可能以務實的方式在生產環境中測試應用程式。深度學習系統可以從生產線獲得新資料,提高檢測品質。
3. 讓標記簡單又準確
為檢測焊接點開發深度學習應用程式,需要小心記錄常見缺陷,例如孔蝕或畸形的焊接處。數十張影像以及或許上百個標記的這些瑕疵,每個都必須標記準確一致。
標記階段中完成之工作的品質,會影響之後的所有結果。因此,開發人員需要準確、一致、直覺且易懂的標記系統,正如 VisionPro Deep Learning 軟體中的使用者介面。
深度學習技術很適合本質模稜兩可的學習技術。焊接點就跟指紋和雪花一樣,不可能一模一樣,因此非常適合深度學習型解決方案。然而,在深度學習系統投資資源之前,製造商必須先考慮三項重要因素:投資報酬率、複製準確測試用的生產環境,以及標記訓練影像的簡易程度。
幸好康耐視提供的解決方案 – VisionPro Deep Learning 軟體,解決了這一切問題。軟體內的 Red Analyze 與 Green Classify 工具會先偵測缺陷再分類,確保元件完整無缺。若在焊接點應用程式實作這個軟體,可讓製造商在生產流及早識別缺陷,進而預防造成重大損失的修改、提供更高的品質,並且讓客戶對您的產品產生信心。
Cognex VisionPro Deep Learning