세이지리서치의 미션: Inspection Done Right

 

모든 제조업 현장에서는 생산된 제품의 하자 여부를 검사하는 공정을 반드시 거칩니다. 이 공정을 ‘QC (quality control) 공정’이라 칭하는데, 기계가 아닌 사람의 손에 이루어지는 게 대부분입니다. 많은 제조업 분야에서 QC 공정을 자동화하기 위해 노력하고 있으나, 현재 기술로는 쉽지 않은 상황이며 특히 제품의 외관을 검사하는 일은 더더욱 사람의 손이 필요합니다. 외관에 발생하는 결함은 종류가 매우 다양할 뿐만 아니라 비슷한 유형의 결함이라도 발생하는 형태가 각각 다르기 때문입니다. 이에 제조업 현장에서는 외관 검사에 룰 기반 머신비전 시스템 도입을 통해 QC 공정 자동화하고자 오랜 시간 검토 중입니다. 하지만 아직도 뚜렷한 해결책을 찾지 못하고 있는 상황입니다.

세이지리서치가 추구하는 미션은 제조업 현장에서의 QC 공정을 머신러닝/딥러닝 기술을 통해 고도화 및 자동화하는 것입니다. 그중에서도 사람의 손을 필수적으로 거쳐야만 하는 작업인 비전 기반 QC 공정의 고도화를 최우선 목표로 삼고 있습니다. 그렇다면 현재 세이지리서치는 제조업에서 발생하는 문제들을 어떤 기술로 해결하고 있을까요?

 

 

 

제품의 외관 결함 검사 – SaigeVision

 

제조업에서 수행하는 비전 기반 QC 문제 중 하나는 제품 외관에 발생한 결함을 검사하는 것입니다. 세이지리서치에서는 제품 외관 결함 검사 공정에서 나타나는 다양한 문제들을 해결하기 위해 여러 기술을 개발하고, 실제 생산라인에 적용하고 있습니다.

 

제품 외관 결함 검사의 근본적인 어려움

제품의 외관 결함을 검사하는 일은 기존 룰 기반 머신비전 알고리즘뿐만 아니라 사람도 쉽게 풀 수 없는 문제입니다. 이는 제조 공정 자체가 지닌 복잡성과 어려움 때문입니다. 특히 1. 결함의 종류가 많고, 2. 결함 및 배경의 형상이 비정형이며, 3. 제품 특성 및 제조 환경 문제로 빛 반사와 왜곡이 보이기 때문에 특히 더 어렵다고 말할 수 있습니다.

위 문제뿐만 아니라 제조업 결함을 검사하는 일은 매우 빠른 검사 속도와 높은 검사 정확도를 요구하므로 다른 도메인에 비해 자동화가 더 어렵다는 단점이 있습니다. 세이지리서치는 제조업 외관 검사 문제에 특화된 딥러닝 기반 이미지 기술(classification, object detection, sementic segmentation)을 지속해서 개발하는 동시에 실제 산업에도 적용하고 있습니다. 세이지리서치에서 연구하고 있는 대표적인 키워드는 아래와 같습니다.

• 빠른 학습 속도 및 높은 검사 정확도 – Transfer learning
• 빠른 검사 속도 – 딥러닝 모델 경량화
• 다양한 제조 환경에 대응 – Augmentation, Robustness, Generalization Performance

 

 

부족한 결함 데이터

제조 공정에서는 결함 데이터가 매우 적게 발생하는데 이는 딥러닝 학습에 필요한 데이터가 부족하다는 것을 의미합니다. 그래서 기존에는 제조업 외관 검사에 딥러닝을 적용하기 위해서는 결함 데이터가 충분히 모일 때까지 기다려야만 하는 번거로움이 있었습니다. 세이지리서치에서는 결함 데이터 부족 문제가 제조업에 딥러닝을 적용하는 데에 큰 장애물 중 하나라고 판단하여, 이를 해결할 수 있는 기술인 가상 결함 이미지 생성 기술 개발에 성공했습니다.

일반적으로 GAN (generative adversarial network) 기반의 이미지 생성 기술은 학습이 쉽지 않고, 결함과 같은 작은 형상은 생성이 어렵다고 알려져 있습니다. 그러나 세이지리서치는 다양한 산업의 다양한 제품에서 발생하는 결함을 학습 및 생성할 수 있도록 GAN 알고리즘을 개선하였습니다. 이를 ‘가상 결함 생성 기술’이라고 말하며, 이 기술을 통해 만들어진 결함 데이터는 외관 검사의 학습 데이터로 사용되어 실제 결함 데이터가 부족한 공정에 적용되고 있습니다.

 

 

라벨링의 어려움 및 새로운 결함에 대한 대응

제조업 현장에 딥러닝을 적용하는 데 걸림돌이 되는 장애물 중 하나는 딥러닝 학습을 위한 라벨링이 매우 힘들다는 것입니다. 딥러닝을 제조 공정에 성공적으로 적용하기 위해서는 새롭게 발생하는 결함 데이터들을 라벨링 하여 주기적으로 그리고 지속해서 학습해줘야 합니다. 하지만 높은 해상도(> 5M pixels)의 제조업 이미지 데이터 수천, 수만 장에서 결함을 찾아 라벨링 하는 것은 매우 어려운 작업입니다. 더불어 학습하지 않은 결함에 대한 대응이 되지 않는다는 점도 일반적인 딥러닝 외관 검사의 또 다른 한계점이라 말할 수 있습니다.

세이지리서치에서는 이러한 딥러닝 적용의 문제점을 해결하기 위해 Anomaly Detection이라는 기술을 개발하였습니다. 이 기술은 학습 과정에서 정상 데이터만으로 정상 데이터의 특징들을 학습한 후 검사 과정에서 정상과 다른 점들을 모두 찾아내는 기술입니다.

세이지리서치는 이와 같은 Anomaly Detection 기술을 이용하여 다음과 같은 제조업 딥러닝 적용 이슈들을 해결하고 있습니다.

1. 라벨링 과정에서 Anomaly Detection을 적용하여 수천 장의 정상 데이터 사이에 숨어 있는 결함들을 라벨러에게 찾아줍니다. 이를 통해 라벨링에 드는 인력을 최소화할 수 있습니다.
2. 기존 딥러닝 기반 외관 결함 검사 결과와 Anomaly Detection 결과를 종합적으로 적용해 기존에 학습한 결함은 물론 예상치 못한 신규 결함까지 찾아낼 수 있습니다.

 

 

운영의 어려움

아무리 관리가 잘 되는 공정이라 할지라도 제조 환경은 시시각각 끊임없이 변화합니다. 공정에서 취득되는 데이터의 특성 역시 마찬가지입니다. 일례로 장비에 설치된 조명의 노후화로 데이터의 색감이 달라질 수도 있고, 카메라 초점이 안 맞아 블러 현상이 발생할 가능성도 존재합니다. 이는 아무리 데이터를 잘 모으고 라벨링을 잘하여 좋은 학습 모델을 만들었다고 해도 동일한 딥러닝 모델로 검사를 지속해서 수행할 수 없고, 주기적으로 데이터를 모아 재학습하는 과정이 꼭 필요하다는 걸 의미합니다. 하지만 이 과정에서 현재 적용되고 있는 딥러닝 모델이 제대로 작동하고 있는지, 문제가 발생할 여지는 없는지 공정 엔지니어가 현장에서 계속 모니터링을 해야 합니다. 이처럼 사람의 노동력이 반드시 투입되어야 하다 보니 자동화에 대한 효용성은 떨어질 수밖에 없습니다.

세이지리서치에서는 이런 단점을 해소하기 위한 첫 번째 단계로 현재 검사에 적용되고 있는 딥러닝 모델에 대한 신뢰도를 사용자에게 알려주는 기술을 개발하였습니다. 현재 딥러닝 모델이 검사하고 있는 데이터의 특성이 학습 단계와 비교했을 때 얼마나 다른지를 딥러닝 검사의 신뢰도라는 수치로 정의합니다. 신뢰도가 일정 수준 이하로 떨어지면 사용자에게 보고됩니다. 이 기술이 공정에 적용될 경우 공정 엔지니어는 검사 결과를 24시간 지켜볼 필요 없이 시스템에서 신뢰도 경고할 때만 확인하면 되기 때문에 운영상에서 겪을 수 있는 많은 어려움이 해소될 수 있습니다.

 

 

 

제조 공정의 이상 감지 – SaigeVAD

 

SaigeVision으로 수행하는 외관 검사는 여러 공정을 거친 후, 제조된 최종 제품의 결함에 대한 검사입니다. 제조 공정의 QC 작업을 고도화시키기 위해서는 최종 결과물에 결함이 있는지 없는지 검사하는 것도 중요하나, 해당 결함이 발생한 원인 공정을 찾아내는 것도 중요합니다. 세이지리서치에서는 이러한 목표를 달성하기 위해 제조 공정을 24시간 모니터링함으로써 이상 동작을 감지할 수 있는 VAD (video anomaly detection) 기술을 개발하였습니다. SaigeVAD는 공정의 정상 동작 영상을 학습하여 실제 제조 공정에서 정상과 다른 임의의 이상 동작을 검출하는 기술입니다. SaigeVAD는 공정 영상에서 설정된 원하는 영역(region of interest, ROI)을 실시간으로 검사해서 이상 동작이 발생했을 때 해당 구간의 결함 score와 결함 여부를 사용자에게 알려줍니다.

 

 

 

 

SaigeVAD 역시 SaigeVision과 마찬가지로 매우 다양하게 변화하는 제조 환경에 적용되는 기술이며 아래와 같은 특성을 보입니다.

 

 

실시간 환경 변화 대응

실제 현장에서의 공정 영상 내에는 촬영 환경이 바뀌는 경우가 빈번하게 발생합니다. 대표적으로 공정에 설치된 조명 세팅이 변화하는 경우를 예로 들 수 있습니다. SaigeVAD는 공정을 검사하며 실시간으로 환경 변화를 학습하게 합니다. 이를 통해 더 이상 동작이 아닌 단순한 환경 변화의 영향을 상쇄시킴으로써 재학습 없이 검사를 수행할 수 있습니다.

 

 

실시간 카메라 변화 대응

자동화 공정 현장에서는 유지보수 작업으로 인해 감시 카메라의 위치를 변경해야 하는 경우가 종종 발생합니다. 이때, 사용자가 설정한 검사 영역(ROI)이 부적절한 위치에 놓이게 되고, 이는 결함 검사 알고리즘의 성능을 떨어뜨립니다. SaigeVAD는 실시간으로 카메라의 이동을 감지하고 기존 ROI 영역으로 조정해주는 기술을 탑재해서 카메라 변화가 발생할지라도 재학습하는 번거로움 없이 검사를 수행할 수 있습니다.

 

 

 

제품의 제조 코드 인식 및 데이터베이스화 – SaigeOCR

 

제조업에서 생산되는 모든 제품은 고유의 일련번호를 가지고 있으며 이 번호를 기반으로 제조 공정이 관리됩니다. 따라서 제조 공정 QC 고도화를 위해 세이지리서치에서 집중하고 있는 마지막 기술은 OCR (Optical character recognition)입니다. 세이지리서치는 OCR 기술을 실제 제조 공정에 성공적으로 적용하고자 다양한 촬영 환경에 강건한 OCR 기술, 주요 문자데이터를 추출하여 정형화할 수 있는 OCR 기술을 SaigeOCR에 탑재했습니다.

 

다양한 촬영 환경에 대응

위에서 언급했듯 실제 제조 공정에서 촬영되는 데이터에는 다양한 빛 반사와 틀어짐이 생길 수 있습니다. 또한, 제품이 항상 정렬되어 들어오는 것이 아니므로 이미지상에 존재하는 제품이 왜곡되어 있을 수 있습니다. OCR 기술은 제품상에 있는 작은 문자들을 인식해야 하므로 이러한 공정상의 노이즈는 OCR 기술에서 더 민감하게 다뤄져야 합니다. SaigeOCR은 제조 환경에서 발생하는 외관의 빛 번짐 현상을 시뮬레이션하는 이미지 처리 기법을 학습 과정에 적용함으로써 다양한 조명 환경에서도 문자를 정확하게 인식할 수 있게 하였습니다. 그뿐만 아니라 학습 과정에서 다양한 형상의 글씨체를 생성하여 학습함으로써 작은 글씨체 변화도 놓치지 않고 인식할 수 있습니다.

만약 제품이 틀어져서 촬영되더라도 제품상에 존재하는 텍스트 영역의 기하학적 정보(휘어짐, 기울기 등)를 자동으로 추출, 이를 기반으로 텍스트를 정방향으로 정렬하여 인식률을 높이는 기술을 개발하여 적용하고 있습니다.

 

 

주요 문자 데이터 추출 및 정형화

OCR 기술로 제품상에 있는 모든 문자를 인식할 수 있습니다. 하지만 제품상에 있는 문자열 데이터로 공정을 관리하기 위해서는 공정 관리에 주요한 정보들을 별도로 추출하고 정형화하는 과정이 추가로 필요합니다. SaigeOCR은 transformer 기반의 주요 문자데이터 추출 및 정형화 기술을 탑재하여 사용자가 원하는 정보를 원하는 형태로 정형화할 수 있는 기능을 제공하고 있습니다.

 

 

 

마치며

 

세이지리서치가 제조 공정 QC 고도화를 위해 어떤 문제를 풀고 있는지, 어떤 기술을 개발하고 있는지에 대해 소개해드렸습니다. 다음 게시글부터는 세이지리서치에서 개발하는 각 기술에 대한 구체적인 내용을 다뤄볼 계획이니 많은 관심 부탁드립니다.