| 1 |
1
동력을 이용하여 부품을 체결하는 체결공구 시스템에 있어서,체결공구에 장착되어 부품의 체결부위를 촬영하는 카메라부;거리측정센서를 통해 측정된 상기 체결부위와의 거리가 일정 거리 이내이면 상기 카메라부에서 촬영된 영상을 입력하는 영상 입력부;무선통신수단을 통해 외부와 데이터를 송수신하는 통신부; 및상기 카메라부의 입력영상에 대한 기계학습 알고리즘 기반 영상분류작업을 통해 상기 체결부위를 인식하고, 인식된 상기 체결부위에 매칭된 토크 값을 설정하는 체결부위 판단부;를 포함하는 체결공구 시스템
|
| 2 |
2
제1항에 있어서,상기 카메라부는 적외선 광원을 포함하는 NIR(near infrared)카메라로 구성되는 체결공구 시스템
|
| 3 |
3
제1항에 있어서,상기 거리측정센서는 상기 카메라부에서 촬영되는 영상의 중심에 레이저 포인트를 조사하도록 위치가 세팅되는 체결공구 시스템
|
| 4 |
4
제1항에 있어서,상기 체결부위 판단부는 CNN(Convolutional Neural Network) 알고리즘 기반으로 학습된 차량사양정보에 따른 부품의 체결부위별 대표 모델 영상이 설정된 체결학습 데이터를 활용하여 상기 영상분류작업을 실시하는 체결공구 시스템
|
| 5 |
5
제4항에 있어서,상기 체결부위 판단부는 상기 입력영상을 상기 영상분류작업에 활용하기 위한 전처리 작업으로써, 다양한 각도를 갖는 상기 입력영상을 상기 대표 모델 영상과 정합시키는 영상 회전 정합 작업;히스토그램 평활화(Histogram equalization) 작업을 통해 상기 입력영상의 밝기를 보정하는 작업; 및 상기 입력영상에 존재하는 공구 소켓 영상을 마스킹 처리하는 공구 마스킹 작업;을 수행하는 체결공구 시스템
|
| 6 |
6
제5항에 있어서,상기 영상 회전 정합 작업은 상기 입력영상의 중심을 기준으로 원형의 외곽부를 마스킹 처리하고, HOG(histogram of gradient) 알고리즘을 이용한 상기 입력영상의 지역별 기울기 분포의 통계치에 따른 기울기 각도를 계산한 후 상기 기울기 각도를 상기 대표 모델 영상의 각도를 기준으로 회전하여 정합시키는 과정을 포함하는 체결공구 시스템
|
| 7 |
7
제6항에 있어서,상기 체결부위 판단부는 상기 입력영상의 기울기 각도를 고려하여 복수로 지정된 대표 모델 영상 중 가까운 방향으로 회전하여 정합 시키는 체결공구 시스템
|
| 8 |
8
제5항에 있어서,상기 체결부위 판단부는 상기 전처리 작업이 완료된 동일한 체결부위의 비디오 입력영상에 대하여 CNN 알고리즘의 모델 영상을 이용한 영상분류작업을 통해 추론과정을 거쳐 체결부위를 추정하는 체결공구 시스템
|
| 9 |
9
제8항에 있어서,상기 체결부위 판단부는 상기 추론과정에서 상기 비디오 입력영상에 대하여 연속적으로 출력되는 체결부위의 클래스(class) 확률 값 중에서 가장 높은 확률 값을 갖는 클래스의 체결부위를 선택하고, 선택된 확률 값이 기준비율을 초과하면 상기 토크 값을 가변 설정하는 체결공구 시스템
|
| 10 |
10
제5항에 있어서,상기 체결부위 판단부는 체결공구에 장착된 디스플레이를 통해 상기 체결부위의 정보와 토크 값을 출력하는 체결공구 시스템
|
| 11 |
11
제5항에 있어서,상기 체결부위 판단부는 상기 카메라부를 통해 획득된 차량의 바코드나 큐알 코드 영상에서 차량사양정보를 인식하는 태그 인식프로그램을 포함하는 체결공구 시스템
|
| 12 |
12
제1항 내지 제11항 중 어느 한 항에 있어서,사전에 다양한 부품의 체결부위에 대한 학습데이터를 구축하고 CNN 알고리즘을 통해 학습하여 상기 체결학습 데이터를 생성하는 체결부위 학습 서버; 및상기 체결부위 학습 서버와 연동하여 상기 부품의 체결부위를 코드화하고, 상기 체결부위의 코드에 토크 값이 매칭된 상기 체결학습 데이터를 상기 체결공구로 전송하는 공구 제어기;를 더 포함하는 체결공구 시스템
|
| 13 |
13
제12항에 있어서,상기 체결부위 학습 서버는 동일한 체결부위에 대하여 다양한 회전각도에서 촬영된 영상 중 2가지 회전방향에 대한 두 개의 대표 모델 영상이 180도 간격으로 지정된 회전 정합 알고리즘을 생성하는 체결부위 학습부; 및상기 체결학습 데이터의 체결부위의 코드 정보에 토크 값을 매칭하여 저장하는 데이터베이스;를 포함하는 체결공구 시스템
|
| 14 |
14
제13항에 있어서,상기 체결부위 학습부는 상기 두 개의 대표 모델 영상의 각도를 기준으로 학습된 모델 영상을 생성하여 상기 CNN 알고리즘 기반의 체결학습 데이터에 적용하고, 추가 학습을 통해 업데이트하는 체결공구 시스템
|
| 15 |
15
제12항에 있어서,상기 공구 제어기는 상기 체결공구로부터 체결작업 이력 데이터에서 수신하여 상기 체결부위의 영상분류작업 실패하거나 상기 영상분류작업에 성공한 체결부위의 추론 시의 확률 값이 상한 기준 비율 미만으로 낮으면 추가 학습데이터로 누적한 후 상기 체결부위 학습 서버로 전송하는 체결공구 시스템
|
| 16 |
16
동력을 이용하여 부품을 체결하는 체결공구의 제어 방법에 있어서,a) 체결공구에 장착된 카메라부를 통해 부품의 체결부위를 촬영하는 단계;b) 상기 카메라부에서 촬영된 입력영상을 회전하여 소정 대표 모델 영상과 정합시키는 전처리 작업 단계;c) 상기 전처리 작업이 완료된 동일한 체결부위의 상기 입력영상에 대하여 CNN 알고리즘 기반의 영상분류작업을 통한 추론과정을 거쳐 상기 체결부위를 추정하는 단계; 및d) 상기 체결부위의 추론 시 확률 값이 설정된 기준 비율을 초과하면 인식에 성공한 것으로 판단하고, 인식된 상기 체결부위에 매칭된 토크 값을 설정하는 단계;를 포함하는 체결공구의 제어 방법
|
| 17 |
17
제16항에 있어서,상기 전처리 작업 단계는 상기 입력영상의 중심을 기준으로 원형의 외곽부를 마스킹 처리하는 단계;HOG(histogram of gradient) 알고리즘을 이용한 상기 입력영상의 지역별 기울기 분포의 통계치에 따른 기울기 각도를 계산하는 단계; 및상기 기울기 각도를 상기 대표 모델 영상의 각도를 기준으로 회전하여 정합시키는 영상 회전 정합 단계;를 포함하는 체결공구의 제어 방법
|
| 18 |
18
제16항 또는 제17항에 있어서,상기 전처리 작업 단계는 히스토그램 평활화(Histogram equalization) 작업을 통해 상기 입력영상의 밝기를 보정하는 영상 밝기 보정 단계; 및 상기 입력영상에 존재하는 공구 소켓 영상을 마스킹 처리하는 공구 영상 마스킹 단계;를 더 포함하는 체결공구의 제어 방법
|
| 19 |
19
제16항에 있어서,상기 c) 단계는,상기 추론과정에서 입력영상에의 이전 프레임에서 출력된 확률 값을 누적 후 평균화하고, 상기 입력영상에 대하여 연속적으로 출력되는 체결부위의 클래스와 그 확률 값 중에서 가장 높은 확률 값을 갖는 클래스(class)의 체결부위를 선택하는 단계를 포함하는 체결공구의 제어 방법
|
| 20 |
20
제19항에 있어서,상기 d) 단계는,상기 확률 값이 설정된 기준 비율 이하로 낮아 수동으로 토크 값이 설정된 경우 체결작업 직전에 일정 시간 동안 촬영된 영상을 추가 학습데이터로 저장하는 단계를 포함하는 체결공구의 제어 방법
|
