| 1 |
1
기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치에 있어서,복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있는 트레이닝 데이터 저장부;상기 트레이닝 데이터 저장부에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성하는 모델 생성부;상기 꼭짓점 추출 모델이 생성된 이후, 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 좌표 예측부;상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성하는 좌표 변환부;상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 호모그래피 행렬(homography matrix)을 연산하는 행렬 연산부; 및상기 호모그래피 행렬이 연산되면, 상기 호모그래피 행렬에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환(perspective transformation)시키는 투영 변환부를 포함하는 전자 장치
|
| 2 |
2
제1항에 있어서,상기 행렬 연산부는하기의 수학식 1의 관계식을 만족하는 상기 호모그래피 행렬을 연산하는 전자 장치
|
| 3 |
3
제1항에 있어서,상기 모델 생성부는상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지에 대한 선택을 수행하는 선택 수행부;상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지로 제1 차량 번호판 이미지가 선택된 경우, 상기 트레이닝 데이터 저장부로부터 상기 제1 차량 번호판 이미지와 상기 제1 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 제1 좌표를 추출하여, 상기 제1 좌표를 구성하는 4개의 x좌표 값들과 4개의 y좌표 값들이 성분으로 구성된 8차원의 정답 벡터를 생성하는 트레이닝 셋 생성부;상기 제1 차량 번호판 이미지를 합성곱 신경망 - 상기 합성곱 신경망은 출력이 8차원의 벡터가 산출되도록 사전 구성되어 있음 - 에 입력으로 인가함으로써, 8차원의 출력 벡터를 생성하는 출력 벡터 생성부;상기 출력 벡터가 생성되면, 상기 출력 벡터의 상기 정답 벡터에 대한 근접도를 표상하는 제1 부분 손실 값을 연산하고, 상기 출력 벡터를 구성하는 성분을 상기 제1 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 제1 차량 번호판 이미지에 대한 출력 좌표를 생성한 후, 상기 출력 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제1 변환 이미지와 상기 제1 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제2 변환 이미지 사이의 화소 값들의 차이를 표상하는 제2 부분 손실 값을 연산하는 부분 손실 값 연산부;상기 제1 부분 손실 값과 상기 제2 부분 손실 값을 기초로 하기의 수학식 2의 연산에 따른 손실 값을 연산한 후 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행하는 학습 수행부; 및상기 선택 수행부, 상기 트레이닝 셋 생성부, 상기 출력 벡터 생성부, 상기 부분 손실 값 연산부 및 상기 학습 수행부의 동작이 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행되도록 제어하는 반복 수행 제어부를 포함하는 전자 장치
|
| 4 |
4
제3항에 있어서,상기 부분 손실 값 연산부는하기의 수학식 3의 연산에 따라 상기 제1 부분 손실 값을 연산하고, 하기의 수학식 4의 연산에 따라 상기 제2 부분 손실 값을 연산하는 전자 장치
|
| 5 |
5
제3항에 있어서,상기 좌표 예측부는상기 꼭짓점 추출 모델이 생성된 이후, 상기 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델의 기계학습이 완료된 상기 합성곱 신경망에 입력으로 인가하여 8차원의 예측 벡터를 산출하는 예측 벡터 산출부; 및상기 예측 벡터가 산출되면, 상기 예측 벡터를 구성하는 성분을 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 좌표 생성부를 포함하는 전자 장치
|
| 6 |
6
제1항에 있어서,상기 신규 차량 번호판 이미지가 직사각형의 형상으로 투영 변환이 완료되면, 직사각형의 형상을 갖는 상기 신규 차량 번호판 이미지를 사전 기계학습이 완료된 차량 번호 인식 모델에 입력으로 인가하여 차량 번호를 인식하는 차량 번호 인식부를 더 포함하는 전자 장치
|
| 7 |
7
기계학습 기반의 꼭짓점 추출과 호모그래피 행렬의 연산을 통해 기울어진 차량 번호판 이미지를 직사각형화시킬 수 있는 전자 장치의 동작 방법에 있어서,복수의 차량 번호판 이미지들과 상기 복수의 차량 번호판 이미지들 각각에 대응되는 4개의 꼭짓점들에 대한 2차원 좌표가 저장되어 있는 트레이닝 데이터 저장부를 유지하는 단계;상기 트레이닝 데이터 저장부에 저장되어 있는 상기 복수의 차량 번호판 이미지들 중 어느 하나의 차량 번호판 이미지와 그에 대응되는 2차원 좌표를 기초로 꼭짓점 추출 모델을 생성하기 위한 기계학습을 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행함으로써, 상기 꼭짓점 추출 모델을 생성하는 단계;상기 꼭짓점 추출 모델이 생성된 이후, 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델에 입력으로 인가하여 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 단계;상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표가 생성되면, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표 중 어느 하나인 제1 꼭짓점에 대한 예측 좌표를 기준 좌표를 지정한 후, 상기 기준 좌표를 기초로 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들이 직사각형을 구성하는 4개의 꼭짓점들로 변환되도록, 나머지 3개의 꼭짓점들에 대한 예측 좌표를 변화시킴으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 변환 좌표를 생성하는 단계;상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표와 각 예측 좌표에 대응되는 변환 좌표 간의 상관 관계에 기초하여 호모그래피 행렬(homography matrix)을 연산하는 단계; 및상기 호모그래피 행렬이 연산되면, 상기 호모그래피 행렬에 기초하여 상기 신규 차량 번호판 이미지를 직사각형의 형상으로 투영 변환(perspective transformation)시키는 단계를 포함하는 전자 장치의 동작 방법
|
| 8 |
8
제7항에 있어서,상기 호모그래피 행렬을 연산하는 단계는하기의 수학식 1의 관계식을 만족하는 상기 호모그래피 행렬을 연산하는 전자 장치의 동작 방법
|
| 9 |
9
제7항에 있어서,상기 꼭짓점 추출 모델을 생성하는 단계는상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지에 대한 선택을 수행하는 단계;상기 복수의 차량 번호판 이미지들 중 기계학습을 수행하기 위한 어느 하나의 차량 번호판 이미지로 제1 차량 번호판 이미지가 선택된 경우, 상기 트레이닝 데이터 저장부로부터 상기 제1 차량 번호판 이미지와 상기 제1 차량 번호판 이미지에 대응되는 4개의 꼭짓점들에 대한 제1 좌표를 추출하여, 상기 제1 좌표를 구성하는 4개의 x좌표 값들과 4개의 y좌표 값들이 성분으로 구성된 8차원의 정답 벡터를 생성하는 단계;상기 제1 차량 번호판 이미지를 합성곱 신경망 - 상기 합성곱 신경망은 출력이 8차원의 벡터가 산출되도록 사전 구성되어 있음 - 에 입력으로 인가함으로써, 8차원의 출력 벡터를 생성하는 단계;상기 출력 벡터가 생성되면, 상기 출력 벡터의 상기 정답 벡터에 대한 근접도를 표상하는 제1 부분 손실 값을 연산하고, 상기 출력 벡터를 구성하는 성분을 상기 제1 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 제1 차량 번호판 이미지에 대한 출력 좌표를 생성한 후, 상기 출력 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제1 변환 이미지와 상기 제1 좌표를 기초로 상기 제1 차량 번호판 이미지를 투영 변환시킬 경우에 생성되는 제2 변환 이미지 사이의 화소 값들의 차이를 표상하는 제2 부분 손실 값을 연산하는 단계;상기 제1 부분 손실 값과 상기 제2 부분 손실 값을 기초로 하기의 수학식 2의 연산에 따른 손실 값을 연산한 후 상기 손실 값이 최소가 되도록 상기 합성곱 신경망에 대한 기계학습을 수행하는 단계; 및상기 선택을 수행하는 단계, 상기 정답 벡터를 생성하는 단계, 상기 출력 벡터를 생성하는 단계, 상기 제2 부분 손실 값을 연산하는 단계 및 상기 기계학습을 수행하는 단계가 상기 복수의 차량 번호판 이미지들 각각에 대해 반복 수행되도록 제어하는 단계를 포함하는 전자 장치의 동작 방법
|
| 10 |
10
제9항에 있어서,상기 제2 부분 손실 값을 연산하는 단계는하기의 수학식 3의 연산에 따라 상기 제1 부분 손실 값을 연산하고, 하기의 수학식 4의 연산에 따라 상기 제2 부분 손실 값을 연산하는 전자 장치의 동작 방법
|
| 11 |
11
제9항에 있어서,상기 예측 좌표를 생성하는 단계는상기 꼭짓점 추출 모델이 생성된 이후, 상기 신규 차량 번호판 이미지가 입력되면, 상기 신규 차량 번호판 이미지를 상기 꼭짓점 추출 모델의 기계학습이 완료된 상기 합성곱 신경망에 입력으로 인가하여 8차원의 예측 벡터를 산출하는 단계; 및상기 예측 벡터가 산출되면, 상기 예측 벡터를 구성하는 성분을 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 x좌표 값과 y좌표 값으로 지정함으로써, 상기 신규 차량 번호판 이미지를 구성하는 4개의 꼭짓점들에 대한 예측 좌표를 생성하는 단계를 포함하는 전자 장치의 동작 방법
|
| 12 |
12
제7항에 있어서,상기 신규 차량 번호판 이미지가 직사각형의 형상으로 투영 변환이 완료되면, 직사각형의 형상을 갖는 상기 신규 차량 번호판 이미지를 사전 기계학습이 완료된 차량 번호 인식 모델에 입력으로 인가하여 차량 번호를 인식하는 단계를 더 포함하는 전자 장치의 동작 방법
|
| 13 |
13
제7항 내지 제12항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
|
| 14 |
14
제7항 내지 제12항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램
|
