| 1 |
1
각 단계의 적어도 일부가 프로세서에 의해 수행되는, 차량 시뮬레이터에 기반하여 객체 인식용 훈련 데이터를 자동으로 생성하는 방법으로서,시뮬레이션 환경 데이터에 기반하여 주행 시뮬레이션 환경을 제어하고, 상기 주행 시뮬레이션 환경에서 자차량을 주행하도록 차량 시뮬레이터를 제어하는 시뮬레이션 단계;주행 중인 상기 자차량의 주행 중 시야(field of view: FOV)를 기준으로 한 시뮬레이션 정보 데이터를 수집하는 데이터 추출 단계;상기 시뮬레이션 정보 데이터를 기반으로 상기 자차량의 주행 중 시야 내에 존재하는 적어도 하나의 객체의 2차원 바운딩 박스(bounding box)를 생성하는 2차원 바운딩 박스 생성 단계; 및상기 바운딩 박스에 기반하여 상기 객체의 객체 인식용 훈련 데이터 영상을 생성하는 훈련 데이터 생성 단계를 포함하는,객체 인식용 훈련 데이터 생성 방법
|
| 2 |
2
제 1 항에 있어서,상기 데이터 추출 단계는,상기 자차량에 가상으로 설치된 전방 카메라에서 촬영된 전방 영상을 획득하는 단계;상기 전방 영상에 존재하는 적어도 하나의 상기 객체에 대한 3차원 바운딩 박스를 획득하는 단계; 및상기 전방 영상의 시맨틱 분할 이미지를 획득하는 단계를 포함하는,객체 인식용 훈련 데이터 생성 방법
|
| 3 |
3
제 2 항에 있어서,상기 데이터 추출 단계는,상기 시뮬레이션 환경의 가상 세계의 중심이 원점인 월드 좌표계, 상기 자차량의 중심이 원점인 차량 좌표계 및 상기 전방 영상의 왼쪽 상단 모서리가 원점인 이미지 좌표계 정보를 획득하는 단계를 포함하는,객체 인식용 훈련 데이터 생성 방법
|
| 4 |
4
제 1 항에 있어서,상기 데이터 추출 단계는,기 설정한 주기에 따라 또는 사용자의 설정에 기반하여 발생하는 이벤트에 따라 상기 시뮬레이션 정보 데이터를 추출하는 단계를 포함하는,객체 인식용 훈련 데이터 생성 방법
|
| 5 |
5
제 3 항에 있어서,상기 2차원 바운딩 박스 생성 단계는,상기 3차원 바운딩 박스의 꼭지점 좌표를 상기 이미지 좌표계에 투영하는 단계;상기 이미지 좌표계에 투영된 3차원 바운딩 박스를 2차원 바운딩 박스로 변환하는 단계;상기 시맨틱 분할 이미지에 기반하여 가려진 객체의 2차원 바운딩 박스를 필터링하는 단계; 및상기 시맨틱 분할 이미지에 기반하여 상기 2차원 바운딩 박스에 대응하는 객체의 형태에 적합하게 상기 2차원 바운딩 박스의 형태를 변경하여 최종 바운딩 박스를 생성하는 단계를 포함하는,객체 인식용 훈련 데이터 생성 방법
|
| 6 |
6
제 5 항에 있어서,상기 이미지 좌표계에 투영하는 단계는,상기 월드 좌표계에서의 상기 자차량의 중심점을 기반으로, 상기 3차원 바운딩 박스의 꼭지점 좌표 각각에 변환 행렬을 적용하는 단계;상기 월드 좌표계에서의 상기 전방 카메라의 위치를 기반으로, z축이 상기 전방 카메라의 FOV 방향과 평행하도록 임시 3차원 카메라 좌표를 생성하는 단계; 및상기 전방 카메라의 FOV 및 이미지 해상도를 기반으로, 상기 임시 3차원 카메라 좌표의 각 꼭지점에 대해 원근 변환을 수행하는 단계를 포함하는,객체 인식용 훈련 데이터 생성 방법
|
| 7 |
7
제 6 항에 있어서,상기 2차원 바운딩 박스로 변환하는 단계는,상기 3차원 바운딩 박스의 각 꼭지점을 모두 포함하는 최소 크기의 2차원 바운딩 박스를 결정하는 단계를 포함하는,객체 인식용 훈련 데이터 생성 방법
|
| 8 |
8
제 7 항에 있어서,상기 데이터 추출 단계는, 상기 객체의 클래스 정보를 획득하는 단계를 더 포함하고,상기 바운딩 박스를 필터링하는 단계는, 상기 2차원 바운딩 박스, 상기 2차원 바운딩 박스에 대응하는 객체의 클래스 정보 및 시맨틱 분할 이미지를 기반으로 상기 2차원 바운딩 박스에 대응하는 객체의 가려짐 여부를 판단하는 단계를 포함하는,객체 인식용 훈련 데이터 생성 방법
|
| 9 |
9
제 8 항에 있어서,상기 2차원 바운딩 박스를 필터링하는 단계는,상기 이미지 좌표계 상에서 상기 2차원 바운딩 박스의 중심점 좌표를 획득하는 단계; 및상기 시맨틱 분할 이미지 상에서, 상기 중심점 좌표에 대응하는 클래스 정보가 상기 2차원 바운딩 박스에 대응하는 객체의 클래스와 동일한 것으로 판단되면, 상기 2차원 바운딩 박스에 대응하는 객체를 가려지지 않은 객체로 결정하는 단계를 포함하는,객체 인식용 훈련 데이터 생성 방법
|
| 10 |
10
제 8 항에 있어서,상기 최종 바운딩 박스를 생성하는 단계는,상기 시맨틱 분할 이미지 상에서, 상기 2차원 바운딩 박스의 각 경계가 상기 2차원 바운딩 박스의 객체의 클래스 분할 영역 내의 픽셀에 도달할 때까지 상기 2차원 바운딩 박스의 각 경계를 상기 중심점에 가까워지는 방향으로 이동시키는 단계를 포함하는,객체 인식용 훈련 데이터 생성 방법
|
| 11 |
11
제 1 항에 있어서,상기 차량 시뮬레이터를 제어하는 단계는,상기 자차량의 주행 속도를 동적으로 변화시키거나, 상기 주행 시뮬레이션 환경의 날씨 또는 주행 시각을 변화시키는 단계를 포함하는,객체 인식용 훈련 데이터 생성 방법
|
| 12 |
12
제 11 항에 있어서,상기 차량 시뮬레이터를 제어하는 단계는,상기 자차량의 상기 주행 속도에 기반하여 상기 시뮬레이션 정보 데이터를 수집하는 주기를 변경하는 단계를 포함하는,객체 인식용 훈련 데이터 생성 방법
|
| 13 |
13
차량 시뮬레이터에 기반하여 객체 인식용 훈련 데이터를 자동으로 생성하는 장치로서,메모리; 및상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,시뮬레이션 환경 데이터에 기반하여 주행 시뮬레이션 환경을 제어하고, 상기 주행 시뮬레이션 환경에서 자차량을 주행하도록 차량 시뮬레이터를 제어하는 시뮬레이션 동작,주행 중인 상기 자차량의 주행 중 시야(field of view: FOV)를 기준으로 한 시뮬레이션 정보 데이터를 수집하는 데이터 추출 동작,상기 시뮬레이션 정보 데이터를 기반으로 상기 자차량의 주행 중 시야 내에 존재하는 적어도 하나의 객체의 2차원 바운딩 박스(bounding box)를 생성하는 2차원 바운딩 박스 생성 동작, 및상기 바운딩 박스에 기반하여 상기 객체의 객체 인식용 훈련 데이터 영상을 생성하는 훈련 데이터 생성 동작을 수행하도록 설정되는,객체 인식용 훈련 데이터 생성 장치
|
| 14 |
14
제 13 항에 있어서,상기 데이터 추출 동작은,상기 자차량에 가상으로 설치된 전방 카메라에서 촬영된 전방 영상을 획득하는 동작,상기 전방 영상에 존재하는 적어도 하나의 상기 객체에 대한 3차원 바운딩 박스를 획득하는 동작,상기 전방 영상의 시맨틱 분할 이미지를 획득하는 동작, 및상기 시뮬레이션 환경의 가상 세계의 중심이 원점인 월드 좌표계, 상기 자차량의 중심이 원점인 차량 좌표계 및 상기 전방 영상의 왼쪽 상단 모서리가 원점인 이미지 좌표계 정보를 획득하는 동작을 포함하는,객체 인식용 훈련 데이터 생성 장치
|
| 15 |
15
제 14 항에 있어서,상기 2차원 바운딩 박스 생성 동작은,상기 3차원 바운딩 박스의 꼭지점 좌표를 상기 이미지 좌표계에 투영하는 동작,상기 이미지 좌표계에 투영된 3차원 바운딩 박스를 2차원 바운딩 박스로 변환하는 동작,상기 시맨틱 분할 이미지에 기반하여 가려진 객체의 2차원 바운딩 박스를 필터링하는 동작, 및상기 시맨틱 분할 이미지에 기반하여 상기 2차원 바운딩 박스에 대응하는 객체의 형태에 적합하게 상기 2차원 바운딩 박스의 형태를 변경하여 최종 바운딩 박스를 생성하는 동작을 포함하는,객체 인식용 훈련 데이터 생성 장치
|
| 16 |
16
제 15 항에 있어서,상기 이미지 좌표계에 투영하는 동작은,상기 월드 좌표계에서의 상기 자차량의 중심점을 기반으로, 상기 3차원 바운딩 박스의 꼭지점 좌표 각각에 변환 행렬을 적용하는 동작,상기 월드 좌표계에서의 상기 전방 카메라의 위치를 기반으로, z축이 상기 전방 카메라의 FOV 방향과 평행하도록 임시 3차원 카메라 좌표를 생성하는 동작, 및상기 전방 카메라의 FOV 및 이미지 해상도를 기반으로, 상기 임시 3차원 카메라 좌표의 각 꼭지점에 대해 원근 변환을 수행하는 동작을 포함하는,객체 인식용 훈련 데이터 생성 장치
|
| 17 |
17
제 16 항에 있어서,상기 2차원 바운딩 박스로 변환하는 동작은,상기 3차원 바운딩 박스의 각 꼭지점을 모두 포함하는 최소 크기의 2차원 바운딩 박스를 결정하는 동작을 포함하는,객체 인식용 훈련 데이터 생성 장치
|
| 18 |
18
제 17 항에 있어서,상기 데이터 추출 동작은, 상기 객체의 클래스 정보를 획득하는 동작을 더 포함하고,상기 바운딩 박스를 필터링하는 동작은, 상기 2차원 바운딩 박스, 상기 2차원 바운딩 박스에 대응하는 객체의 클래스 정보 및 시맨틱 분할 이미지를 기반으로 상기 2차원 바운딩 박스에 대응하는 객체의 가려짐 여부를 판단하는 동작을 포함하는,객체 인식용 훈련 데이터 생성 장치
|
| 19 |
19
제 18 항에 있어서,상기 최종 바운딩 박스를 생성하는 동작은,상기 시맨틱 분할 이미지 상에서, 상기 2차원 바운딩 박스의 각 경계가 상기 2차원 바운딩 박스의 객체의 클래스 분할 영역 내의 픽셀에 도달할 때까지 상기 2차원 바운딩 박스의 각 경계를 상기 중심점에 가까워지는 방향으로 이동시키는 동작을 포함하는,객체 인식용 훈련 데이터 생성 장치
|
| 20 |
20
주변 영상을 촬영하는 카메라;프로세서; 및상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가 상기 카메라에서 촬영된 영상을 입력 받고, 상기 영상을 객체 인식용 머신 러닝 기반의 학습 모델에 입력하여 인식된 객체의 정보를 출력하고, 인식된 상기 객체의 정보에 기반하여 차량을 제어하도록 야기하는 코드를 저장하고,상기 학습 모델은 차량 시뮬레이터에서 획득된 훈련 데이터 및 주행 차량의 카메라에서 실제로 촬영된 영상을 함께 훈련 데이터로 사용하여 훈련된 학습 모델인,차량
|
