| 1 |
1
입력 이미지 데이터를 수신하는 입력부; 및 상기 입력 이미지 데이터로부터 깊이 지도(depth map) 및 의미론적 분할 지도(semantic segmentation map)를 생성하는 분석부를 포함하고, 상기 분석부는,상기 입력 이미지 데이터로부터 특징 정보를 추출하는 인코더를 포함하는 인코더부;상기 인코더의 특징 정보를 기초로 깊이 특징 정보를 생성하는 제 1 병목 모듈(bottleneck module), 상기 인코더의 특징 정보를 기초로 의미론적 분할 특징 정보를 생성하는 제 2 병목 모듈 및 상기 인코더의 특징 정보를 기초로 재구성 특징 정보를 생성하는 제 3 병목 모듈을 포함하는 병목부;상기 병목부로부터 수신한 깊이 특징 정보와 의미론적 분할 특징 정보 간 상관 관계(task correlation)를 계산하기 위한 제 1 어텐션 모듈(attention module), 깊이 특징 정보와 재구성 특징 정보 간 상관 관계를 계산하기 위한 제 2 어텐션 모듈 및 의미론적 분할 특징 정보와 재구성 특징 정보 간 상관 관계를 계산하기 위한 제 3 어텐션 모듈을 포함하는 어텐션부; 및상기 병목부에서 수신한 특징 정보들 및 상기 어텐션부에서 수신한 테스크 상관 관계들 중 적어도 둘 이상의 조합을 이용하여 깊이 지도를 생성하는 깊이 지도 디코더, 의미론적 분할 지도를 생성하는 의미론적 분할 지도 디코더 및 깊이 도메인, 의미론적 분할 도메인 및 입력 이미지 도메인 각각의 재구성을 위한 재구성 디코더들을 포함하는 재구성부를 포함하며,상기 분석부는,레이블이 부여된 깊이 도메인 학습 데이터, 레이블이 부여된 의미론적 분할 도메인 학습 데이터 및 레이블이 부여되지 않은 입력 이미지 도메인 학습 데이터를 이용하여 지도 학습되고, 지도 학습 후 깊이 도메인 학습 데이터, 의미론적 분할 도메인 학습 데이터 및 입력 이미지 도메인 학습 데이터를 조합하여 생성된 레이블이 부여되지 않은 혼합 학습 데이터를 기초로 비지도 학습되며, 상기 혼합 학습 데이터는,깊이 도메인 학습 데이터에 추출 영역을 결정하기 위한 깊이 혼합 마스크를 적용하여 생성한 깊이 혼합 학습 데이터 및 의미론적 분할 도메인 학습 데이터에 추출 영역을 결정하기 위한 의미론적 분할 혼합 마스크를 적용하여 생성한 의미론적 분할 혼합 학습 데이터를 결합한 후, 상기 깊이 혼합 마스크 및 상기 의미론적 분할 혼합 마스크에 해당하지 않는 나머지 영역에 입력 이미지 도메인 학습 데이터를 결합하여 생성한, 영상 분석 장치
|
| 2 |
2
삭제
|
| 3 |
3
제 1 항에 있어서, 상기 깊이 지도 디코더는상기 병목부로부터 수신한 깊이 특징 정보, 상기 어텐션부로부터 수신한 깊이 특징 정보와 의미론적 분할 특징 정보의 상관 관계 및 깊이 특징 정보와 재구성 특징 정보의 상관 관계를 이용하여 깊이 지도를 생성하는, 영상 분석 장치
|
| 4 |
4
제 1 항에 있어서, 상기 의미론적 분할 지도 디코더는상기 병목부로부터 수신한 의미론적 분할 특징 정보, 상기 어텐션부로부터 수신한 의미론적 분할 특징 정보와 깊이 특징 정보의 상관 관계 및 의미론적 분할 특징 정보와 재구성 특징 정보의 상관 관계를 이용하여 의미론적 분할 지도를 생성하는, 영상 분석 장치
|
| 5 |
5
삭제
|
| 6 |
6
제 1 항에 있어서, 깊이 지도 디코더는 생성된 깊이 지도와 상기 깊이 도메인 학습 데이터의 레이블에 기초하여 지도 학습되며,의미론적 분할 지도 디코더는 생성된 의미론적 분할 지도 및 상기 의미론적 분할 도메인 학습 데이터의 레이블에 기초하여 지도 학습되며,깊이 도메인, 의미론적 분할 도메인 및 입력 이미지 도메인 각각의 재구성을 위한 재구성 디코더 각각은 재구성된 데이터와 깊이 도메인 학습 데이터, 의미론적 분할 도메인 학습 데이터 및 입력 이미지 도메인 학습 데이터에 기초하여 지도 학습되는, 영상 분석 장치
|
| 7 |
7
삭제
|
| 8 |
8
삭제
|
| 9 |
9
제 1 항에 있어서,깊이 도메인 학습 데이터에 깊이 혼합 마스크를 적용하여 생성한 깊이 혼합 학습 데이터 및 의미론적 분할 도메인 학습 데이터에 의미론적 분할 혼합 마스크를 적용하여 생성한 의미론적 분할 혼합 학습 데이터가 중복되는 영역의 경우, 깊이 혼합 학습 데이터의 깊이 및 의미론적 분할 혼합 학습 데이터의 깊이 중 가까운 깊이를 가지는 데이터를 선택하여 결합하는, 영상 분석 장치
|
| 10 |
10
제 1 항에 있어서,상기 분석부는상기 분석부와 동일한 모델로 구성된 지수 이동 평균(Exponential Moving Average, EMA) 모델에 도메인 학습 데이터, 의미론적 분할 도메인 학습 데이터 및 입력 이미지 도메인 학습 데이터를 입력하여 생성한 의사(pseudo) 깊이 레이블 및 의사 의미론적 분할 레이블 및상기 분석부에 혼합 학습 데이터를 입력하여 생성한 깊이 지도 및 의미론적 분할 지도의 차이를 기초로 비지도 학습되는, 영상 분석 장치
|
| 11 |
11
입력 이미지 데이터를 수신하는 입력 단계; 및 상기 입력 이미지 데이터로부터 깊이 지도(depth map) 및 의미론적 분할 지도(semantic segmentation map)를 생성하는 분석 단계를 포함하고, 상기 분석 단계는인코더를 이용하여 상기 입력 이미지 데이터로부터 특징 정보를 추출하며,병목 모듈을 이용하여 상기 인코더의 특징 기초로 깊이 특징 정보, 의미론적 분할 특징 정보 및 재구성 특징 정보를 생성하며,어텐션 모듈을 이용하여 깊이 특징 정보와 의미론적 분할 특징 정보 간 상관 관계(task correlation), 깊이 특징 정보와 재구성 특징 정보 간 상관 관계 및 의미론적 분할 특징 정보와 재구성 특징 정보 간 상관 관계를 계산하며,디코더를 이용하여 특징 정보들 및 테스크 상관 관계들 중 적어도 둘 이상의 조합을 이용하여 깊이 지도 생성, 의미론적 분할 지도 생성 및 깊이 도메인, 의미론적 분할 도메인 및 입력 이미지 도메인 각각을 재구성하며, 상기 분석 단계는,레이블이 부여된 깊이 도메인 학습 데이터, 레이블이 부여된 의미론적 분할 도메인 학습 데이터 및 레이블이 부여되지 않은 입력 이미지 도메인 학습 데이터를 이용하여 지도 학습되고, 지도 학습 후 깊이 도메인 학습 데이터, 의미론적 분할 도메인 학습 데이터 및 입력 이미지 도메인 학습 데이터를 조합하여 생성된 레이블이 부여되지 않은 혼합 학습 데이터를 기초로 비지도 학습되며, 상기 혼합 학습 데이터는,깊이 도메인 학습 데이터에 추출 영역을 결정하기 위한 깊이 혼합 마스크를 적용하여 생성한 깊이 혼합 학습 데이터 및 의미론적 분할 도메인 학습 데이터에 추출 영역을 결정하기 위한 의미론적 분할 혼합 마스크를 적용하여 생성한 의미론적 분할 혼합 학습 데이터를 결합한 후, 상기 깊이 혼합 마스크 및 상기 의미론적 분할 혼합 마스크에 해당하지 않는 나머지 영역에 입력 이미지 도메인 학습 데이터를 결합하여 생성한, 영상 분석 방법
|
| 12 |
12
삭제
|
| 13 |
13
제 11 항에 있어서, 상기 깊이 지도 생성을 위한 디코더는깊이 특징 정보, 깊이 특징 정보와 의미론적 분할 특징 정보의 상관 관계 및 깊이 특징 정보와 재구성 특징 정보의 상관 관계를 이용하여 깊이 지도를 생성하는, 영상 분석 방법
|
| 14 |
14
제 11 항에 있어서, 상기 의미론적 분할 지도 생성을 위한 디코더는의미론적 분할 특징 정보, 어텐션부로부터 수신한 의미론적 분할 특징 정보와 깊이 특징 정보의 상관 관계 및 의미론적 분할 특징 정보와 재구성 특징 정보의 상관 관계를 이용하여 의미론적 분할 지도를 생성하는, 영상 분석 방법
|
| 15 |
15
삭제
|
| 16 |
16
제 11 항에 있어서, 깊이 지도 생성을 위한 디코더는 생성된 깊이 지도와 상기 깊이 도메인 학습 데이터의 레이블에 기초하여 지도 학습되며,의미론적 분할 지도 생성을 위한 디코더는 생성된 의미론적 분할 지도 및 상기 의미론적 분할 도메인 학습 데이터의 레이블에 기초하여 지도 학습되며,깊이 도메인, 의미론적 분할 도메인 및 입력 이미지 도메인 각각의 재구성을 위한 재구성 디코더 각각은 재구성된 데이터와 깊이 도메인 학습 데이터, 의미론적 분할 도메인 학습 데이터 및 입력 이미지 도메인 학습 데이터에 기초하여 지도 학습되는, 영상 분석 방법
|
| 17 |
17
삭제
|
| 18 |
18
삭제
|
| 19 |
19
제 11 항에 있어서,깊이 도메인 학습 데이터에 깊이 혼합 마스크를 적용하여 생성한 깊이 혼합 학습 데이터 및 의미론적 분할 도메인 학습 데이터에 의미론적 분할 혼합 마스크를 적용하여 생성한 의미론적 분할 혼합 학습 데이터가 중복되는 영역의 경우, 깊이 혼합 학습 데이터의 깊이 및 의미론적 분할 혼합 학습 데이터의 깊이 중 가까운 깊이를 가지는 데이터를 선택하여 결합하는, 영상 분석 방법
|
| 20 |
20
제 11 항에 있어서,상기 분석 단계는분석 모델과 동일한 모델로 구성된 지수 이동 평균(Exponential Moving Average, EMA) 모델에 도메인 학습 데이터, 의미론적 분할 도메인 학습 데이터 및 입력 이미지 도메인 학습 데이터를 입력하여 생성한 의사(pseudo) 깊이 레이블 및 의사 의미론적 분할 레이블 및상기 분석 모델에 혼합 학습 데이터를 입력하여 생성한 깊이 지도 및 의미론적 분할 지도의 차이를 기초로 비지도 학습되는, 영상 분석 방법
|
