| 1 |
1
일련의 입력 이미지 프레임에 대한 전처리를 수행하는 (a) 단계;상기 전처리된 이미지 프레임 중 흐릿한 정도(blurriness)가 기준치를 초과하는 이미지 프레임을 제거하는 (b) 단계;상기 전처리된 이미지 프레임의 클래스를 분류하는 (c) 단계;상기 분류 결과에 기초하여 키프레임 그룹을 추출하는 (d) 단계;상기 키프레임 그룹에 대한 오류 관계를 감지하여 제거하는 (e) 단계; 및상기 오류 관계가 제거된 프레임에 기초하여 3차원 장면 그래프를 생성하는 (f) 단계를 포함하고,상기 키프레임 그룹에 포함되어 있는 여러 프레임의 객체 쌍 사이에서 감지된 관계를 검사하고, 가장 많이 발생된 관계를 상기 장면 그래프에 포함시키는 3차원 장면 그래프 생성 방법
|
| 2 |
2
제1항에 있어서,상기 (b) 단계는,라플라스 분산(variance of Laplacian)을 산출하여 흐릿한 정도(blurriness) V를 산출하는 단계;상기 V에 대한 지수 이동 평균 St를 산출하는 단계;상기 St에 대한 바이어스 보정을 수행하는 단계;상기 바이어스 보정된 지수 이동 평균에 기반하여 임계 값을 결정하는 단계; 및상기 V와 상기 임계 값을 비교하여 제거 대상 이미지 프레임을 결정하는 단계를 포함하는 3차원 장면 그래프 생성 방법
|
| 3 |
3
제2항에 있어서,상기 클래스는 키프레임, 앵커프레임 및 가비지프레임을 포함하되,상기 키프레임은 레퍼런스 프레임으로 첫번째 앵커프레임 및 상기 키프레임 그룹의 적용 범위를 결정하기 위해 사용되고,상기 앵커프레임은 활성 또는 비활성화될 수 있으며, 활성화된 앵커프레임은 다음 앵커프레임을 결정하기 위한 사용되고,상기 가비지프레임은 폐기되는 프레임인 것을 특징으로 하는 3차원 장면 그래프 생성 방법
|
| 4 |
4
제3항에 있어서,상기 (c) 단계는,현재 키프레임과 새롭게 입력된 이미지 프레임 사이의 오버랩 비율인 제1 값을 산출하는 단계; 및상기 제1 값이 제1 기준치 이하이면 상기 새롭게 입력된 이미지 프레임을 다음 키프레임으로 결정하는 단계를 포함하는 3차원 장면 그래프 생성 방법
|
| 5 |
5
제4항에 있어서,상기 (c) 단계는,상기 제1 값이 상기 제1 기준치를 초과하면, 현재 활성화된 앵커프레임과 상기 새롭게 입력된 이미지 프레임 사이의 오버랩 비율인 제2 값을 산출하는 단계;상기 제2 값이 제2 기준치 이하이면, 상기 새롭게 입력된 이미지 프레임을 새로운 앵커프레임으로 결정하는 결정하는 단계; 및상기 제2 값이 제2 기준치를 초과하면, 상기 새롭게 입력된 이미지 프레임을 상기 가비지프레임으로 분류하여 폐기하는 단계를 더 포함하는 3차원 장면 그래프 생성 방법
|
| 6 |
6
제5항에 있어서,상기 (b) 단계와 상기 (c) 단계 사이에 포즈를 추출하는 단계를 더 포함하고, 시각적 거리 측정법(visual odometry) 또는 동시적 위치 추정 및 지도 작성(SLAM: Simultaneous localization and mapping) 기법을 사용하여 주변 이미지 프레임들 사이의 상대 포즈가 추출되는 것을 특징으로 하는 3차원 장면 그래프 생성 방법
|
| 7 |
7
제6항에 있어서,상기 추출된 상대 포즈들은 상기 키프레임 그룹 내 인식된 객체의 물리적 속성을 추출하는데 사용되는 것을 특징으로 하는 3차원 장면 그래프 생성 방법
|
| 8 |
8
제1항에 있어서,상기 (e) 단계는,상기 추출된 키프레임 그룹 내 포함된 키프레임에 상응하는 객체 영역을 추출하는 단계;상기 추출된 객체 영역 중 중복 객체 영역을 제거하여 유효한 객체 영역을 식별하는 단계;상기 식별된 객체 영역 내 인식된 객체 중 미리 정의된 관련 없는 객체를 제거하여 유효한 객체를 식별하는 단계; 및상기 식별된 객체 사이의 객체 관계를 필터링하는 단계를 포함하는 3차원 장면 그래프 생성 방법
|
| 9 |
9
제1항에 있어서,상기 (f) 단계는,상기 입력 이미지 프레임으로부터 부분적인 객체 속성 및 객체 쌍간의 관계를 추출하여 2차원 버전의 장면 그래프를 형성한 후 2차원 속성들을 3차원 속성들로 변환하여 지역 3차원 장면 그래프를 생성하는 단계; 및상기 지역 3차원 장면 그래프를 현재 전역 3차원 장면 그래프에 병합하여 전역 3차원 장면 그래프를 갱신하는 단계를 포함하는 3차원 장면 그래프 생성 방법
|
| 10 |
10
제9항에 있어서,상기 전역 3차원 장면 그래프를 갱신하는 단계는,상기 전역 3차원 장면 그래프의 오리지널 노드와 새로 입력된 이미지 프레임의 후보 노드 사이의 라벨 유사도(Label similarity), 위치 유사도 Position similarity) 및 색상 유사도(Color similarity)에 기반하여 동일 노드를 감지하는 단계를 포함하는 3차원 장면 그래프 생성 방법
|
| 11 |
11
제9항에 있어서,상기 전역 3차원 장면 그래프는 인식된 객체를 표현하기 위한 노드(Node) 및 객체 쌍간의 관계를 표현하기 위한 에지(Edge)를 포함하는 3차원 장면 그래프 생성 방법
|
| 12 |
12
제11항에 있어서,상기 노드는, 해당 환경 내 인식된 객체에 상응하여 고유하게 할당되는 번호인 식별 번호; 및객체의 카테고리를 표시하기 위한 시멘틱 라벨(Semantic Label)을 포함하고,상기 에지는,한 객체가 다른 객체를 향한 행동을 보여주는 동작 관계;거리 및 상대적인 위치와 같은 공간적인 관계를 보여주는 공간 관계;다른 객체와 관련된 한 객체의 상태를 보여주는 묘사 관계;전치사로 표현되는 두 객체 사이의 의미적 관계를 보여주는 전치 관계; 및다른 객체와 비교되는 한 객체의 상대적인 속성을 보여주는 비교 관계중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 장면 그래프 생성 방법
|
| 13 |
13
제12항에 있어서,상기 전역 3차원 장면 그래프에는 객체 쌍간의 주종 관계가 화살표 방향으로 표시되는 것을 특징으로 하는 3차원 장면 그래프 생성 방법
|
| 14 |
14
제12항에 있어서,상기 노드는 해당 객체에 대한 물리적 속성 및 시각적 속성을 더 포함하는 3차원 장면 그래프 생성 방법
|
| 15 |
15
일련의 입력 이미지 프레임에 대한 전처리를 수행하는 이미지 전처리 모듈;상기 전처리된 이미지 프레임 중 흐릿한 정도가 기준치를 초과하는 이미지 프레임을 제거하는 이미지 제거 모듈;상기 전처리된 이미지 프레임의 클래스를 분류하여 키프레임 그룹을 추출하는 키프레임 그룹 추출 모듈;상기 키프레임 그룹에 대한 오류 관계를 감지하여 제거하는 오류 관계 제거 모듈; 및상기 오류 관계가 제거된 프레임에 기초하여 3차원 장면 그래프를 생성하고,상기 키프레임 그룹에 포함되어 있는 여러 프레임의 객체 쌍 사이에서 감지된 관계를 검사하고, 가장 많이 발생된 관계를 상기 장면 그래프에 포함시키는 그래프 생성 모듈을 포함하는 3차원 장면 그래프 생성 장치
|
| 16 |
16
제15항에 있어서,상기 이미지 제거 모듈은,라플라스 분산(variance of Laplacian)을 산출하여 흐릿한 정도(blurriness) V를 산출하는 수단;상기 V에 대한 지수 이동 평균 St를 산출하는 수단;상기 St에 대한 바이어스 보정을 수행하는 수단;상기 바이어스 보정된 지수 이동 평균에 기반하여 임계 값을 결정하는 수단; 및상기 V와 상기 임계 값을 비교하여 제거 대상 이미지 프레임을 결정하는 수단을 포함하는 3차원 장면 그래프 생성 장치
|
| 17 |
17
제16항에 있어서,상기 클래스는 키프레임, 앵커프레임 및 가비지프레임을 포함하되,상기 키프레임은 레퍼런스 프레임으로 첫번째 앵커프레임 및 상기 키프레임 그룹의 적용 범위를 결정하기 위해 사용되고,상기 앵커프레임은 활성 또는 비활성화될 수 있으며, 활성화된 앵커프레임은 다음 앵커프레임을 결정하기 위한 사용되고,상기 가비지프레임은 폐기되는 프레임인 것을 특징으로 하는 3차원 장면 그래프 생성 장치
|
| 18 |
18
제17항에 있어서,상기 키프레임 그룹 추출 모듈은,현재 키프레임과 새롭게 입력된 이미지 프레임 사이의 오버랩 비율인 제1 값을 산출하는 수단; 및상기 제1 값이 제1 기준치 이하이면 상기 새롭게 입력된 이미지 프레임을 다음 키프레임으로 결정하는 수단을 포함하는 3차원 장면 그래프 생성 장치
|
| 19 |
19
제18항에 있어서,상기 키프레임 그룹 추출 모듈은,상기 제1 값이 상기 제1 기준치를 초과하면, 현재 활성화된 앵커프레임과 상기 새롭게 입력된 이미지 프레임 사이의 오버랩 비율인 제2 값을 산출하는 수단;상기 제2 값이 제2 기준치 이하이면, 상기 새롭게 입력된 이미지 프레임을 새로운 앵커프레임으로 결정하는 결정하는 수단; 및상기 제2 값이 제2 기준치를 초과하면, 상기 새롭게 입력된 이미지 프레임을 상기 가비지프레임으로 분류하여 폐기하는 수단을 더 포함하는 3차원 장면 그래프 생성 장치
|
| 20 |
20
제19항에 있어서,상기 전처리된 이미지 프레임에 기초하여 포즈를 추출하는 포즈 추정 모듈을 더 포함하고, 상기 포즈 추정 모듈은 시각적 거리 측정법(visual odometry) 또는 동시적 위치 추정 및 지도 작성(SLAM: Simultaneous localization and mapping) 기법을 사용하여 주변 이미지 프레임들 사이의 상대 포즈를 추출하는 것을 특징으로 하는 3차원 장면 그래프 생성 장치
|
| 21 |
21
제15항에 있어서,해당 이미지 프레임에 상응하는 객체 영역을 추출하여 제안하는 영역 제안부;상기 객체 영역 내 포함된 객체를 인식하는 객체 인식부; 및상기 인식된 객체 쌍간의 관계를 추출하는 관계 추출부를 포함하는 신경망을 더 포함하는 것을 특징으로 하는 3차원 장면 그래프 생성 장치
|
| 22 |
22
제21항에 있어서,상기 오류 관계 제거 모듈은,상기 추출된 객체 영역 중 중복 객체 영역을 제거하여 유효한 객체 영역을 식별하는 중첩 객체 영역 제거부;상기 식별된 객체 영역 내 인식된 객체 중 미리 정의된 관련 없는 객체를 제거하여 유효한 객체를 식별하는 비관련 객체 제거부; 및상기 식별된 객체 사이의 객체 관계를 필터링하는 객체 관계 필터링부를 포함하는 하는 3차원 장면 그래프 생성 장치
|
| 23 |
23
제15항에 있어서,상기 그래프 생성 모듈은,상기 입력 이미지 프레임으로부터 부분적인 객체 속성 및 객체 쌍간의 관계를 추출하여 2차원 버전의 장면 그래프를 형성한 후 2차원 속성들을 3차원 속성들로 변환하여 지역 3차원 장면 그래프를 생성하는 지역 그래프 생성부; 및상기 지역 3차원 장면 그래프를 현재 전역 3차원 장면 그래프에 병합하여 전역 3차원 장면 그래프를 갱신하는 전역 그래프 생성부를 포함하는 3차원 장면 그래프 생성 장치
|
| 24 |
24
제23항에 있어서,상기 전역 그래프 생성부는 상기 전역 3차원 장면 그래프의 오리지널 노드와 새로 입력된 이미지 프레임의 후보 노드 사이의 라벨 유사도(Label similarity), 위치 유사도 Position similarity) 및 색상 유사도(Color similarity)에 기반하여 동일 노드를 감지하는 것을 특징으로 하는 3차원 장면 그래프 생성 장치
|
| 25 |
25
제23항에 있어서,상기 전역 3차원 장면 그래프는 인식된 객체를 표현하기 위한 노드(Node) 및 객체 쌍간의 관계를 표현하기 위한 에지(Edge)를 포함하고,상기 노드는, 해당 환경 내 인식된 객체에 상응하여 고유하게 할당되는 번호인 식별 번호;객체의 카테고리를 표시하기 위한 시멘틱 라벨(Semantic Label);객체의 물리적 속성; 및객체의 시각적 특성중 적어도 하나를 포함하고,상기 에지는,한 객체가 다른 객체를 향한 행동을 보여주는 동작 관계;거리 및 상대적인 위치와 같은 공간적인 관계를 보여주는 공간 관계;다른 객체와 관련된 한 객체의 상태를 보여주는 묘사 관계;전치사로 표현되는 두 객체 사이의 의미적 관계를 보여주는 전치 관계; 및다른 객체와 비교되는 한 객체의 상대적인 속성을 보여주는 비교 관계중 적어도 하나를 포함하고, 상기 전역 3차원 장면 그래프상에 객체 쌍간의 주종 관계가 화살표 방향으로 표시되는 것을 특징으로 하는 3차원 장면 그래프 생성 장치
|
