| 1 |
1
특징 추출 네트워크가 복수의 합성곱 레이어들을 이용하여 건설 현장의 영상 데이터로부터 시공간 특징을 추출하는 단계;상기 특징 추출 네트워크가 풀링 및 합성곱 연산으로 상기 시공간 특징을 강화하여 시공간 특징맵을 출력하는 단계;인식 네트워크가 상기 시공간 특징맵을 기초로 서로 다른 크기의 물체를 감지하기 위한 3차원 특징맵들을 출력하는 단계; 및 상기 인식 네트워크가 상기 3차원 특징맵들을 이용하여 건설 장비들 각각의 위치, 종류 및 동작을 분류하는 단계를 포함하는 영상 기반 건설 장비 인식 방법
|
| 2 |
2
제1항에 있어서,상기 영상 데이터는,건설 형상이 포함된 영상의 프레임의 너비, 높이, 개수 및 채널(RGB)로 구성된 4차원 데이터인 영상 기반 건설 장비 인식 방법
|
| 3 |
3
제1항에 있어서,상기 시공간 특징을 추출하는 단계는,상기 특징 추출 네트워크의 복수의 모듈들이 직렬로 연결되어 구성된 특징 추출 모델에서 수행되며,상기 특징 추출 모델은,상기 영상 데이터가 모듈들 각각을 통과할 때마다 상기 영상 데이터의 너비와 높이를 감소시키고, 채널을 증가시켜 시공간 특징을 추출하는 영상 기반 건설 장비 인식 방법
|
| 4 |
4
제1항에 있어서,상기 시공간 특징맵을 출력하는 단계는,상기 특징 추출 네트워크의 3차원 어텐션 모듈에서 수행되며,상기 3차원 어텐션 모듈은,상기 특징 추출 모델에 결합되며, 상기 영상 데이터에 포함된 물체의 채널축 특징을 강조하는 1차원 채널 어텐션 모듈 및 상기 물체의 시공간 특징 또는 문맥적 정보를 강조하는 3차원 시공간 어텐션 모듈을 포함하는 영상 기반 건설 장비 인식 방법
|
| 5 |
5
제4항에 있어서,상기 1차원 채널 어텐션 모듈은,상기 영상 데이터의 채널 축을 제외한 나머지 축에 대해 평균 풀링 (average pooling)과 최대 풀링 (maxpooling)을 적용한 후, 다층 퍼셉트론 레이어와 시그모이드 함수를 사용하여 1차원 특징맵을 생성하며, 1차원 특징맵 및 상기 시공간 특징에 원소별 곱셈(element-wise multiplication)을 적용하여 채널 축으로 정제된 특징맵을 출력하는 영상 기반 건설 장비 인식 방법
|
| 6 |
6
제4항에 있어서,상기 3차원 시공간 어텐션 모듈은,상기 영상 데이터의 채널 축에 대해 평균 풀링과 최대 풀링을 적용한 후, 합성곱 필터와 시그모이드 함수를 사용하여 너비, 높이, 그리고 개수로 구성된 3차원 특징맵을 생성하며, 3차원 특징맵 및 1차원 채널 어텐션 모듈의 출력에 원소별 곱셈(element-wise multiplication)을 적용하여 시공간 방향으로 정제된 시공간 특징맵을 추출하는 영상 기반 건설 장비 인식 방법
|
| 7 |
7
제1항에 있어서,상기 3차원 특징맵들을 출력하는 단계는,상기 인식 네트워크의 특징 피라미드 네트워크에서 수행되며,상기 특징 피라미드 네트워크는,상기 시공간 특징맵을 압축하는 바텀업 경로, 및 서로 다른 레벨의 정보가 포함된 특징맵들을 결합하여 서로 다른 크기의 물체를 감지하기 위한 3차원 특징맵들을 생성하는 탑다운 경로를 포함하는 영상 기반 건설 장비 인식 방법
|
| 8 |
8
제7항에 있어서,상기 분류하는 단계는,상기 인식 네트워크의 출력 레이어에서 수행되며,상기 출력 레이어는,상기 서로 다른 크기의 물체를 감지하기 위한 특징맵들을 입력받는 합성곱 레이어로 구성되고, 입력받은 특징맵에 따라 건설 장비의 위치, 종류 및 동작을 분류하여 출력하는 영상 기반 건설 장비 인식 방법
|
| 9 |
9
복수의 합성곱 레이어들을 이용하여 건설 현장의 영상 데이터로부터 시공간 특징을 추출하는 특징 추출 모듈, 및 풀링 및 합성곱 연산으로 상기 시공간 특징을 강화하여 시공간 특징맵을 출력하는 어텐션 모듈을 포함하는 특징 추출 네트워크; 및상기 시공간 특징맵을 기초로 복수의 건설 장비들을 동시에 인식할 수 있는 특징 피라미드 네트워크, 및 상기 특징 피라미드 네트워크에 결합되며, 상기 건설 장비들 각각의 위치, 종류 및 동작을 분류하는 출력 레이어를 포함하는 인식 네트워크를 포함하는 영상 기반 건설 장비 인식 장치
|
| 10 |
10
제9항에 있어서,상기 특징 추출 네트워크는,복수의 모듈들이 직렬로 연결되어 구성되며, 상기 영상 데이터가 모듈들 각각을 통과할 때마다 상기 영상 데이터의 너비와 높이를 감소시키고, 채널을 증가시켜 시공간 특징을 추출하는 특징 추출 모델을 생성하는 영상 기반 건설 장비 인식 장치
|
| 11 |
11
제9항에 있어서,상기 특징 추출 네트워크는,상기 특징 추출 모델에 결합되며, 상기 영상 데이터에 포함된 물체의 채널축 특징을 강조하는 1차원 채널 어텐션 모듈 및 상기 물체의 시공간 특징 또는 문맥적 정보를 강조하는 3차원 시공간 어텐션 모듈이 포함된 상기 어텐션 모듈을 생성하는 영상 기반 건설 장비 인식 장치
|
| 12 |
12
제9항에 있어서,상기 인식 네트워크는,상기 시공간 특징맵을 압축하는 바텀업 경로, 및 서로 다른 레벨의 정보가 포함된 특징맵들을 결합하여 서로 다른 크기의 물체를 감지하기 위한 특징맵들을 생성하는 탑다운 경로가 포함된 상기 특징 피라미드 네트워크를 생성하는 영상 기반 건설 장비 인식 장치
|
| 13 |
13
제12항에 있어서,상기 인식 네트워크는,상기 서로 다른 크기의 물체를 감지하기 위한 특징맵들을 입력받는 합성곱 레이어로 구성되며, 입력받은 특징맵에 따라 건설 장비의 위치, 종류 및 동작을 분류하여 출력하는 상기 출력 레이어를 생성하는 영상 기반 건설 장비 인식 장치
|
