| 1 |
1
(a) 이벤트 이미지를 획득하는 단계;(b) 상기 획득된 이벤트 이미지에 대한 다수의 이벤트 스택을 생성하는 단계; 및 (c) 상기 다수의 이벤트 스택을 신경망(neural network) 모델에 입력하여 강도 이미지(intensity image)를 생성하는 단계;를 포함하는, 고해상도 강도 이미지 생성 방법
|
| 2 |
2
제1항에 있어서,상기 (b) 단계는,상기 이벤트 이미지의 각 픽셀에 대한 이벤트 스트림(event stream)을 생성하는 단계; 및상기 생성된 이벤트 스트림을 분류하여 상기 다수의 이벤트 스택을 생성하는 단계; 를 포함하는,고해상도 강도 이미지 생성 방법
|
| 3 |
3
제1항에 있어서,상기 (c) 단계는,상기 다수의 이벤트 스택의 시퀀스(sequence)를 이용하여 다수의 광학 플로우(optical flow)를 생성하는 단계;상기 생성된 다수의 광학 플로우를 이용하여 상기 다수의 이벤트 스택을 수정(rectify)하는 단계;상기 수정된 다수의 이벤트 스택과 상기 다수의 이벤트 스택에 대한 상태(state) 정보를 이용하여 다수의 중간 강도 이미지(intermediate intensity image)를 생성하는 단계; 및 상기 다수의 중간 강도 이미지를 혼합(mix)하여 상기 강도 이미지를 생성하는 단계;를 포함하는,고해상도 강도 이미지 생성 방법
|
| 4 |
4
제3항에 있어서,상기 (c) 단계는,상기 생성된 강도 이미지와 GT(ground truth) 이미지의 차이(difference)에 기반한 오차(error) 정보를 산출하는 단계; 및상기 산출된 오차 정보를 이용하여 상기 신경망 모델을 학습시키는 단계; 를 포함하는,고해상도 강도 이미지 생성 방법
|
| 5 |
5
제1항에 있어서,상기 (c) 단계는, 상기 다수의 이벤트 스택의 시퀀스 중 중앙 스택(central stack)을 APS(active pixel sensor) 프레임으로 형성하는 단계; 및상기 중앙 스택으로 형성된 APS 프레임과 상기 다수의 이벤트 스택의 시퀀스 중 상기 중앙 스택을 제외한 다수의 주변 스택(nearby stack)을 상기 신경망 모델에 입력하여 상기 강도 이미지를 생성하는 단계;를 포함하는,고해상도 강도 이미지 생성 방법
|
| 6 |
6
제1항에 있어서,상기 (c) 단계 이후에,상기 다수의 이벤트 스택의 시퀀스 중 중앙 스택을 상기 생성된 강도 이미지로 형성하는 단계; 및 상기 중앙 스택으로 형성된 강도 이미지와 상기 다수의 이벤트 스택의 시퀀스 중 상기 중앙 스택을 제외한 다수의 주변 스택을 상기 신경망 모델에 입력하여 다른 강도 이미지를 생성하는 단계;를 더 포함하는,고해상도 강도 이미지 생성 방법
|
| 7 |
7
이벤트 이미지를 획득하는 획득부; 및상기 획득된 이벤트 이미지에 대한 다수의 이벤트 스택을 생성하고,상기 다수의 이벤트 스택을 신경망(neural network) 모델에 입력하여 강도 이미지(intensity image)를 생성하는 제어부;를 포함하는,고해상도 강도 이미지 생성 장치
|
| 8 |
8
제7항에 있어서,상기 제어부는,상기 이벤트 이미지의 각 픽셀에 대한 이벤트 스트림(event stream)을 생성하고,상기 생성된 이벤트 스트림을 분류하여 상기 다수의 이벤트 스택을 생성하는,고해상도 강도 이미지 생성 장치
|
| 9 |
9
제7항에 있어서,상기 제어부는,상기 다수의 이벤트 스택의 시퀀스(sequence)를 이용하여 다수의 광학 플로우(optical flow)를 생성하고,상기 생성된 다수의 광학 플로우를 이용하여 상기 다수의 이벤트 스택을 수정(rectify)하고,상기 수정된 다수의 이벤트 스택과 상기 다수의 이벤트 스택에 대한 상태(state) 정보를 이용하여 다수의 중간 강도 이미지(intermediate intensity image)를 생성하고,상기 다수의 중간 강도 이미지를 혼합(mix)하여 상기 강도 이미지를 생성하는,고해상도 강도 이미지 생성 장치
|
| 10 |
10
제9항에 있어서,상기 제어부는,상기 생성된 강도 이미지와 GT(ground truth) 이미지의 차이(difference)에 기반한 오차(error) 정보를 산출하고,상기 산출된 오차 정보를 이용하여 상기 신경망 모델을 학습시키는,고해상도 강도 이미지 생성 장치
|
| 11 |
11
제7항에 있어서,상기 제어부는, 상기 다수의 이벤트 스택의 시퀀스 중 중앙 스택(central stack)을 APS(active pixel sensor) 프레임으로 형성하고,상기 중앙 스택으로 형성된 APS 프레임과 상기 다수의 이벤트 스택의 시퀀스 중 상기 중앙 스택을 제외한 다수의 주변 스택(nearby stack)을 상기 신경망 모델에 입력하여 상기 강도 이미지를 생성하는,고해상도 강도 이미지 생성 장치
|
| 12 |
12
제7항에 있어서,상기 제어부는,상기 다수의 이벤트 스택의 시퀀스 중 중앙 스택을 상기 생성된 강도 이미지로 형성하고,상기 중앙 스택으로 형성된 강도 이미지와 상기 다수의 이벤트 스택의 시퀀스 중 상기 중앙 스택을 제외한 다수의 주변 스택을 상기 신경망 모델에 입력하여 다른 강도 이미지를 생성하는,고해상도 강도 이미지 생성 장치
|
