| 1 |
1
라이트 필드 이미지를 입력받는 입력부;상기 라이트 필드 이미지의 각도 위치별로 구성되고, 각도 위치별 이미지에 가중치를 격리하여 피쳐를 추출하는 복수의 개별 네트워크; 및상기 복수의 개별 네트워크로부터 출력되는 각 출력값의 손실 함수를 계산하고, 역전파를 통해 각 출력값을 보정하는 손실함수 계산부를 포함하는 라이트 필드 공간 해상도 개선 시스템
|
| 2 |
2
제 1 항에 있어서,상기 개별 네트워크는,상기 각도 위치별 이미지를 보틀넥(Bottleneck) 구조 및 DCN을 포함하는 Res 블록에 적용하여 각도 위치별 피쳐를 추출하는 피쳐 추출부;상기 피쳐 추출부를 통해 추출된 피쳐를 하나 이상의 콘볼루셔널 블록 어텐션 모듈(Convolutional Block Attention Module)을 통해 피쳐 내에 저주파수 정보를 강조하는 피쳐 강조부; 및저주파수 정보가 강조된 피쳐들을 이피션트 서브 픽셀 컨볼루션 레이어(Efficient Sub-pixel Convolution layer)를 통해 업스케일링하고, 1Χ1 CNN 층을 통해 라이트 필드 이미지를 구축하는 업샘플러를 포함하는 라이트 필드 공간 해상도 개선 시스템
|
| 3 |
3
제 2 항에 있어서,상기 피쳐 추출부의 DCN는, 이하의 수학식,으로 표현되는 라이트 필드 공간 해상도 개선 시스템(단, pn은 CNN 필터 격자 내의 좌표, w는 가중치 행렬, p0는 CNN 필에 입력된 행렬에서 필터가 적용될 위치, Δp는 pn의 이동좌표)
|
| 4 |
4
제 2 항에 있어서,상기 피쳐 강조부는,각도별로 추출된 피쳐들을 입력받아 MaxPool 및 AvgPool을 수행하여 1X1X채널 개수의 행렬로 만들어 채널 어텐션 맵(MC)을 추출하고, 상기 채널 어텐션 맵을 이용하여 입력된 피쳐들에 요소별 곱을 수행하여 피쳐 채널간 차등을 부여하는 제1 콘볼루셔널 블록 어텐션 모듈;모든 각도 위치의 피쳐들을 입력받아 MaxPool 및 AvgPool을 수행하여 두 개의 행렬을 획득하고, 상기 두 개의 행렬을 연관시키고 CNN 레이어를 이용하여 공간 어텐션 맵(MS)을 추출하고, 채널에 차등이 부여된 각 피쳐에 요소별 곱을 수행하여 피쳐 내 부분에 차등을 부여하는 제2 콘볼루셔널 블록 어텐션 모듈; 및각 각도 위치의 피쳐들에 대하여, 롱 스킵 커넥션(Long Skip Connection)을 수행하여 피쳐 내의 저주파수 정보를 강조하는 스킵 모듈을 포함하는 라이트 필드 공간 해상도 개선 시스템
|
| 5 |
5
제2 항에 있어서,상기 업샘플러의 이피션트 서브 픽셀 컨볼루션 레이어는,히든 레이어들로부터 추출한 피쳐 맵을 확장시켜 서로 합하여 업스케일링을 수행하는 것인, 라이트 필드 공간 해상도 개선 시스템
|
