| 1 |
1
입력되는 저해상도의 영상을 웨이블릿 변환하여 저해상도 서브 밴드를 생성하고, 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하며, 상기 저해상도 서브 밴드와 상기 잔차 서브 밴드를 합성하여 복원용 서브 밴드를 생성하며, 상기 복원용 서브 밴드를 역 웨이블릿 변환하여 고해상도 영상으로 복원하는 영상 복원 장치; 및상기 영상 복원 장치로부터 상기 저해상도 서브 밴드를 수신하고, 상기 저해상도 서브 밴드의 입력에 따라 출력되는 상기 잔차 서브 밴드를 상기 영상 복원 장치로 전송하는 합성곱 신경망을 포함하며,상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고, 상기 합성곱 신경망은, 제1 합성곱 신경망, 제2 합성곱 신경망, 제3 합성곱 신경망, 및 제4 합성곱 신경망을 포함하며, 상기 영상 복원 장치는, 상기 제1 저해상도 서브 밴드(LRLL)를 상기 제1 합성곱 신경망으로 전송하고, 상기 제2 저해상도 서브 밴드(LRLH)를 상기 제2 합성곱 신경망으로 전송하며, 상기 제3 저해상도 서브 밴드(LRHL)를 상기 제3 합성곱 신경망으로 전송하고, 상기 제4 저해상도 서브 밴드(LRHH)를 상기 제4 합성곱 신경망으로 전송하며, 상기 제1 합성곱 신경망은, 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 출력하도록 학습된 것이고, 상기 제2 합성곱 신경망은, 상기 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 따른 제2 잔차 서브 밴드(△LH)를 출력하도록 학습된 것이며, 상기 제3 합성곱 신경망은, 상기 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 따른 제3 잔차 서브 밴드(△HL)를 출력하도록 학습된 것이고, 상기 제4 합성곱 신경망은, 상기 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 따른 제4 잔차 서브 밴드(△HH)를 출력하도록 학습된 것이며,상기 영상 복원 장치는, 상기 제1 합성곱 신경망으로부터 상기 제1 잔차 서브 밴드(△LL)를 수신하고, 상기 제1 저해상도 서브 밴드(LRLL)와 상기 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드(SRLL)를 생성하며, 상기 제2 합성곱 신경망으로부터 상기 제2 잔차 서브 밴드(△LH)를 수신하고, 상기 제2 저해상도 서브 밴드(LRLH)와 상기 제2 잔차 서브 밴드(△LH)를 합성하여 제2 복원용 서브 밴드(SRLH)를 생성하며,상기 제3 합성곱 신경망으로부터 상기 제3 잔차 서브 밴드(△HL)를 수신하고, 상기 제3 저해상도 서브 밴드(LRHL)와 상기 제3 잔차 서브 밴드(△HL)를 합성하여 제3 복원용 서브 밴드(SRHL)를 생성하며, 상기 제4 합성곱 신경망으로부터 상기 제4 잔차 서브 밴드(△HH)를 수신하고, 상기 제4 저해상도 서브 밴드(LRHH)와 상기 제4 잔차 서브 밴드(△HH)를 합성하여 제4 복원용 서브 밴드(SRHH)를 생성하는, 영상 복원 시스템
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
삭제
|
| 6 |
6
삭제
|
| 7 |
7
삭제
|
| 8 |
8
삭제
|
| 9 |
9
삭제
|
| 10 |
10
입력되는 저해상도의 영상을 웨이블릿 변환하여 저해상도 서브 밴드를 생성하는 웨이블릿 변환부;상기 저해상도 서브 밴드를 합성곱 신경망으로 전송하고, 상기 합성곱 신경망으로부터 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하는 통신부;상기 저해상도 서브 밴드와 상기 잔차 서브 밴드를 합성하여 복원용 서브 밴드를 생성하는 영상 합성부; 및상기 복원용 서브 밴드를 역 웨이블릿 변환하여 고해상도 영상으로 복원하는 역 웨이블릿 변환부를 포함하며,상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고, 상기 통신부는, 상기 제1 저해상도 서브 밴드(LRLL)를 제1 합성곱 신경망으로 전송하고, 상기 제2 저해상도 서브 밴드(LRLH)를 제2 합성곱 신경망으로 전송하며, 상기 제3 저해상도 서브 밴드(LRHL)를 제3 합성곱 신경망으로 전송하고, 상기 제4 저해상도 서브 밴드(LRHH)를 제4 합성곱 신경망으로 전송하며, 제1 합성곱 신경망으로부터 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 수신하고, 제2 합성곱 신경망으로부터 상기 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 따른 제2 잔차 서브 밴드(△LH)를 수신하며, 제3 합성곱 신경망으로부터 상기 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 따른 제3 잔차 서브 밴드(△HL)를 수신하고, 제4 합성곱 신경망으로부터 상기 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 따른 제4 잔차 서브 밴드(△HH)를 수신하는, 영상 복원 장치
|
| 11 |
11
삭제
|
| 12 |
12
삭제
|
| 13 |
13
삭제
|
| 14 |
14
삭제
|
| 15 |
15
삭제
|
| 16 |
16
삭제
|
| 17 |
17
삭제
|
| 18 |
18
하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 입력되는 저해상도의 영상을 웨이블릿 변환하여 저해상도 서브 밴드를 생성하는 단계;상기 저해상도 서브 밴드를 합성곱 신경망으로 전송하는 단계;상기 합성곱 신경망으로부터 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하는 단계;상기 저해상도 서브 밴드와 상기 잔차 서브 밴드를 합성하여 복원용 서브 밴드를 생성하는 단계; 및상기 복원용 서브 밴드를 역 웨이블릿 변환하여 고해상도 영상으로 복원하는 단계를 포함하며,상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고, 상기 저해상도 서브 밴드를 합성곱 신경망으로 전송하는 단계는, 상기 제1 저해상도 서브 밴드(LRLL)를 제1 합성곱 신경망으로 전송하고, 상기 제2 저해상도 서브 밴드(LRLH)를 제2 합성곱 신경망으로 전송하며, 상기 제3 저해상도 서브 밴드(LRHL)를 제3 합성곱 신경망으로 전송하고, 상기 제4 저해상도 서브 밴드(LRHH)를 제4 합성곱 신경망으로 전송하며, 상기 합성곱 신경망으로부터 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하는 단계는, 제1 합성곱 신경망으로부터 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 수신하고, 제2 합성곱 신경망으로부터 상기 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 따른 제2 잔차 서브 밴드(△LH)를 수신하며, 제3 합성곱 신경망으로부터 상기 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 따른 제3 잔차 서브 밴드(△HL)를 수신하고, 제4 합성곱 신경망으로부터 상기 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 따른 제4 잔차 서브 밴드(△HH)를 수신하는, 영상 복원 방법
|
| 19 |
19
하나 이상의 프로세서들;메모리; 및하나 이상의 프로그램들을 포함하고,상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은,입력되는 저해상도의 영상을 웨이블릿 변환하여 저해상도 서브 밴드를 생성하기 위한 명령;상기 저해상도 서브 밴드를 합성곱 신경망으로 전송하기 위한 명령;상기 합성곱 신경망으로부터 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하기 위한 명령;상기 저해상도 서브 밴드와 상기 잔차 서브 밴드를 합성하여 복원용 서브 밴드를 생성하기 위한 명령; 및상기 복원용 서브 밴드를 역 웨이블릿 변환하여 고해상도 영상으로 복원하기 위한 명령을 포함하며, 상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고, 상기 저해상도 서브 밴드를 합성곱 신경망으로 전송하기 위한 명령은,상기 제1 저해상도 서브 밴드(LRLL)를 제1 합성곱 신경망으로 전송하고, 상기 제2 저해상도 서브 밴드(LRLH)를 제2 합성곱 신경망으로 전송하며, 상기 제3 저해상도 서브 밴드(LRHL)를 제3 합성곱 신경망으로 전송하고, 상기 제4 저해상도 서브 밴드(LRHH)를 제4 합성곱 신경망으로 전송하며, 상기 합성곱 신경망으로부터 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하기 위한 명령은,제1 합성곱 신경망으로부터 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 수신하고, 제2 합성곱 신경망으로부터 상기 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 따른 제2 잔차 서브 밴드(△LH)를 수신하며, 제3 합성곱 신경망으로부터 상기 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 따른 제3 잔차 서브 밴드(△HL)를 수신하고, 제4 합성곱 신경망으로부터 상기 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 따른 제4 잔차 서브 밴드(△HH)를 수신하는, 컴퓨팅 장치
|
