맞춤기술찾기

이전대상기술

CNN 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치(ENCODING METHOD AND APPARATUS COMPRISING CONVOLUTIONAL NEURAL NETWORK(CNN) BASED IN-LOOP FILTER, AND DECODING METHOD AND APPARATUS COMPRISING CONVOLUTIONAL NEURAL NETWORK(CNN) BASED IN-LOOP FILTER)

  • 기술번호 : KST2018000227
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 CNN 기반 인루프 필터를 포함하는 부호화 장치 및 복호화 장치가 개시된다. 일 실시예에 따른 부호화 장치는 원본 영상과 예측 영상 사이의 차이에 해당하는 잔차 영상을 필터링함으로써 필터링 정보를 생성하는 필터링부와, 상기 필터링 정보를 역필터링함으로써 역필터링 정보를 생성하는 역필터링부와, 상기 원본 영상과 복원 정보에 기초하여 상기 예측 영상을 생성하는 예측부와, 상기 역필터링 정보와 상기 예측 영상을 입력 받아 상기 복원 정보를 출력하는 CNN 기반 인루프 필터와, 및 상기 필터링 정보와 상기 예측 영상의 정보에 기초하여 부호화를 수행하는 부호화부를 포함한다.
Int. CL H04N 19/117 (2014.01.01) H04N 19/176 (2014.01.01) H04N 19/182 (2014.01.01) H04N 19/124 (2014.01.01) H04N 19/44 (2014.01.01)
CPC
출원번호/일자 1020170017959 (2017.02.09)
출원인 한국과학기술원
등록번호/일자 10-1974261-0000 (2019.04.24)
공개번호/일자 10-2018-0001428 (2018.01.04) 문서열기
공고번호/일자 (20190430) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보 대한민국  |   1020160079240   |   2016.06.24
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2017.02.09)
심사청구항수 46

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김문철 대한민국 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인 무한 대한민국 서울특별시 강남구 언주로 ***, *층(역삼동,화물재단빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2017.02.09 수리 (Accepted) 1-1-2017-0134939-90
2 의견제출통지서
Notification of reason for refusal
2018.06.15 발송처리완료 (Completion of Transmission) 9-5-2018-0403316-80
3 [지정기간연장]기간연장(단축, 경과구제)신청서
[Designated Period Extension] Application of Period Extension(Reduction, Progress relief)
2018.08.14 수리 (Accepted) 1-1-2018-0803892-81
4 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2018.09.13 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2018-0912305-36
5 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2018.09.13 수리 (Accepted) 1-1-2018-0912306-82
6 등록결정서
Decision to grant
2019.01.28 발송처리완료 (Completion of Transmission) 9-5-2019-0065794-85
7 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.04.24 수리 (Accepted) 4-1-2019-5081392-49
8 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
9 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
원본 영상과 예측 영상 사이의 차이에 해당하는 잔차 영상을 필터링함으로써 필터링 정보(filtering information)를 생성하는 단계;상기 필터링 정보를 역필터링함으로써 역필터링 정보(inverse filtering information)를 생성하는 단계;상기 역필터링 정보를 CNN 기반 인루프 필터(CNN based in-loop filter)에 입력함으로써 복원 정보를 생성하는 단계;상기 복원 정보와 상기 원본 영상에 기반한 원본 정보의 차이를 계산하는 단계; 및상기 차이에 기초하여 상기 CNN 기반 인루프 필터의 가중치(weight)를 보정하는 단계를 포함하고,상기 예측 영상은 상기 복원 정보에 기초하여 생성되고,상기 CNN 기반 인루프 필터의 가중치(weight)는 양자화 파라미터(quantization parameter)에 따른 양자화 구간에 대한 가중치, 왜곡값에 따른 왜곡값 구간에 대한 가중치, 영상 특성의 텍스처 복잡도 구간에 대한 가중치, 및 영상 특성의 움직임 복잡도 구간에 대한 가중치, 슬라이스 타입에 따른 가중치, 부호화 계층에 따른 가중치, 부호화 모드에 따른 가중치, 부호화 영역에 따른 가중치 중에서 적어도 하나인,CNN 기반 인루프 필터 학습 방법
2 2
제1항에 있어서,상기 필터링 정보를 생성하는 단계는,상기 잔차 영상을 변환 및 양자화함으로써 필터링 정보를 생성하는 단계를 포함하고,상기 역필터링 정보를 생성하는 단계는,상기 필터링 정보를 역양자화 및 역변환함으로써 역필터링 정보를 생성하는 단계를 포함하는 CNN 기반 인루프 필터 학습 방법
3 3
제1항에 있어서,상기 필터링 정보를 생성하는 단계는,양자화 파라미터(quantization parameter)에 따른 양자화 구간에 기초하여 상기 잔차 영상을 필터링하는 단계를 포함하고,상기 보정하는 단계는,상기 양자화 구간에 대한 가중치를 보정하는 단계를 포함하는 CNN 기반 인루프 필터 학습 방법
4 4
제1항에 있어서,상기 필터링 정보를 생성하는 단계는,왜곡값에 따른 왜곡값 구간에 기초하여 상기 잔차 영상을 필터링하는 단계를 포함하고,상기 보정하는 단계는,상기 왜곡값 구간에 대한 가중치를 보정하는 단계를 포함하는 CNN 기반 인루프 필터 학습 방법
5 5
제1항에 있어서,상기 필터링 정보를 생성하는 단계는,영상 특성의 텍스처 복잡도 구간에 기초하여 상기 잔차 영상을 필터링하는 단계를 포함하고,상기 보정하는 단계는,상기 텍스처 복잡도 구간에 대한 가중치를 보정하는 단계를 포함하는 CNN 기반 인루프 필터 학습 방법
6 6
제1항에 있어서,상기 필터링 정보를 생성하는 단계는,영상 특성의 움직임 복잡도 구간에 기초하여 상기 잔차 영상을 필터링하는 단계를 포함하고,상기 보정하는 단계는,상기 움직임 복잡도 구간에 대한 가중치를 보정하는 단계를 포함하는 CNN 기반 인루프 필터 학습 방법
7 7
제1항에 있어서,상기 복원 정보를 생성하는 단계는,상기 역필터링 정보 및 상기 예측 영상에 기반한 예측 정보를 상기 CNN 기반 인루프 필터에 입력함으로써 복원 정보를 생성하는 단계를 포함하고,상기 복원 정보는,상기 원본 영상과 같은 형식인 CNN 기반 인루프 필터 학습 방법
8 8
제7항에 있어서,상기 역필터링 정보 및 상기 예측 영상에 기반한 예측 정보를 상기 CNN 기반 인루프 필터에 입력함으로써 복원 정보를 생성하는 단계는,상기 예측 정보에 인루프 필터링을 수행하는 단계를 포함하는 CNN 기반 인루프 필터 학습 방법
9 9
제1항에 있어서,상기 복원 정보를 생성하는 단계는,상기 역필터링 정보 및 상기 예측 영상에 기반한 예측 정보를 상기 CNN 기반 인루프 필터에 입력함으로써 복원 정보를 생성하는 단계를 포함하고,상기 복원 정보는,상기 잔차 영상과 같은 형식인 CNN 기반 인루프 필터 학습 방법
10 10
제9항에 있어서,상기 역필터링 정보 및 상기 예측 영상에 기반한 예측 정보를 상기 CNN 기반 인루프 필터에 입력함으로써 복원 정보를 생성하는 단계는,상기 예측 정보에 인루프 필터링을 수행하는 단계를 포함하는 CNN 기반 인루프 필터 학습 방법
11 11
원본 영상과 예측 영상 사이의 차이에 해당하는 잔차 영상을 필터링함으로써 필터링 정보를 생성하는 필터링부;상기 필터링 정보를 역필터링함으로써 역필터링 정보를 생성하는 역필터링부;복원 정보에 기초하여 상기 예측 영상을 생성하는 예측부(estimator);상기 역필터링 정보와 상기 예측 영상을 입력 받아 상기 복원 정보를 출력하는 CNN 기반 인루프 필터; 및상기 필터링 정보와 상기 예측 영상의 정보에 기초하여 부호화를 수행하는 부호화부(encoder)를 포함하고,상기 CNN 기반 인루프 필터의 가중치(weight)는 양자화 파라미터(quantization parameter)에 따른 양자화 구간에 대한 가중치, 왜곡값에 따른 왜곡값 구간에 대한 가중치, 영상 특성의 텍스처 복잡도 구간에 대한 가중치, 및 영상 특성의 움직임 복잡도 구간에 대한 가중치 슬라이스 타입에 따른 가중치, 부호화 계층에 따른 가중치, 부호화 모드에 따른 가중치, 부호화 영역에 따른 가중치 중에서 적어도 하나인 부호화 장치
12 12
제11항에 있어서,상기 필터링부는,상기 잔차 영상을 변환 및 양자화함으로써 필터링 정보를 생성하고,상기 역필터링부는,상기 필터링 정보를 역양자화 및 역변환함으로써 역필터링 정보를 생성하는부호화 장치
13 13
제11항에 있어서,상기 복원 정보는,상기 원본 영상과 같은 형식이고,상기 CNN 기반 인루프 필터는,상기 역필터링 정보 및 상기 예측 영상에 기반한 예측 정보를 상기 CNN 기반 인루프 필터에 입력함으로써 복원 정보를 생성하는부호화 장치
14 14
제13항에 있어서,상기 예측 정보에 인루프 필터링을 수행하는 인루프 필터를 더 포함하는 부호화 장치
15 15
제14항에 있어서,상기 인루프 필터는,디블록킹 필터(deblocking filter(DF)), 샘플 적응형 오프셋 필터(sample adaptive offset(SAO) filter), 및 적응형 루프 필터(adaptive loop filter(ALF)) 중 적어도 하나를 포함하는 부호화 장치
16 16
제11항에 있어서,상기 복원 정보는,상기 잔차 영상과 같은 형식이고,상기 CNN 기반 인루프 필터는,상기 역필터링 정보 및 상기 예측 영상에 기반한 예측 정보를 상기 CNN 기반 인루프 필터에 입력함으로써 복원 정보를 생성하는부호화 장치
17 17
제16항에 있어서,상기 예측 정보에 인루프 필터링을 수행하는 인루프 필터를 더 포함하는 부호화 장치
18 18
제11항에 있어서,상기 복원 정보에 인루프 필터링을 수행하는 인루프 필터를 더 포함하는 부호화 장치
19 19
부호화된 비트스트림 정보에 복호화를 수행하여 필터링 정보와 예측 영상의 정보를 출력하는 엔트로피 복호화부(entropy decoder);상기 필터링 정보를 역필터링함으로써 역필터링 정보를 생성하는 역필터링부;상기 예측 영상의 정보에 기초하여 예측 영상을 생성하는 예측부; 및상기 역필터링 정보와 상기 예측 영상에 기초하여 복원 정보를 생성하고, 인루프 필터링 적용 여부에 따라 상기 복원 정보에 인루프 필터링을 적용하는 CNN 기반 인루프 필터를 포함하는복호화 장치
20 20
제19항에 있어서,상기 복원 정보는,원본 영상과 같은 형식이고,상기 CNN 기반 인루프 필터는,상기 역필터링 정보 및 상기 예측 영상에 기반한 예측 정보를 상기 CNN 기반 인루프 필터에 입력함으로써 복원 정보를 생성하는복호화 장치
21 21
제20항에 있어서,상기 역필터링 정보에 인루프 필터링을 수행하는 인루프 필터를 더 포함하는 복호화 장치
22 22
제21항에 있어서,상기 인루프 필터는,디블록킹 필터(DF), 샘플 적응형 오프셋 필터(SAO filter), 및 적응형 루프 필터(ALF) 중 적어도 하나를 추가적으로 포함하는복호화 장치
23 23
제19항에 있어서,상기 복원 정보는,잔차 영상과 같은 형식이고,상기 CNN 기반 인루프 필터는,상기 역필터링 정보 및 상기 예측 영상에 기반한 예측 정보를 상기 CNN 기반 인루프 필터에 입력함으로써 복원 정보를 생성하는복호화 장치
24 24
제23항에 있어서,상기 복원 정보와 상기 예측 영상을 더하여 최종 복원 정보를 생성하는 가산기를 더 포함하는 복호화 장치
25 25
제23항에 있어서,상기 역필터링 정보에 인루프 필터링을 수행하는 인루프 필터를 더 포함하는 복호화 장치
26 26
제25항에 있어서,상기 인루프 필터는,디블록킹 필터(DF), 샘플 적응형 오프셋 필터(SAO filter), 및 적응형 루프 필터(ALF) 중 적어도 하나를 포함하는 복호화 장치
27 27
제19항에 있어서,상기 복원 정보는,잔차 영상과 같은 형식이고,상기 CNN 기반 인루프 필터는,상기 역필터링 정보를 상기 CNN 기반 인루프 필터에 입력함으로써 잔차 복원 정보를 생성하는복호화 장치
28 28
제27항에 있어서,상기 잔차 복원 정보와 상기 예측 영상을 더하여 최종 복원 정보를 생성하는 가산기를 더 포함하는 복호화 장치
29 29
제28항에 있어서,상기 최종 복원 정보에 인루프 필터링을 수행하는 인루프 필터를 더 포함하는 복호화 장치
30 30
제29항에 있어서,상기 인루프 필터는,디블록킹 필터(DF), 샘플 적응형 오프셋 필터(SAO filter), 및 적응형 루프 필터(ALF) 중 적어도 하나를 포함하는 복호화 장치
31 31
제19항에 있어서,상기 CNN 기반 인루프 필터의 가중치(weight)는 슬라이스 타입에 따른 가중치, 부호화 계층에 따른 가중치, 부호화 모드에 따른 가중치, 부호화 영역에 따른 가중치, 양자화 파라미터(quantization parameter)에 따른 양자화 구간에 대한 가중치, 왜곡값에 따른 왜곡값 구간에 대한 가중치, 영상 특성의 텍스처 복잡도 구간에 대한 가중치, 및 영상 특성의 움직임 복잡도 구간에 대한 가중치 중에서 적어도 하나인복호화 장치
32 32
제19항에 있어서,상기 CNN 기반 인루프 필터는,입력 슬라이스 별로, 또한 입력 슬라이스 내에서 부호화 단위 블록별(CTU) 또는 부호화 블록별(CU) 또는 지정된 영상 영역별로 선택적으로 인루프 필터링을 적용하는 CNN 기반 인루프 필터를 포함하는복호화 장치
33 33
부호화된 비트스트림 정보에 복호화를 수행하여 필터링 정보와 예측 영상의 정보를 출력하는 단계;상기 필터링 정보를 역필터링함으로써 역필터링 정보를 생성하는 단계;상기 예측 영상의 정보에 기초하여 예측 영상을 생성하는 단계; 및상기 역필터링 정보와 상기 예측 영상에 기초하여 복원 정보를 생성하고, 인루프 필터링 적용 여부에 따라 상기 복원 정보에 CNN 기반 인루프 필터링을 적용하는 단계를 포함하는 복호화 방법
34 34
제33항에 있어서,상기 복원 정보는,원본 영상과 같은 형식이고,상기 CNN 기반 인루프 필터링을 적용하는 단계는,상기 역필터링 정보 및 상기 예측영상에 기반한 예측정보에 기초하여 상기 복원 정보를 생성하는 단계를 포함하는 복호화 방법
35 35
제34항에 있어서,상기 역필터링 정보에 인루프 필터링을 수행하는 단계를 더 포함하는 복호화 방법
36 36
제35항에 있어서,상기 역필터링 정보에 인루프 필터링을 수행하는 단계는,디블록킹 필터(DF), 샘플 적응형 오프셋 필터(SAO filter), 및 적응형 루프 필터(ALF) 중 적어도 하나를 추가적으로 이용하여 인루프 필터링을 수행하는 단계를 포함하는 복호화 방법
37 37
제33항에 있어서,상기 복원 정보는,잔차 영상과 같은 형식이고,상기 CNN 기반 인루프 필터링을 적용하는 단계는,상기 역필터링 정보 및 상기 예측 영상에 기반한 예측 정보에 기초하여 상기 복원 정보를 생성하는 단계를 포함하는 복호화 방법
38 38
제37항에 있어서,상기 복원 정보와 상기 예측 영상을 더하여 최종 복원 정보를 생성하는 단계를 더 포함하는 복호화 방법
39 39
제37항에 있어서,상기 역필터링 정보에 인루프 필터링을 수행하는 단계를 더 포함하는 복호화 방법
40 40
제39항에 있어서,상기 역필터링 정보에 인루프 필터링을 수행하는 단계는,디블록킹 필터(DF), 샘플 적응형 오프셋 필터(SAO filter), 및 적응형 루프 필터(ALF) 중 적어도 하나를 추가적으로 이용하여 인루프 필터링을 수행하는 단계를 포함하는 복호화 방법
41 41
제33항에 있어서,상기 복원 정보는,잔차 영상과 같은 형식이고,상기 CNN 기반 인루프 필터링을 적용하는 단계는,상기 역필터링 정보에 기초하여 잔차 복원 정보를 생성하는 단계를 포함하는 복호화 방법
42 42
제41항에 있어서,상기 잔차 복원 정보와 상기 예측 영상을 더하여 최종 복원 정보를 생성하는 단계를 더 포함하는 복호화 방법
43 43
제42항에 있어서,상기 최종 복원 정보에 인루프 필터링을 수행하는 단계를 더 포함하는 복호화 방법
44 44
제43항에 있어서,상기 최종 복원 정보에 인루프 필터링을 수행하는 단계는,디블록킹 필터(DF), 샘플 적응형 오프셋 필터(SAO filter), 및 적응형 루프 필터(ALF) 중 적어도 하나를 이용하여 인루프 필터링을 수행하는 단계를 포함하는 복호화 방법
45 45
제33항에 있어서,상기 CNN 기반 인루프 필터링을 적용하는 단계는,슬라이스 타입에 따른 가중치, 부호화 계층에 따른 가중치, 부호화 모드에 따른 가중치, 부호화 영역에 따른 가중치, 양자화 파라미터(quantization parameter)에 따른 양자화 구간에 대한 가중치, 왜곡값에 따른 왜곡값 구간에 대한 가중치, 영상 특성의 텍스처 복잡도 구간에 대한 가중치, 및 영상 특성의 움직임 복잡도 구간에 대한 가중치 중에서 적어도 하나의 가중치를 적용하여 인루프 필터링을 적용하는 단계를 포함하는 복호화 방법
46 46
제33항에 있어서,상기 CNN 기반 인루프 필터링을 적용하는 단계는,입력 슬라이스 별로, 또한 입력 슬라이스 내에서 부호화 단위 블록별(CTU) 또는 부호화 블록별(CU) 또는 지정된 영상 영역별로 선택적으로 인루프 필터링을 적용하는 단계를 포함하는 복호화 방법
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 CN109644268 CN 중국 FAMILY
2 JP06761490 JP 일본 FAMILY
3 JP31525544 JP 일본 FAMILY
4 US20190230354 US 미국 FAMILY
5 WO2017222140 WO 세계지적재산권기구(WIPO) FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 CN109644268 CN 중국 DOCDBFAMILY
2 JP2019525544 JP 일본 DOCDBFAMILY
3 US2019230354 US 미국 DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 한국과학기술원 이공분야기초연구사업의 중견연구자지원사업 4K/8K-UHD 영상 신호에 대한 시각 인지 특성 연구 및 이를 이용한 인지 비디오 처리 및 부호화 기술 연구