요약 | 저조도 영상 복원 방법 및 이를 수행하기 위한 컴퓨팅 장치가 개시된다. 개시되는 일 실시예에 따른 저조도 영상 복원 장치는, 입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈, 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈, 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈, 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈, 및 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 개선된 색차 채널의 저조도 영상을 기반으로 저조도 영상을 복원하는 영상 복원 모듈을 포함한다. |
---|---|
Int. CL | G06T 5/00 (2019.01.01) G06N 3/04 (2006.01.01) G06N 3/08 (2006.01.01) G06T 7/13 (2017.01.01) |
CPC | G06T 5/001(2013.01) G06N 3/0454(2013.01) G06N 3/08(2013.01) G06T 7/13(2013.01) G06T 2207/20081(2013.01) G06T 2207/20084(2013.01) G06T 2207/20182(2013.01) |
출원번호/일자 | 1020200149402 (2020.11.10) |
출원인 | 숭실대학교산학협력단 |
등록번호/일자 | 10-2339584-0000 (2021.12.10) |
공개번호/일자 | |
공고번호/일자 | (20211216) 문서열기 |
국제출원번호/일자 | |
국제공개번호/일자 | |
우선권정보 | |
법적상태 | 등록 |
심사진행상태 | 수리 |
심판사항 | |
구분 | 국내출원/신규 |
원출원번호/일자 | |
관련 출원번호 | |
심사청구여부/일자 | Y (2020.11.10) |
심사청구항수 | 18 |
번호 | 이름 | 국적 | 주소 |
---|---|---|---|
1 | 숭실대학교산학협력단 | 대한민국 | 서울특별시 동작구 |
번호 | 이름 | 국적 | 주소 |
---|---|---|---|
1 | 홍민철 | 서울특별시 강남구 | |
2 | 오종근 | 서울특별시 관악구 |
번호 | 이름 | 국적 | 주소 |
---|---|---|---|
1 | 백두진 | 대한민국 | 서울특별시 서초구 바우뫼로 ***, *층(양재동, 혜산빌딩)(시공특허법률사무소) |
2 | 유광철 | 대한민국 | 서울특별시 서초구 바우뫼로 *** *층 (양재동, 혜산빌딩)(시공특허법률사무소) |
3 | 김정연 | 대한민국 | 서울특별시 서초구 바우뫼로 *** *층(양재동, 혜산빌딩)(시공특허법률사무소) |
4 | 강일신 | 대한민국 | 서울특별시 서초구 바우뫼로 ***, *층 혜산빌딩(양재동)(시공특허법률사무소) |
번호 | 이름 | 국적 | 주소 |
---|---|---|---|
1 | 숭실대학교산학협력단 | 대한민국 | 서울특별시 동작구 |
번호 | 서류명 | 접수/발송일자 | 처리상태 | 접수/발송번호 |
---|---|---|---|---|
1 | [특허출원]특허출원서 [Patent Application] Patent Application |
2020.11.10 | 수리 (Accepted) | 1-1-2020-1201247-81 |
2 | 선행기술조사의뢰서 Request for Prior Art Search |
2021.03.19 | 수리 (Accepted) | 9-1-9999-9999999-89 |
3 | 선행기술조사보고서 Report of Prior Art Search |
2021.06.25 | 발송처리완료 (Completion of Transmission) | 9-6-2021-0134735-25 |
4 | 의견제출통지서 Notification of reason for refusal |
2021.07.25 | 발송처리완료 (Completion of Transmission) | 9-5-2021-0585840-09 |
5 | [지정기간연장]기간 연장신청서·기간 단축신청서·기간 경과 구제신청서·절차 계속신청서 |
2021.09.27 | 수리 (Accepted) | 1-1-2021-1103755-21 |
6 | [명세서등 보정]보정서 [Amendment to Description, etc.] Amendment |
2021.10.25 | 보정승인간주 (Regarded as an acceptance of amendment) | 1-1-2021-1220318-59 |
7 | [거절이유 등 통지에 따른 의견]의견서·답변서·소명서 |
2021.10.25 | 수리 (Accepted) | 1-1-2021-1220334-80 |
8 | 특허고객번호 정보변경(경정)신고서·정정신고서 |
2021.10.28 | 수리 (Accepted) | 4-1-2021-5282132-58 |
9 | 등록결정서 Decision to grant |
2021.12.08 | 발송처리완료 (Completion of Transmission) | 9-5-2021-0965562-13 |
번호 | 청구항 |
---|---|
1 |
1 삭제 |
2 |
2 삭제 |
3 |
3 하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서,입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈;상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈;상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,상기 영상 분해 모듈은:상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈; 및상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈을 포함하고,상기 제1 인공 신경망 모델은:입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해하도록 학습되는 제1 조명성분 분해신경망; 및입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해하도록 학습되는 제1 반사성분 분해신경망을 포함하고,상기 제1 인공 신경망 모델과 상기 제2 인공 신경망 모델은:각 신경망의 가중치를 상호 공유하도록 마련되는,컴퓨팅 장치 |
4 |
4 하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서,입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈;상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈;상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,상기 영상 분해 모듈은:상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈; 및상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈을 포함하고,상기 제1 인공 신경망 모델은:입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해하도록 학습되는 제1 조명성분 분해신경망; 및입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해하도록 학습되는 제1 반사성분 분해신경망을 포함하는, 컴퓨팅 장치 |
5 |
5 청구항 4에 있어서, 상기 제1 조명성분 분해신경망은, 입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해할 때, 공간적 매끈함(Spatially Smoothness) 및 국부 균일성(Local Homogeneity) 중 하나 이상을 포함하는 조명 성분의 특성이 반영되도록 학습되는 제1-1 서브 신경망; 및입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해할 때, 조명 성분의 구조적 해석 및 노이즈 제거를 수행하도록 학습되는 제1-2 서브 신경망을 포함하는, 컴퓨팅 장치 |
6 |
6 청구항 5에 있어서, 상기 제1 반사성분 분해 신경망은, 입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해할 때, 반사 성분이 저조도 영상 내 오브젝트들의 디테일 및 경계선 정보를 보존하도록 학습되는 제1-3 서브 신경망; 및입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해할 때, 반사 성분의 구조적 해석 및 노이즈 제거를 수행하도록 학습되는 제1-4 서브 신경망을 포함하는, 컴퓨팅 장치 |
7 |
7 청구항 6에 있어서, 상기 제1-1 서브 신경망은, Multi-Scale Forward CNN(Convolutional Neural Network)으로 구현되고,상기 제1-2 서브 신경망 및 상기 제1-4 서브 신경망은, Multi-Scale AutoEncoder로 구현되며, 상기 제1-3 서브 신경망은, Forward CNN으로 구현되는, 컴퓨팅 장치 |
8 |
8 청구항 7에 있어서, 상기 제2 인공 신경망 모델은, 입력 받은 상기 휘도 채널의 일반 조도 영상에서 조명 성분을 분해하도록 학습되는 제2 조명성분 분해신경망; 및입력 받은 상기 휘도 채널의 일반 조도 영상에서 반사 성분을 분해하도록 학습되는 제2 반사성분 분해신경망을 포함하는, 컴퓨팅 장치 |
9 |
9 청구항 8에 있어서, 상기 제2 조명성분 분해신경망은, 입력 받은 상기 휘도 채널의 일반 조도 영상에서 조명 성분을 분해할 때, 공간적 매끈함(Spatially Smoothness) 및 국부 균일성(Local Homogeneity) 중 하나 이상을 포함하는 조명 성분의 특성이 반영되도록 학습되는 제2-1 서브 신경망; 및입력 받은 상기 휘도 채널의 일반 조도 영상에서 조명 성분을 분해할 때, 조명 성분의 구조적 해석 및 노이즈 제거를 수행하도록 학습되는 제2-2 서브 신경망을 포함하는, 컴퓨팅 장치 |
10 |
10 청구항 9에 있어서, 상기 제2 반사성분 분해 신경망은, 입력 받은 상기 휘도 채널의 일반 조도 영상에서 반사 성분을 분해할 때, 반사 성분이 일반 조도 영상 내 오브젝트들의 디테일 및 경계선 정보를 보존하도록 학습되는 제2-3 서브 신경망; 및입력 받은 상기 휘도 채널의 일반 조도 영상에서 반사 성분을 분해할 때, 반사 성분의 구조적 해석 및 노이즈 제거를 수행하도록 학습되는 제2-4 서브 신경망을 포함하는, 컴퓨팅 장치 |
11 |
11 청구항 10에 있어서,상기 제2-1 서브 신경망은, Multi-Scale Forward CNN(Convolutional Neural Network)으로 구현되고,상기 제2-2 서브 신경망 및 상기 제2-4 서브 신경망은, Multi-Scale AutoEncoder로 구현되며, 상기 제2-3 서브 신경망은, Forward CNN으로 구현되는, 컴퓨팅 장치 |
12 |
12 삭제 |
13 |
13 하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서,입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈;상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈;상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,상기 영상 분해 모듈은:상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈; 및상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈을 포함하고,상기 영상 분해 모듈의 전체 손실 함수(LOSST)는 하기의 수학식1로 표현되고,(수학식1)LOSST = LD + LR + LLLD : 분해 손실 함수LR : 반사성분모델 손실 함수LL : 조명성분모델 손실 함수상기 분해 손실 함수(LD)는 하기의 수학식2로 표현되는,(수학식2): 제1 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분: 제2 영상 분해 모듈에서 출력되는 휘도 채널의 일반 조도 영상의 반사 성분: 제2 영상 분해 모듈에서 출력되는 휘도 채널의 일반 조도 영상의 조명 성분: 제2 영상 분해 모듈로 입력되는 휘도 채널의 일반 조도 영상: 제1 영상 분해 모듈로 입력되는 휘도 채널의 저조도 영상: 영상 분해 모듈의 최적화 매개 변수컴퓨팅 장치 |
14 |
14 청구항 13에 있어서,상기 반사성분모델 손실 함수(LR)는 하기의 수학식으로 표현되는, 컴퓨팅 장치 |
15 |
15 청구항 13에 있어서, 상기 조명성분모델 손실 함수(LL)는 하기의 수학식으로 표현되는, 컴퓨팅 장치 |
16 |
16 삭제 |
17 |
17 하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서,입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈;상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈;상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,상기 영상 분해 모듈은:상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈; 및상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈을 포함하고,상기 조도 개선 모듈은:상기 제1 영상 분해 모듈로부터 상기 저조도 영상의 조명 성분을 입력 받고, 상기 제2 영상 분해 모듈로부터 상기 일반 조도 영상의 조명 성분을 입력 받으며, 상기 입력된 저조도 영상의 조명 성분 및 상기 일반 조도 영상의 조명 성분을 기반으로 조도가 개선된 저조도 영상의 조명 성분을 출력하도록 학습되고,상기 조도 개선 모듈의 손실 함수(LOSSENH)는 하기의 수학식5로 표현되는,(수학식5): 개선된 저조도 영상의 조명 성분: 제2 영상 분해 모듈에서 출력되는 휘도 채널의 일반 조도 영상의 조명 성분컴퓨팅 장치 |
18 |
18 하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서, 입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈;상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈;상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,상기 색차 개선 모듈의 손실 함수(LOSSChr)는 하기의 수학식6으로 표현되는,(수학식6): j번째 색차 채널의 일반 조도 영상: 개선된 j번째 색차 채널의 저조도 영상컴퓨팅 장치 |
19 |
19 하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서,입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 전처리 모듈;상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 영상 분해 모듈;상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,상기 영상 분해 모듈은:상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈; 및상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈을 포함하고,상기 제1 인공 신경망 모델은:입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해하도록 학습되는 제1 조명성분 분해신경망; 및입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해하도록 학습되는 제1 반사성분 분해신경망을 포함하고,상기 영상 복원 모듈은:상기 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분과 상기 조도 개선 모듈에서 출력되는 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분을 합성하여 개선된 휘도 채널의 저조도 영상을 생성하고, 상기 개선된 휘도 채널의 저조도 영상과 색차 개선 모듈에서 출력되는 상기 개선된 색차 채널의 저조도 영상을 합성하여 상기 저조도 영상을 복원하는,컴퓨팅 장치 |
20 |
20 하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치로서,휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제1 인공 신경망 모델을 구비하는 제1 영상 분해 모듈;휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습되는 제2 인공 신경망 모델을 구비하는 제2 영상 분해 모듈;색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 색차 개선 모듈;상기 제1 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 조명 성분의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 조도 개선 모듈; 및상기 제1 영상 분해 모듈에서 출력되는 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 영상 복원 모듈을 포함하고,상기 제1 인공 신경망 모델은:입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해하도록 학습되는 제1 조명성분 분해신경망; 및입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해하도록 학습되는 제1 반사성분 분해신경망을 포함하는,컴퓨팅 장치 |
21 |
21 하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치에서 수행되는 방법으로서,전처리 모듈을 통해 입력되는 저조도 영상 및 일반 조도 영상을 각각 휘도 채널 및 색차 채널로 각각 분리하는 동작;영상 분해 모듈을 통해 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 동작;색차 개선 모듈을 통해 상기 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 동작;조도 개선 모듈을 통해 상기 휘도 채널의 저조도 영상의 조명 성분을 입력 받고, 상기 휘도 채널의 저조도 영상의 조명 성분의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 동작; 및영상 복원 모듈을 통해 상기 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 동작을 포함하고, 상기 영상 분해 모듈을 통해 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 상기 휘도 채널의 저조도 영상 및 일반 조도 영상을 각각 조명 성분 및 반사 성분으로 분해하는 동작은:제1 인공 신경망 모델을 구비하며 상기 영상 분해 모듈에 포함된 제1 영상 분해 모듈을 통해, 상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습하는 동작; 및제2 인공 신경망 모델을 구비하며 상기 영상 분해 모듈에 포함된 제2 영상 분해 모듈을 통해, 상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습하는 동작을 포함하고,상기 제1 인공 신공망 모델은:입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해하도록 학습되는 제1 조명성분 분해신경망; 및입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해하도록 학습되는 제1 반사성분 분해신경망을 포함하는,저조도 영상 복원 방법 |
22 |
22 하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하는 컴퓨팅 장치에서 수행되는 방법으로서,영상 분해 모듈을 통해 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하는 동작; 영상 분해 모듈을 통해 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하는 동작;색차 개선 모듈을 통해 색차 채널의 저조도 영상 및 일반 조도 영상을 입력 받고, 입력 받은 상기 색차 채널의 저조도 영상 및 일반 조도 영상에 기반하여 개선된 색차 채널의 저조도 영상을 출력하는 동작;조도 개선 모듈을 통해 상기 휘도 채널의 저조도 영상의 조명 성분의 조도를 개선하여 조도가 개선된 저조도 영상의 조명 성분을 출력하는 동작; 및영상 복원 모듈을 통해 상기 휘도 채널의 저조도 영상의 반사 성분, 상기 휘도 채널의 조도가 개선된 저조도 영상의 조명 성분, 및 상기 개선된 색차 채널의 저조도 영상을 기반으로 상기 저조도 영상을 복원하는 동작을 포함하고, 상기 영상 분해 모듈을 통해 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하는 동작은:제1 인공 신경망 모델을 구비하며 상기 영상 분해 모듈에 포함된 제1 영상 분해 모듈을 통해, 상기 휘도 채널의 저조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 저조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습하는 동작을 포함하고,상기 영상 분해 모듈을 통해 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하는 동작은:제2 인공 신경망 모델을 구비하며 상기 영상 분해 모듈에 포함된 제2 영상 분해 모듈을 통해, 상기 휘도 채널의 일반 조도 영상을 입력 받고, 입력 받은 상기 휘도 채널의 일반 조도 영상을 조명 성분과 반사 성분으로 분해하도록 학습하는 동작을 포함하고,상기 제1 인공 신공망 모델은:입력 받은 상기 휘도 채널의 저조도 영상에서 조명 성분을 분해하도록 학습되는 제1 조명성분 분해신경망; 및입력 받은 상기 휘도 채널의 저조도 영상에서 반사 성분을 분해하도록 학습되는 제1 반사성분 분해신경망을 포함하는,저조도 영상 복원 방법 |
지정국 정보가 없습니다 |
---|
패밀리정보가 없습니다 |
---|
순번 | 연구부처 | 주관기관 | 연구사업 | 연구과제 |
---|---|---|---|---|
1 | 과학기술정보통신부 | 숭실대학교 | 개인기초연구(과기정통부)(R&D) | 취약 환경에 강인한 감시 시스템을 위한 영상 복원 핵심 기술 연구 |
2 | 과학기술정보통신부 | 숭실대학교산학협력단 | 정보통신기술인력양성(R&D) | 초고속영상 기반의 지능형 디지털콘텐츠 플랫폼 기술연구 및 인력양성 |
공개전문 정보가 없습니다 |
---|
특허 등록번호 | 10-2339584-0000 |
---|
표시번호 | 사항 |
---|---|
1 |
출원 연월일 : 20201110 출원 번호 : 1020200149402 공고 연월일 : 20211216 공고 번호 : 특허결정(심결)연월일 : 20211208 청구범위의 항수 : 18 유별 : G06T 5/00 발명의 명칭 : 저조도 영상 복원 방법 및 이를 수행하기 위한 컴퓨팅 장치 존속기간(예정)만료일 : |
순위번호 | 사항 |
---|---|
1 |
(권리자) 숭실대학교산학협력단 서울특별시 동작구... |
제 1 - 3 년분 | 금 액 | 363,500 원 | 2021년 12월 10일 | 납입 |
번호 | 서류명 | 접수/발송일자 | 처리상태 | 접수/발송번호 |
---|---|---|---|---|
1 | [특허출원]특허출원서 | 2020.11.10 | 수리 (Accepted) | 1-1-2020-1201247-81 |
2 | 선행기술조사의뢰서 | 2021.03.19 | 수리 (Accepted) | 9-1-9999-9999999-89 |
3 | 선행기술조사보고서 | 2021.06.25 | 발송처리완료 (Completion of Transmission) | 9-6-2021-0134735-25 |
4 | 의견제출통지서 | 2021.07.25 | 발송처리완료 (Completion of Transmission) | 9-5-2021-0585840-09 |
5 | [지정기간연장]기간 연장신청서·기간 단축신청서·기간 경과 구제신청서·절차 계속신청서 | 2021.09.27 | 수리 (Accepted) | 1-1-2021-1103755-21 |
6 | [명세서등 보정]보정서 | 2021.10.25 | 보정승인간주 (Regarded as an acceptance of amendment) | 1-1-2021-1220318-59 |
7 | [거절이유 등 통지에 따른 의견]의견서·답변서·소명서 | 2021.10.25 | 수리 (Accepted) | 1-1-2021-1220334-80 |
8 | 특허고객번호 정보변경(경정)신고서·정정신고서 | 2021.10.28 | 수리 (Accepted) | 4-1-2021-5282132-58 |
9 | 등록결정서 | 2021.12.08 | 발송처리완료 (Completion of Transmission) | 9-5-2021-0965562-13 |
기술정보가 없습니다 |
---|
과제정보가 없습니다 |
---|
[KST2014011271][숭실대학교] | 국부 완화 제약조건을 이용한 적응 영상 보간 방법 | 새창보기 |
---|---|---|
[KST2018001935][숭실대학교] | 정보 유출 위험도 판단 방법 및 장치(METHOD AND APPARATUS FOR DETERMINING INFORMATION LEAKAGE RISK) | 새창보기 |
[KST2020007753][숭실대학교] | 특징 간 상관 분석을 통한 자동 변조 분류 방법 | 새창보기 |
[KST2022004523][숭실대학교] | 인공 지능 모델의 무결성 검증 방법과 이를 수행하기 위한 컴퓨팅 장치 및 시스템 | 새창보기 |
[KST2014054993][숭실대학교] | 영상 처리 시스템 및 방법 | 새창보기 |
[KST2015000290][숭실대학교] | 영상 처리 방법, 이를 이용한 시스템 및 이를 수행하기 위한 기록매체 | 새창보기 |
[KST2019019360][숭실대학교] | 영상을 이용한 가금류 무게 측정 방법, 이를 수행하기 위한 기록매체 및 장치 | 새창보기 |
[KST2022003454][숭실대학교] | 인돌리진 골격체 기반 방사성 형광 화합물 및 이의 용도 | 새창보기 |
[KST2021016096][숭실대학교] | 강화학습 기반의 유사일을 사용한 태양광 발전량 예측 시스템 및 방법 | 새창보기 |
[KST2021007211][숭실대학교] | 이기종 뉴로모픽 아키텍처를 지원하기 위한 추상화 구조 설계 방법, 이를 수행하기 위한 기록 매체 및 호스트 장치 | 새창보기 |
[KST2014011291][숭실대학교] | 밀도 기반의 분할된 히스토그램 평활화를 통한 대비 향상 방법 | 새창보기 |
[KST2014011442][숭실대학교] | 대조비를 이용한 레이저 스펙클 이미지의 영상처리 방법 및 장치 | 새창보기 |
[KST2014045891][숭실대학교] | 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법 | 새창보기 |
[KST2019012329][숭실대학교] | 카메라 변위를 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치 | 새창보기 |
[KST2020006873][숭실대학교] | 오류 트리플 검출 시스템 및 방법 | 새창보기 |
[KST2021001291][숭실대학교] | 다중타입 엔티티에 기반한 지식 보완 방법 및 장치 | 새창보기 |
[KST2019002796][숭실대학교] | 지식베이스 구축 방법 및 그 서버 | 새창보기 |
[KST2020011217][숭실대학교] | 적응적 임계화에 기초한 차량 간 LED 경계 검출 방법 및 장치 | 새창보기 |
[KST2021016103][숭실대학교] | 가이디드 필터링을 이용한 딥러닝 네트워크 기반 깊이 영상 결과 개선 방법, 이를 수행하기 위한 기록 매체 및 장치 | 새창보기 |
[KST2022002276][숭실대학교] | 뉴럴 심볼릭 기반 규칙 생성을 통한 지식완성 방법 및 장치 | 새창보기 |
[KST2021009489][숭실대학교] | 공유 저작물 권리관리정보 제공 시스템 및 방법 | 새창보기 |
[KST2019025234][숭실대학교] | 비국부 평균 알고리즘을 이용한 영상 잡음 제거 장치 및 방법 | 새창보기 |
[KST2020011541][숭실대학교] | 영상 복원 장치 및 방법 | 새창보기 |
[KST2021007212][숭실대학교] | 딥러닝을 적용한 탁구 로봇 시스템 | 새창보기 |
[KST2019014060][숭실대학교] | 움직임에 따른 흐림 현상의 보정을 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치 | 새창보기 |
[KST2020006870][숭실대학교] | 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법 | 새창보기 |
[KST2022002107][숭실대학교] | 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치 | 새창보기 |
[KST2019012328][숭실대학교] | CMOS 센서의 롤링 셔터 보정을 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치 | 새창보기 |
[KST2019017461][숭실대학교] | 인공 신경망 규칙 추출 장치 및 방법 | 새창보기 |
[KST2022002106][숭실대학교] | RF 충전 후방산란 CR 네트워크 시스템 및 그것을 이용한 동작 모드 선택 방법 | 새창보기 |
심판사항 정보가 없습니다 |
---|