맞춤기술찾기

이전대상기술

이미지 합성 방법 및 장치

  • 기술번호 : KST2021003806
  • 담당센터 : 광주기술혁신센터
  • 전화번호 : 062-360-4654
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 사물 인터넷을 위해 연결된 5G 환경에서 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행하여 이미지를 합성하기 위한 방법 및 장치가 개시된다. 본 발명의 일 실시 예에 따른 이미지 합성 방법은 얼굴 이미지를 포함하는 제 1 이미지를 획득하는 단계와, 미리 훈련된 심층 신경망 모델을 적용하여 제 1 이미지의 특징점을 검출하는 단계와, 제 1 이미지에 합성하기 위한 제 2 이미지를 획득하는 단계와, 제 2 이미지의 경계를 추출하는 단계와, 제 1 이미지의 특징점들의 좌표값을 기반으로 제 2 이미지의 경계에 대응하는 좌표값을 매칭하는 단계와, 제 1 이미지와 제 2 이미지를 병합(merging)하여 출력하는 단계를 포함할 수 있다.
Int. CL G06T 5/50 (2006.01.01) G06T 7/174 (2017.01.01) G06T 7/13 (2017.01.01) G06T 7/11 (2017.01.01) G06K 9/00 (2006.01.01) G06K 9/36 (2006.01.01) G06T 3/40 (2006.01.01) G06N 3/08 (2006.01.01)
CPC G06T 5/50(2013.01) G06T 7/174(2013.01) G06T 7/13(2013.01) G06T 7/11(2013.01) G06K 9/00221(2013.01) G06K 9/36(2013.01) G06T 3/40(2013.01) G06N 3/08(2013.01) G06T 2207/20221(2013.01) G06T 2207/30201(2013.01) G06T 2207/20081(2013.01) G06T 2207/20084(2013.01)
출원번호/일자 1020190167199 (2019.12.13)
출원인 조선대학교산학협력단
등록번호/일자 10-2236904-0000 (2021.03.31)
공개번호/일자
공고번호/일자 (20210406) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2019.12.13)
심사청구항수 16

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 조선대학교산학협력단 대한민국 광주광역시 동구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 나인섭 광주광역시 동구
2 이윤혁 광주광역시 서구
3 김영심 광주광역시 동구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인 남앤남 대한민국 서울특별시 중구 서소문로**(서소문동, 정안빌딩*층)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 조선대학교산학협력단 광주광역시 동구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2019.12.13 수리 (Accepted) 1-1-2019-1293159-26
2 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.03.26 수리 (Accepted) 4-1-2020-5071333-01
3 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.04.17 수리 (Accepted) 4-1-2020-5088703-88
4 선행기술조사의뢰서
Request for Prior Art Search
2020.06.12 수리 (Accepted) 9-1-9999-9999999-89
5 선행기술조사보고서
Report of Prior Art Search
2020.08.12 발송처리완료 (Completion of Transmission) 9-6-2020-0128939-12
6 의견제출통지서
Notification of reason for refusal
2020.09.09 발송처리완료 (Completion of Transmission) 9-5-2020-0623118-09
7 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.11.09 수리 (Accepted) 1-1-2020-1197444-28
8 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.11.09 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-1197445-74
9 등록결정서
Decision to grant
2021.03.26 발송처리완료 (Completion of Transmission) 9-5-2021-0246179-19
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
이미지 합성 방법으로서,얼굴 이미지를 포함하는 제 1 이미지를 획득하는 단계;미리 훈련된 심층 신경망 모델을 적용하여 상기 제 1 이미지의 얼굴의 각 이목구비의 중심을 시작점으로 한 각 이목구비에 대한 복수 개의 1차 특징점들을 검출하는 단계;상기 1차 특징점들 각각의 인접 화소들을 대상으로 정의되는 화소값에 대한 정규분포에 기초하여 2차 특징점들을 결정하는 단계;상기 제 1 이미지에 합성하기 위한 제 2 이미지를 획득하는 단계;상기 제 2 이미지의 경계를 추출하는 단계;상기 제 1 이미지의 2차 특징점들의 좌표값을 기반으로 상기 제 2 이미지의 경계에 대응하는 좌표값을 매칭하는 단계; 및상기 제 1 이미지와 상기 제 2 이미지를 병합(merging)하여 출력하는 단계를 포함하되,상기 이미지 합성 방법은,상기 제 1 이미지의 얼굴 영역을 인식하는 단계;상기 얼굴 영역의 나이, 성별, 피부 타입, 이목구비 특징 및 감정 상태 중 2 이상을 포함하는 얼굴 정보를 검출하는 단계; 및상기 2 이상의 얼굴 정보에 기초하여 상기 제 1 이미지에 합성할 제 2 이미지를 설정하는 단계를 더 포함하고,상기 2차 특징점들을 결정하는 단계는,상기 1차 특징점들을 중심으로 미리 정해진 사이즈의 윈도우 내에 포함되는 인접 화소들을 대상으로 화소값에 대한 분포 그래프를 생성하는 단계;상기 분포 그래프와 정규분포의 유사도를 평가하는 단계;상기 윈도우의 사이즈를 증가시키며 상기 유사도를 평가하고, 상기 유사도가 미리 정해진 임계치 이상이 되는 경우, 상기 윈도우의 사이즈를 확정하고 대상 인접 화소들에 대한 분포 그래프에서 정점을 확인하는 단계; 및상기 정점에 대응하는 위치를 상기 2차 특징점들로 결정하는 단계를 포함하는,이미지 합성 방법
2 2
제 1 항에 있어서,상기 제 1 이미지를 획득하는 단계는,상기 제 1 이미지에 포함된 얼굴 영역의 개수를 조정하는 단계; 및상기 제 1 이미지에 포함된 얼굴 영역의 전처리(preprocess)를 수행하는 단계를 포함하는,이미지 합성 방법
3 3
제 2 항에 있어서,상기 얼굴 영역의 개수를 조정하는 단계는,상기 제 1 이미지에 포함된 얼굴 후보영역을 추출하는 단계;상기 얼굴 후보영역의 정확도를 산출하는 단계; 및상기 얼굴 후보영역의 정확도에 기초하여 최종 얼굴 영역을 결정하는 단계를 포함하는,이미지 합성 방법
4 4
제 3 항에 있어서,상기 얼굴 영역의 전처리를 수행하는 단계는,결정된 상기 최종 얼굴 영역의 크기, 위치, 색상, 밝기 및 방향 중 적어도 하나 이상을 조정하는 단계를 포함하는,이미지 합성 방법
5 5
삭제
6 6
제 1 항에 있어서,상기 제 2 이미지의 경계를 추출하는 단계는,상기 제 2 이미지의 레벨 값을 기반으로 하여 2차원 배열에서 윤곽을 추출하는 단계;상기 제 2 이미지를 회색조(grayscale) 이미지로 변환하는 단계; 및상기 제 2 이미지 내 화소들의 중간 값을 산출하여 배열의 중간 값을 지정하는 단계를 포함하는,이미지 합성 방법
7 7
제 1 항에 있어서,상기 미리 훈련된 심층 신경망 모델은,특징점들이 레이블링된 다수의 얼굴 이미지들을 포함하는 훈련 데이터를 이용하여, 얼굴 이미지들이 입력되는 경우 입력된 얼굴 이미지들에서 대응하는 특징점들의 위치를 특정할 수 있도록 미리 훈련된 신경망 모델인,이미지 합성 방법
8 8
제 6 항에 있어서,상기 매칭하는 단계는,상기 제 1 이미지의 2차 특징점들의 좌표 값과 상기 제 2 이미지의 경계의 좌표 값에 기초하여 상기 제 2 이미지의 병합될 이미지의 크기와 상기 제 1 이미지의 얼굴 이미지의 크기의 비율을 추출하는 단계;상기 제 1 이미지의 2차 특징점들의 좌표 값과 상기 제 2 이미지의 경계의 좌표 값을 기준으로 상기 제 1 이미지의 2차 특징점들과 상기 제 2 이미지의 경계의 좌표 값을 연결하는 벡터를 산출하는 단계; 및상기 비율 및 상기 벡터의 길이 및 방향을 기반으로 상기 제 2 이미지를 축소 또는 확대하는 단계를 포함하는,이미지 합성 방법
9 9
제 8 항에 있어서,상기 병합(merging)하여 출력하는 단계는,상기 제 1 이미지에서 상기 제 2 이미지가 합성될 위치에 대응하는 좌표 값에 기초하여, 상기 축소 또는 확대된 제 2 이미지를 상기 제 1 이미지에 합성하는 단계를 포함하는,이미지 합성 방법
10 10
삭제
11 11
이미지 합성 장치로서,얼굴 이미지를 포함하는 제 1 이미지 및 상기 제 1 이미지에 합성하기 위한 제 2 이미지를 수신하는 통신 인터페이스;하나 이상의 프로세서; 및상기 하나 이상의 프로세서와 연결되는 메모리를 포함하고,상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,미리 훈련된 심층 신경망 모델을 적용하여 상기 제 1 이미지의 얼굴의 각 이목구비의 중심을 시작점으로 한 각 이목구비에 대한 복수 개의 1차 특징점들을 검출하고,상기 1차 특징점들 각각의 인접 화소들을 대상으로 정의되는 화소값에 대한 정규분포에 기초하여 2차 특징점들을 결정하고,상기 제 2 이미지의 경계를 추출하며,상기 제 1 이미지의 상기 2차 특징점들의 좌표값을 기반으로 상기 제 2 이미 지의 경계에 대응하는 좌표값을 매칭하고,상기 제 1 이미지와 상기 제 2 이미지를 병합(merging)하여 출력하도록 야기하는(cause) 코드들을 저장하며,상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금상기 제 1 이미지의 얼굴 영역을 인식하고, 상기 얼굴 영역의 나이, 성별, 피부 타입, 이목구비 특징 및 감정 상태 중 2 이상을 포함하는 얼굴 정보를 검출하며, 상기 2 이상의 얼굴 정보에 기초하여 상기 제 1 이미지에 합성할 제 2 이미지를 설정하도록 야기하는 코드들을 추가로 저장하고,상기 2차 특징점들을 결정하는 동작은,상기 1차 특징점들을 중심으로 미리 정해진 사이즈의 윈도우 내에 포함되는 인접 화소들을 대상으로 화소값에 대한 분포 그래프를 생성하는 동작;상기 분포 그래프와 정규분포의 유사도를 평가하는 동작;상기 윈도우의 사이즈를 증가시키며 상기 유사도를 평가하고, 상기 유사도가 미리 정해진 임계치 이상이 되는 경우, 상기 윈도우의 사이즈를 확정하고 대상 인 접 화소들에 대한 분포 그래프에서 정점을 확인하는 동작; 및상기 정점에 대응하는 위치를 상기 2차 특징점들로 결정하는 동작을 포함하는,이미지 합성 장치
12 12
제 11 항에 있어서,상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,상기 제 1 이미지에 포함된 얼굴 영역의 개수를 조정하고, 상기 제 1 이미지에 포함된 얼굴 영역의 전처리(preprocess)를 수행하도록 야기하는 코드들을 저장하는,이미지 합성 장치
13 13
제 12 항에 있어서,상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,상기 제 1 이미지에 포함된 얼굴 후보영역을 추출하고, 상기 얼굴 후보영역의 정확도를 산출하며, 상기 얼굴 후보영역의 정확도에 기초해 최종 얼굴 영역을 결정하여, 상기 제 1 이미지에 포함된 얼굴 영역의 개수를 조정하도록 야기하는 코드들을 저장하는,이미지 합성 장치
14 14
제 13 항에 있어서,상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,결정된 상기 최종 얼굴 영역의 크기, 위치, 색상, 밝기 및 방향 중 적어도 하나 이상을 조정하여, 상기 얼굴 영역의 전처리를 수행하도록 야기하는 코드들을 저장하는,이미지 합성 장치
15 15
삭제
16 16
제 11 항에 있어서,상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,상기 제 2 이미지의 레벨 값을 기반으로 하여 2차원 배열에서 윤곽을 추출하고, 상기 제 2 이미지를 회색조(grayscale) 이미지로 변환하며, 상기 제 2 이미지 내 화소들의 중간 값을 산출해 배열의 중간 값을 지정하여, 상기 제 2 이미지의 경계를 추출하도록 야기하는 코드들을 저장하는, 이미지 합성 장치
17 17
제 11 항에 있어서,상기 미리 훈련된 심층 신경망 모델은,특징점들이 레이블링된 다수의 얼굴 이미지들을 포함하는 훈련 데이터를 이용하여 얼굴 이미지들이 입력되는 경우 대응하는 특징점들의 위치를 특정할 수 있도록 미리 훈련된 신경망 모델인,이미지 합성 장치
18 18
제 16 항에 있어서,상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,상기 제 1 이미지의 2차 특징점들의 좌표 값과 상기 제 2 이미지의 경계의 좌표 값에 기초하여 상기 제 2 이미지의 병합될 이미지의 크기와 상기 제 1 이미지의 얼굴 이미지의 크기의 비율을 추출하고, 상기 제 1 이미지의 2차 특징점들의 좌표 값과 상기 제 2 이미지의 경계의 좌표 값을 기준으로 상기 제 1 이미지의 2차 특징점들과 상기 제 2 이미지의 경계의 좌표 값을 연결하는 벡터를 산출하고, 상기 비율 및 상기 벡터의 길이 및 방향을 기반으로 상기 제 2 이미지를 축소 또는 확대하도록 야기하는 코드들을 저장하는,이미지 합성 장치
19 19
제 18 항에 있어서,상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,상기 제 1 이미지의 상기 제 2 이미지가 합성될 위치에 대응하는 좌표 값에 기초하여, 상기 축소 또는 확대된 제 2 이미지를 상기 제 1 이미지에 합성하도록 야기하는 코드들을 저장하는,이미지 합성 장치
20 20
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 조선대학교 산학협력단 SW중심대학 SW중심대학(조선대)