맞춤기술찾기

이전대상기술

상관관계 점수 행렬 생성 알고리즘을 이용한 인공 신경망 기반의 장소 인식 장치 및 방법

  • 기술번호 : KST2020015417
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명에 따르면, 인식하고자 하는 장소가 포함된 분석 대상 영상에 포함된 다수의 객체와 관련된 정보를 객체 특징값으로 추출하는 객체 정보 추출부, 분석 대상 영상에 포함된 다수의 객체와 관련된 장소 인식을 위한 객체-장소 상관도를 변환 파라미터로 나타내는 인공 신경망 기반의 변환 모델을 생성하고, 상기 객체 특징값을 기반으로 상기 변환 파라미터를 조정하여 상기 변환 모델을 갱신하는 학습 진행부를 포함하여 영상단위 장소 인식 성능을 향상시키는 상관관계 점수 행렬 생성 알고리즘을 이용한 인공 신경망 기반의 장소 인식 장치 및 방법이 개시된다.
Int. CL G06N 3/08 (2006.01.01) G06K 9/46 (2006.01.01)
CPC G06N 3/08(2013.01) G06N 3/08(2013.01) G06N 3/08(2013.01)
출원번호/일자 1020190041544 (2019.04.09)
출원인 연세대학교 산학협력단
등록번호/일자
공개번호/일자 10-2020-0120987 (2020.10.23) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2019.04.09)
심사청구항수 14

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 대한민국 서울특별시 서대문구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김은태 서울특별시 서대문구
2 성홍제 서울특별시 서대문구
3 현준혁 서울특별시 서대문구
4 이수현 서울특별시 서대문구
5 우수한 서울특별시 서대문구
6 장현배 서울특별시 서대문구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인우인 대한민국 서울특별시 강남구 역삼로 ***, *층(역삼동, 중평빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2019.04.09 수리 (Accepted) 1-1-2019-0363530-15
2 의견제출통지서
Notification of reason for refusal
2020.06.29 발송처리완료 (Completion of Transmission) 9-5-2020-0442128-10
3 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.08.25 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0893046-73
4 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.08.25 수리 (Accepted) 1-1-2020-0893045-27
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
인식하고자 하는 장소가 포함된 분석 대상 영상에 포함된 다수의 객체와 관련된 정보를 객체 특징값으로 추출하는 객체 정보 추출부; 및상기 분석 대상 영상에 포함된 다수의 객체와 관련된 장소 인식을 위한 객체-장소 상관도를 변환 파라미터로 나타내는 인공 신경망 기반의 변환 모델을 생성하고, 상기 객체 특징값을 기반으로 상기 변환 파라미터를 조정하여 상기 변환 모델을 갱신하는 학습 진행부;를 포함하는 것을 특징으로 하는 인공 신경망 기반의 장소 인식 장치
2 2
제1항에 있어서,상기 객체 정보 추출부는,상기 인식하고자 하는 장소가 포함된 분석 대상 영상을 입력 받는 입력부;객체 인식 데이터셋에 미리 학습된 합성곱 신경망(Convolutional Neural Network, CNN)을 이용하여 상기 분석 대상 영상에 포함된 다수의 객체를 추적하는 객체 추적부; 및추적한 다수의 객체와 관련된 정보를 객체 특징값으로 추출하는 객체 특징값 추출부;를 포함하는 것을 특징으로 하는 인공 신경망 기반의 장소 인식 장치
3 3
제1항에 있어서,상기 인식하고자 하는 장소가 포함된 분석 대상 영상에서 영상 단위 장소 인식 데이터셋을 사용하여 상기 분석 대상 영상의 장소 정보를 장소 특징값으로 추출하는 장소 정보 추출부;를 더 포함하는 것을 특징으로 하는 인공 신경망 기반의 장소 인식 장치
4 4
제3항에 있어서,상기 학습 진행부는,상기 객체 정보 추출부에서 추출된 상기 객체 특징값을 기반으로 객체 점수 벡터를 산출하는 객체 점수 벡터 산출부;상기 객체-장소 상관도를 나타내는 변환 파라미터로 상관관계 점수 행렬을 산출하는 상관관계 점수 행렬 산출부; 및상기 상관관계 점수 행렬과 상기 객체 점수 벡터의 곱의 연산을 수행하여 장소 점수 벡터를 산출하는 장소 점수 벡터 산출부;를 포함하는 것을 특징으로 하는 인공 신경망 기반의 장소 인식 장치
5 5
제4항에 있어서,상기 학습 진행부는,상기 장소 점수 벡터 산출부에서 산출된 상기 장소 점수 벡터를 이용하여 상기 상관관계 점수 행렬의 손실값을 계산하고, 상기 손실값을 기반으로 상기 변환 파라미터를 조정하여 상기 인공 신경망을 트레이닝 하는 트레이닝부;를 더 포함하는 것을 특징으로 하는 인공 신경망 기반의 장소 인식 장치
6 6
제4항에 있어서,상기 객체 특징값은, n(여기서, n은 자연수)차원 어레이(tensor)의 엘리먼트들이며,상기 객체 점수 벡터 산출부는,상기 엘리먼트들 각각을 n개의 정규화된 벡터 데이터로 변환하는 것을 특징으로 하는 인공 신경망 기반의 장소 인식 장치
7 7
제5항에 있어서,상기 트레이닝부는,상기 장소 점수 벡터 산출부에서 산출된 상기 장소 점수 벡터로 장소 예측값을 출력하고, 상기 장소 예측값과 장소 특징값을 비교하여 상기 상관관계 점수 행렬의 손실값을 계산하는 손실값 계산부; 및상기 손실값을 기반으로 역전파(Back Propagation) 알고리즘을 이용하여 상기 변환 파라미터를 조정하는 조정부;를 포함하는 것을 특징으로 하는 인공 신경망 기반의 장소 인식 장치
8 8
제7항에 있어서,상기 트레이닝부는,상기 장소 예측값과 장소 특징값을 비교하여 계산한 상기 손실값이 임계치보다 작을 때까지 상기 변환 파라미터를 조정하여 상기 변환 모델을 갱신하는 것을 특징으로 하는 인공 신경망 기반의 장소 인식 장치
9 9
제2항에 있어서,상기 객체 인식 데이터셋은,상기 분석 대상 영상에서 상기 인식하고자 하는 장소와 관련이 있는 객체들을 검출할 가능성 있는 영역들의 세트인 것을 특징으로 하는 인공 신경망 기반의 장소 인식 장치
10 10
객체 정보 추출부에서 추출된 객체 특징값을 기반으로 객체 점수 벡터를 산출하는 객체 점수 벡터 산출부;객체-장소 상관도를 나타내는 변환 파라미터로 상관관계 점수 행렬을 산출하는 상관관계 점수 행렬 산출부;상기 상관관계 점수 행렬과 상기 객체 점수 벡터의 곱의 연산을 수행하여 장소 점수 벡터를 산출하는 장소 점수 벡터 산출부; 및상기 장소 점수 벡터 산출부에서 산출된 상기 장소 점수 벡터를 이용하여 상기 상관관계 점수 행렬의 손실값을 계산하고, 상기 손실값을 기반으로 상기 변환 파라미터를 조정하여 인공 신경망을 트레이닝 하는 트레이닝부;를 포함하는 것을 특징으로 하는 상관관계 점수 행렬 생성 알고리즘 생성 장치
11 11
제10항에 있어서,상기 트레이닝부는,상기 장소 점수 벡터 산출부에서 산출된 상기 장소 점수 벡터로 장소 예측값을 출력하고, 상기 장소 예측값과 장소 특징값을 비교하여 상기 상관관계 점수 행렬의 손실값을 계산하는 손실값 계산부; 및상기 손실값을 기반으로 역전파(Back Propagation) 알고리즘을 이용하여 상기 변환 파라미터를 조정하는 조정부;를 포함하는 것을 특징으로 하는 상관관계 점수 행렬 생성 알고리즘 생성 장치
12 12
제11항에 있어서,상기 트레이닝부는,상기 장소 예측값과 장소 특징값을 비교하여 계산한 상기 손실값이 임계치보다 작을 때까지 상기 변환 파라미터를 조정하여 변환 모델을 갱신하는 것을 특징으로 하는 상관관계 점수 행렬 생성 알고리즘 생성 장치
13 13
장소 정보 추출부가 인식하고자 하는 장소가 포함된 분석 대상 영상에서 영상 단위 장소 인식 데이터셋을 사용하여 상기 분석 대상 영상의 장소 정보를 장소 특징값으로 추출하는 단계;객체 정보 추출부가 객체 인식 데이터셋에 미리 학습된 합성곱 신경망(Convolutional Neural Network, CNN)을 이용하여 상기 인식하고자 하는 장소가 포함된 분석 대상 영상에 포함된 다수의 객체와 관련된 정보를 객체 특징값으로 추출하는 단계; 및학습 진행부가 상기 분석 대상 영상에 포함된 다수의 객체와 관련된 장소 인식을 위한 객체-장소 상관도를 변환 파라미터로 나타내는 인공 신경망 기반의 변환 모델을 생성하고, 상기 객체 특징값을 기반으로 상기 변환 파라미터를 조정하여 변환 모델을 갱신하는 단계;를 포함하는 것을 특징으로 하는 인공 신경망 기반의 장소 인식 방법
14 14
제13항에 있어서,상기 변환 파라미터를 조정하여 상기 변환 모델을 갱신하는 단계는,객체 점수 벡터 산출부가 상기 객체 정보 추출부에서 추출된 상기 객체 특징값을 기반으로 객체 점수 벡터를 산출하는 단계;상관관계 점수 행렬 산출부가 상기 객체-장소 상관도를 나타내는 변환 파라미터로 상관관계 점수 행렬을 산출하는 단계;장소 점수 벡터 산출부가 상기 상관관계 점수 행렬과 상기 객체 점수 벡터의 곱의 연산을 수행하여 상기 장소 점수 벡터를 산출하는 단계; 및트레이닝부가 상기 장소 점수 벡터 산출부에서 산출된 상기 장소 점수 벡터를 이용하여 상기 상관관계 점수 행렬의 손실값을 계산하고, 상기 손실값을 기반으로 상기 변환 파라미터를 조정하여 상기 인공 신경망을 트레이닝 하는 단계;를 포함하는 것을 특징으로 하는 인공 신경망 기반의 장소 인식 방법
15 15
제14항에 있어서,상기 인공 신경망을 트레이닝 하는 단계는,손실값 계산부가 상기 장소 점수 벡터 산출부에서 산출된 상기 장소 점수 벡터로 장소 예측값을 출력하고, 상기 장소 예측값과 장소 특징값을 비교하여 상기 상관관계 점수 행렬의 손실값을 계산하는 단계; 및조정부가 상기 손실값을 기반으로 역전파(Back Propagation) 알고리즘을 이용하여 상기 변환 파라미터를 조정하는 단계;를 포함하는 것을 특징으로 하는 인공 신경망 기반의 장소 인식 방법
16 16
제15항에 있어서,상기 인공 신경망을 트레이닝 하는 단계는,상기 장소 예측값과 장소 특징값을 비교하여 계산한 상기 손실값이 임계치보다 작을 때까지 상기 변환 파라미터를 조정하여 상기 변환 모델을 갱신하는 것을 특징으로 하는 인공 신경망 기반의 장소 인식 방법
17 17
제13항 내지 제16항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2020209487 WO 세계지적재산권기구(WIPO) FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
DOCDB 패밀리 정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 연세대학교 차세대정보컴퓨팅기술개발사업 딥러닝 기반 의미론적 상황 이해 원천기술 연구