맞춤기술찾기

이전대상기술

깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법

  • 기술번호 : KST2015015319
  • 담당센터 :
  • 전화번호 :
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 깊이 카메라를 통해 하나의 평면 영역을 촬영하여 깊이 정보를 획득하고 대응되는 색 영상에 발생하는 원근 왜곡을 깊이 정보를 통해 보정하여 처리 속도와 정확도를 높일 수 있도록 한 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법에 관한 것으로, 깊이 카메라에서 촬영된 평면에 대한 영상에서 깊이 정보를 산출하는 깊이 정보 산출부;깊이 정보 산출부에서 산출된 깊이 정보를 이용하여 각 화소의 카메라 좌표계에서의 위치를 계산하는 좌표 변환부;좌표 변환부에서 계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 국소 법선 벡터 산출부;국소적 법선 벡터를 이용하여 전체 평면의 법선 벡터를 구하는 평면 법선 벡터 산출부;영상의 회전축과 사이 각을 계산하여 회전 행렬을 구하는 회전 행렬 계산부;회전 변환을 적용하여 카메라의 위치에 따른 영상의 왜곡을 보정하는 원근 왜곡 보정부;를 포함하는 것이다.
Int. CL H04N 9/64 (2006.01) H04N 5/217 (2016.01)
CPC H04N 13/246(2013.01) H04N 13/246(2013.01) H04N 13/246(2013.01) H04N 13/246(2013.01) H04N 13/246(2013.01)
출원번호/일자 1020150019563 (2015.02.09)
출원인 동의대학교 산학협력단
등록번호/일자 10-1589167-0000 (2016.01.21)
공개번호/일자
공고번호/일자 (20160127) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2015.02.09)
심사청구항수 18

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 동의대학교 산학협력단 대한민국 부산광역시 부산진구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 권순각 대한민국 부산광역시 부산진구
2 이동석 대한민국 울산광역시 남구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 정기택 대한민국 서울특별시 서초구 강남대로**길 **, *층 (반포동, 새로나빌딩)(스카이특허법률사무소)
2 오위환 대한민국 서울특별시 서초구 강남대로**길 **, *층 (반포동, 새로나빌딩)(스카이특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 동의대학교 산학협력단 부산광역시 부산진구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2015.02.09 수리 (Accepted) 1-1-2015-0136333-10
2 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2015.02.10 수리 (Accepted) 1-1-2015-0141662-33
3 출원인정보변경(경정)신고서
Notification of change of applicant's information
2015.02.26 수리 (Accepted) 4-1-2015-0010968-18
4 선행기술조사의뢰서
Request for Prior Art Search
2015.07.10 수리 (Accepted) 9-1-9999-9999999-89
5 선행기술조사보고서
Report of Prior Art Search
2015.09.10 발송처리완료 (Completion of Transmission) 9-6-2015-0075246-96
6 의견제출통지서
Notification of reason for refusal
2015.10.29 발송처리완료 (Completion of Transmission) 9-5-2015-0751086-87
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2015.11.25 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2015-1150112-89
8 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2015.11.25 수리 (Accepted) 1-1-2015-1150075-87
9 등록결정서
Decision to grant
2016.01.19 발송처리완료 (Completion of Transmission) 9-5-2016-0044741-25
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
깊이 카메라에서 촬영된 평면에 대한 영상에서 깊이 정보를 산출하는 깊이 정보 산출부;깊이 정보 산출부에서 산출된 깊이 정보를 이용하여 각 화소의 카메라 좌표계에서의 위치를 계산하는 좌표 변환부;좌표 변환부에서 계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 국소 법선 벡터 산출부;국소 법선 벡터 산출부에서 구해진 각 화소의 국소적 법선 벡터를 더하여 평면 영역에서의 법선 벡터 N을 구하는 평면 법선 벡터 산출부;영상의 회전축을 계산하고, 영상내 평면의 법선벡터와 카메라 축 정면으로 향하는 벡터간의 사이 각을 계산하여 회전 행렬을 구하는 회전 행렬 계산부;깊이 카메라로 촬영한 영상을 회전 변환을 통해 평면영역의 법선 벡터 N를 z축에 평행하게 하여 평면 영상을 xy평면에 평행한 영상으로 보정하여 원근 왜곡을 제거하는 원근 왜곡 보정부;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템
2 2
제 1 항에 있어서, 좌표 변환부는,깊이 카메라를 통해 평면을 촬영하여 영상에서의 화소의 위치 P(x,y)와 그 화소에서의 깊이 값인 카메라를 중심으로 하는 xy평면으로부터의 거리 D(x,y)를 얻고,화소에서의 깊이 정보 D(x,y)와 깊이 카메라의 인자를 이용하여 카메라의 초점을 원점으로 하고 카메라의 정면 광학축 방향을 Z축으로 하는 카메라 좌표계로 변환하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템
3 3
제 2 항에 있어서, 카메라 좌표계로의 변환은,화소의 위치 P(x,y)는 영상의 왼쪽상단 모서리를 원점으로 하는 영상 좌표계에서의 위치정보이고, 깊이 정보 D(x,y)는 카메라 좌표계 내에서 z축의 거리 zc가 되고,영상 좌표계 내에서의 위치 P(x,y)를 영상 중앙이 원점이 되는 좌표계 상의 위치정보 Pv(xv, yv)로 변환하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템
4 4
제 1 항에 있어서, 좌표 변환부는 각 화소의 카메라 좌표계에서의 위치를 계산하기 위하여,카메라의 내부 정보인 시야각과 해상도를 사용하여 영상이 투영되는 뷰포트까지의 거리 f를 카메라의 수직 시야각 fovv와 카메라의 수직 해상도 h를 통해 f를 구하거나 수평 시야각 fovh과 카메라의 수직 해상도 w를 통해 구하고, 구해진 f를 이용하여 카메라 좌표계에서의 위치 Pc(x, y) = (xc, yc, zc)로 변환하여 카메라 좌표계에서의 위치정보를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템
5 5
제 1 항에 있어서, 국소 법선 벡터 산출부는,영상 좌표계에서의 위치 P(x,y)에서의 카메라 좌표계에서의 위치를 Pc(x,y)라고 한다면 화소의 상하에 위치한 점들의 카메라 좌표계에서의 위치정보 Pc(x,y+1), Pc(x,y-1)와 좌우에 위치한 점들의 카메라 좌표계에서의 위치정보 Pc(x+1,y), Pc(x-1,y)를 토대로 두 개의 벡터를 생성하고,을 통해 두 벡터의 외적을 구하여 화소 P(x,y) 에서의 국소적인 법선 벡터 Nxy를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템
6 6
삭제
7 7
제 1 항에 있어서, 회전 변환을 거친 후의 평면 법선 벡터의 단위 벡터는 N'(0,0,1)가 되는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템
8 8
제 1 항에 있어서, 회전 행렬 계산부에서,평면 영역에서의 법선 벡터를 N, 회전 변환을 거친 후의 평면 법선 벡터의 단위 벡터를 N'이라 하면,회전 변환의 축이 되는 단위벡터는 을 통해 변환 전 후의 각각의 법선 벡터를 외적하여 정규화한 벡터 u(ux,uy,uz)이고, 회전각 은 를 통하여 구한 두 벡터의 사이각인 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템
9 9
제 1 항 또는 제 8 항에 있어서, 회전 행렬 계산부에서,회전변환 행렬 R는 을 통하여 구하고,이 변환 행렬을 통해 각 화소의 카메라 좌표계에서의 위치 Pc(i,j)를 을 통해 회전 변환을 하여 변환 후의 위치 P'c(i,j) = (x'c,y'c,z'c)를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템
10 10
제 1 항에 있어서, 원근 왜곡 보정부는,영상이 투영되는 뷰포트까지의 거리 f, 회전 변환을 하여 구해진 변환 후의 위치 P'c(i,j) = (x'c,y'c,z'c)라 하면,P'는 카메라 좌표계 상의 좌표이므로 이를 다시 영상 좌표계로 변환하기 위하여,를 이용하여,원점이 화면 중심에 존재하는 영상 좌표계에서의 위치 P'v(x'v,y'v)로 변환한 다음 원점을 다시 원래대로 설정하여 보정 변환 시 화소 P(x,y)에 사상되는 화소 P'(x',y')를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템
11 11
깊이 카메라에서 촬영된 평면에 대한 영상에서 깊이 정보를 산출하는 단계;산출된 깊이 정보를 이용하여 각 화소의 카메라 좌표계에서의 위치를 계산하는 단계;계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 단계;구해진 각 화소의 국소적 법선 벡터를 더하여 평면 영역에서의 법선 벡터 N을 구하는 단계;영상의 회전축을 계산하고, 영상내 평면의 법선벡터와 카메라 축 정면으로 향하는 벡터간의 사이 각을 계산하여 회전 행렬을 구하는 단계;깊이 카메라로 촬영한 영상을 회전 변환을 통해 평면영역의 법선 벡터 N를 z축에 평행하게 하여 평면 영상을 xy평면에 평행한 영상으로 보정하여 원근 왜곡을 제거하는 단계;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법
12 12
제 11 항에 있어서, 각 화소의 카메라 좌표계에서의 위치를 계산하는 단계에서,깊이 카메라를 통해 평면을 촬영하여 영상에서의 화소의 위치 P(x,y)와 그 화소에서의 깊이 값인 카메라를 중심으로 하는 xy평면으로부터의 거리 D(x,y)를 얻고,화소에서의 깊이 정보 D(x,y)와 깊이 카메라의 인자를 이용하여 카메라의 초점을 원점으로 하고 카메라의 정면 광학축 방향을 Z축으로 하는 카메라 좌표계로 변환하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법
13 13
제 12 항에 있어서, 카메라 좌표계로의 변환은,화소의 위치 P(x,y)는 영상의 왼쪽상단 모서리를 원점으로 하는 영상 좌표계에서의 위치정보이고, 깊이 정보 D(x,y)는 카메라 좌표계 내에서 z축의 거리 zc가 되고,영상 좌표계 내에서의 위치 P(x,y)를 영상 중앙이 원점이 되는 좌표계 상의 위치정보 Pv(xv, yv)로 변환하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법
14 14
제 11 항에 있어서, 각 화소의 카메라 좌표계에서의 위치를 계산하기 위하여,카메라의 내부 정보인 시야각과 해상도를 사용하여 영상이 투영되는 뷰포트까지의 거리 f를 카메라의 수직 시야각 fovv와 카메라의 수직 해상도 h를 통해 f를 구하거나 수평 시야각 fovh과 카메라의 수직 해상도 w를 통해 구하고, 구해진 f를 이용하여 카메라 좌표계에서의 위치 Pc(x, y) = (xc, yc, zc)로 변환하여 카메라 좌표계에서의 위치정보를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법
15 15
제 11 항에 있어서, 국소 법선 벡터 산출을 위하여,영상 좌표계에서의 위치 P(x,y)에서의 카메라 좌표계에서의 위치를 Pc(x,y)라고 한다면 화소의 상하에 위치한 점들의 카메라 좌표계에서의 위치정보 Pc(x,y+1), Pc(x,y-1)와 좌우에 위치한 점들의 카메라 좌표계에서의 위치정보 Pc(x+1,y), Pc(x-1,y)를 토대로 두 개의 벡터를 생성하고,을 통해 두 벡터의 외적을 구하여 화소 P(x,y) 에서의 국소적인 법선 벡터 Nxy를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법
16 16
삭제
17 17
제 11 항에 있어서, 회전 변환을 거친 후의 평면 법선 벡터의 단위 벡터는 N'(0,0,1)가 되는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법
18 18
제 11 항에 있어서, 회전 행렬 계산에서,평면 영역에서의 법선 벡터를 N, 회전 변환을 거친 후의 평면 법선 벡터의 단위 벡터를 N'이라 하면,회전 변환의 축이 되는 단위벡터는 을 통해 변환 전 후의 각각의 법선 벡터를 외적하여 정규화한 벡터 u(ux,uy,uz)이고, 회전각 은 를 통하여 구한 두 벡터의 사이각인 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법
19 19
제 11 항 또는 제 18 항에 있어서, 회전 행렬 계산을 위하여,회전변환 행렬 R는 을 통하여 구하고,이 변환 행렬을 통해 각 화소의 카메라 좌표계에서의 위치 Pc(i,j)를 을 통해 회전 변환을 하여 변환 후의 위치 P'c(i,j) = (x'c,y'c,z'c)를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법
20 20
제 11 항에 있어서, 원근 왜곡 보정을 위하여,회전 변환을 하여 구해진 변환 후의 위치 P'c(i,j) = (x'c,y'c,z'c)라 하면,P'는 카메라 좌표계 상의 좌표이므로 이를 다시 영상 좌표계로 변환하기 위하여,영상이 투영되는 뷰포트까지의 거리를 f라 할 때, 를 이용하여,원점이 화면 중심에 존재하는 영상 좌표계에서의 위치 P'v(x'v,y'v)로 변환한 다음 원점을 다시 원래대로 설정하여 보정 변환 시 화소 P(x,y)에 사상되는 화소 P'(x',y')를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 산업통상자원부-중소기업청 동의대학교 산학협력단 산학연협력 첫걸음 기술개발사업 차세대 관제시스템을 위한 깊이 정보 기반의 터치스크린 기술(중소기업산학협력센터)