안경을 포함하는 칼라의 정면 얼굴 영상으로부터 안경 제거 영상을 획득하기 위한 영상 처리 방법에 있어서,

a) 안경을 포함하고 있는 RGB의 칼라 정면 얼굴 영상을 수신하는 단계 ―상기 RGB 각각은 상기 수신된 칼라 정면 얼굴 영상에 포함된 빨강(Red) 성분, 초록(Green) 성분, 파랑(Blue) 성분을 나타냄 ―와,

b) 상기 수신된 칼라 정면 얼굴 영상으로부터 눈의 후보 영역들을 추출하는 단계와,

c) 상기 후보 영역들 중에서 정확한 눈의 영역을 결정하고, 상기 결정된 눈의 영역을 중심으로 상기 수신된 칼라 정면 얼굴 영상을 사전설정된 크기로 정규화하는 단계와,

d) 상기 수신된 칼라 정면 얼굴 영상 내에 포함된 색상 정보와 안경테의 에지(edge) 정보를 이용하여 안경테 영역을 추출하는 단계와,

e) 상기 정규화된 정면 얼굴 영상에 대해 RGB-HSI 변환을 수행하는 단계와,

f) 상기 RGB-HSI 변환된 H, S, I 성분의 정규화된 정면 얼굴 영상들에 근거하여 안경이 제거된 보정 영상 H', S', I'을 생성하는 단계 ―상기 H, S, I 성분은 각각 색상(Hue) 성분, 채도(Saturation) 성분, 휘도(Intensity) 성분을 나타냄 ―와,

g) 상기 보정 영상 H', S', I'에 대해 HSI-RGB 변환을 수행함으로써 R', G', B' 보정 영상을 획득하는 단계와,

h) 상기 R', G', B' 보정 영상에 근거하여 안경이 제거된 칼라의 최종 얼굴 영상을 생성하는 단계

를 포함하되,

상기 단계 f)는,

f1) 상기 H, S, I 성분의 정규화된 정면 얼굴 영상들을 재구성한 H, S, I 성분의 재구성 영상들을 획득하는 단계와,

f2) 상기 H, S, I 성분의 정규화된 정면 얼굴 영상들과 상기 H, S, I 성분의 재구성 영상들간의 H, S, I 성분의 제 1 차영상(differential image)들을 획득하는 단계와,

f3) 상기 H, S, I 성분의 제 1 차영상들 내에 포함된 픽셀(pixel) 정보에 근거하여 상기 H, S, I 성분의 제 1 차영상들 각각을 스트레칭(stretching) 함으로써 H, S, I 성분의 제 2 차영상들을 획득하는 단계와,

f4) 상기 H, S, I 성분의 제 2 차영상들 각각을 오클루젼(occlusion) 영역, 비 오클루젼 영역, 불확정 영역으로 구분하기 위한 임계값을 결정하는 단계와,

f5) 상기 I 성분의 제 2 차영상 내에서 상기 결정된 임계값에 따라 구분된 불확정 영역에 상기 추출된 안경테 영역을 포함시킴으로써 I 성분의 제 3 차영상을 획득하는 단계와,

f6) 상기 결정된 임계값에 따라 상기 H 성분 및 S 성분의 제 2 차영상들과 상기 I 성분의 제 3 차영상 각각을 구분하고, 상기 구분된 영역 각각에 대한 가중치를 부여하는 단계와,

f7) 상기 H 성분 및 S 성분의 제 2 차영상들과 상기 I 성분의 제 3 차영상 각각에 상기 가중치를 적용하여 상기 보정 영상 H', S', I'을 획득하는 단계

를 포함하는 영상 처리 방법

제 1 항에 있어서,

상기 H 성분의 정규화된 정면 얼굴 영상은,

(수학식 14)

3

제 2 항에 있어서,

(수학식 15)

4

제 1 항에 있어서,

상기 보정 영상 H', S', I'은 PCA(Principal Component Analysis) 재구성 알고리즘을 통해 획득되며,

상기 단계 c)는,

c1) 상기 수신된 칼라 정면 얼굴 영상 내에 포함된 상기 색상 정보를 이용하여 제 1 및 제 2 변환 영상을 획득하는 단계와,

c2) 상기 제 1 및 제 2 변환 영상을 이용하여 상기 수신된 칼라 정면 얼굴 영상을 정규화하는 단계

를 포함하는 영상 처리 방법

제 4 항에 있어서,

상기 제 1 변환 영상은 GSCD(Generalized Skin Color Distribution) 변환 영상이고, 상기 제 2 변환 영상은 BWCD(Black and White Color Distribution) 변환 영상인 영상 처리 방법

제 5 항에 있어서,

상기 단계 f3)에서의 스트레칭은,

(수학식 8)

8

제 5 항에 있어서,

상기 오클루젼 영역이 상기 안경과, 상기 수신된 칼라 정면 얼굴 영상 내의 상기 안경에 의한 그림자 영역 및 빛의 반사에 의한 에러 등을 포함하는 영역인 영상 처리 방법

제 8 항에 있어서,

상기 단계 f4)는,

상기 제 1 변환 영상을 역상하는 단계와,

상기 역상된 제 1 변환 영상과 상기 제 2 변환 영상을 OR 연산하는 단계와,

상기 OR 연산된 영상 내의 에러값들의 평균을 하위 임계값으로 결정하는 단계와,

상기 하위 임계값보다 큰 에러값들의 평균을 상위 임계값으로 결정하는 단계

를 포함하는 영상 처리 방법

제 9 항에 있어서,

상기 하위 임계값 및 상기 상위 임계값은,

(수학식 9)

11

제 10 항에 있어서,

상기 I 성분의 제 2 차영상 내의 상기 불확정 영역은,

(수학식 10)

12

제 11 항에 있어서,

상기 I 성분의 제 3 차영상에 대해,

(수학식 11)

13

제 12 항에 있어서,

상기 I 성분의 제 3 차영상 내의 상기 오클루젼 영역은,

(수학식 12)

14

제 10 항에 있어서,

상기 H 성분 및 S 성분의 제 2 차영상들 내에서 상기 상위 임계값을 초과하는 에러값을 갖는 영역은 가중치 1, 상기 하위 임계값 미만의 에러값을 갖는 영역은 가중치 0, 상기 하위 임계값과 상기 상위 임계값 사이의 에러값을 갖는 영역은 0

제 14 항에 있어서,

상기 H 성분 및 S 성분의 제 2 차영상들 내의 상기 오클루젼 영역은,

(수학식 12)

16

제 13 항 또는 제 15 항에 있어서,

상기 영상 처리 방법은,

상기 단계 f1) 내지 f7)을 반복하는 단계

를 더 포함하되,

상기 반복 단계 수행시, 상기 단계 f7)에서 생성된 보정 영상이 상기 단계 f1)에서 상기 정규화된 정면 얼굴 영상 대신에 사용되는 영상 처리 방법

제 16 항에 있어서,

상기 영상 처리 방법은,

상기 반복 단계에서 생성된 보정 영상들간의 차이가 사전설정된 값 이하인지 여부를 판단하는 단계와,

상기 차이가 상기 사전설정된 값 이하인 경우, 상기 반복 단계에서 생성된 상기 보정 영상을 HSI-RGB 변환하여 상기 칼라의 최종 얼굴 영상으로서 출력하는 단계와,

상기 차이가 상기 사전설정된 값을 초과하는 경우, 상기 반복 단계를 다시 수행하는 단계