| 1 |
1
(a100) 일반 교육자료 내에 혼합되어 있는 각 정보에 대한 문자영역 및 영상영역을 추출하는 일반교육 자료 내 영상영역 및 문자영역 추출단계;(b100) 상기 추출한 영상영역을 분석하여 도형 및 그래프를 포함하는 저 복잡도 영상과, 삽화 및 사진을 포함하는 고 복잡도 영상을 구분하고, 상기 구분된 각 영상을 복잡도에 따라 서로 다른 처리과정을 통해 촉각정보로 변환하는 복잡도별 영상정보 촉각화단계; 및(c100) 상기 추출한 문자영역 내의 문자정보 및 상기 영상영역 내의 문자정보를 분석하여, 시각장애인이 인지할 수 있는 점자정보로 변환하는 문자인식 및 점자변환단계;를 포함하여 이루어지는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 2 |
2
제1항에 있어서, 상기 (a100) 일반교육 자료 내 영상영역 및 문자영역 추출단계는, 일반 교육자료 내의 각 정보를 영상영역 이외의 문자영역, 영상영역 내의 문자영역, 및 영상영역으로 분류하는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 3 |
3
제1항에 있어서, 상기 (a100) 일반교육 자료 내 영상영역 및 문자영역 추출단계는, (a1) 일반 교육자료에 대한 문자와 시각자료의 특성 분석을 위한 밝기(brightness) 영상 및 라벨(label)에 대한 기반 정보를 생성하는 일반교육 자료 입력단계;(a2) 상기 생성된 밝기 영상 내에서 나타나는 문자와 시각자료의 특징을 기반으로 문자영역과 영상영역을 각각 분류하여 영상영역을 추출하는 영상영역 추출단계; 및(a3) 상기 분류한 영상영역 내에서 문자영역을 검출하는 영상영역 내 문자 추출단계;를 포함하여 이루어지는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 4 |
4
제3항에 있어서, 상기 (a1) 일반교육 자료 입력단계는,(a11) 스캔한 일반 교육자료의 모든 픽셀에 대해 그레이 스케일(gray scale) 처리를 수행하여 밝기 영상에 대한 기반정보를 생성하는 단계;(a12) 상기 생성된 밝기 영상에 대한 기반정보의 이진화 및 라벨링 처리를 통해 라벨에 대한 기반정보를 생성하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 5 |
5
제4항에 있어서, 상기 (a12) 라벨에 대한 기반정보 생성단계는, 상기 생성된 밝기 영상을 흑화소와 백화소만으로 재구성하는 이진화 처리단계;상기 이진화 처리된 밝기 영상의 인접한 흑화소 간의 연결 상태를 검사하여 서로 연결된 픽셀들을 하나의 개체로 판단하여, 적어도 자소(문자를 구성하는 최소 단위) 단위 이상의 개체들로 분류되는 문자와, 백화소의 유무에 따라 하나 혹은 그 이상의 개체로 분류되는 시각자료를 구분하는 라벨링 처리단계;를 포함하여 이루어지는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 6 |
6
제3항에 있어서, 상기 (a2) 영상영역 추출단계는,(a21) 상기 입력된 일반교육 자료에 대한 밝기 영상 내에서 문자와 시각자료의 이웃한 픽셀 간의 밝기 값에 대한 변화량(G)을 수학식 1을 통해 산출하는 단계;(a22) 상기 산출된 문자와 시각자료의 이웃한 픽셀 간의 밝기 값에 대한 변화량(G)만으로 변화량 차이(GD) 영상을 생성하는 단계;(a23) 상기 생성된 GD 영상 내에서 예상되는 문자 영역의 후보군을 결정하기 위해, 상기 생성한 시각자료에 대한 라벨을 이상치(Outlier)로 제외시킨 상태에서, 문자의 라벨에 대한 평균 너비(LWaverage)를 수학식 2를 통해 산출하는 단계;(a24) 상기 산출된 문자의 라벨에 대한 평균 너비(LWaverage)를 기준으로 GD 영상에 대해 수학식 3을 적용하여 최대 변화량 차이(MGD) 영상을 재구성하는 단계;(a25) 상기 재구성한 MGD 영상에 대해 수학식 4를 통해 경계값(Tb)을 결정하여 이진화를 수행하고, 각 행별로 연결된 백화소의 너비를 구하여 2개의 문자를 합한 너비(2LWaverage)보다 작은 너비의 백화소를 제거하여 MGD 영상 내 예상되는 문자영역의 후보군을 결정하는 단계; (a26) 상기 예상되는 문자영역의 후보군을 결정한 MGD 영상에 대해 팽창(dilate)과 침식(erode)의 모폴로지(morphology) 연산을 수행하여 상기 MGD 영상 내에서 자소 및 띄어쓰기에 의해 산재되어 있는 문자영역을 병합하는 단계; 및(a27) 상기 일반교육 자료의 입력단계에서 산출한 자료의 라벨들에 대해, 상기 후보군의 문자영역 내에 포함되는지의 여부를 검사하여, 일반교육 자료 내 문자와 시각자료를 각각 문자영역과 영상영역으로 분류하는 단계;를 포함하여 이루어지는 것을 특징으로 하며,수학식 1수학식 2수학식 3수학식 4상기 수학식 1 내지 수학식 4에서, x, y는 픽셀의 열과 행의 위치, w, h는 영상의 너비와 높이, B(x, y)는 해당 픽셀 위치의 밝기 값, G(x, y)는 이웃한 픽셀에 대한 변화량, Q1과 Q3는 라벨의 너비에 대한 1사분위 수와 3사분위 수, LW와 NL은 각각 라벨의 너비와 라벨의 총 개수, Tb는 이진화를 수행할 경계값인, 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 7 |
7
제6항에 있어서, 상기 (a27) 문자영역과 영상영역 분류단계는,상기 일반교육 자료의 입력단계에서 산출한 자료의 라벨이 상기 후보군의 문자영역 내에 포함되어 있으면 문자에 대한 라벨로 결정하고, 후보군에 포함되어 있지 않으면 영상영역에 대한 라벨로 결정하여, 일반교육 자료 내 문자와 시각자료를각각 문자영역과 영상영역으로 분류하는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 8 |
8
제3항에 있어서, 상기 (a3) 영상영역 내 문자 추출단계는,상기 영상영역 추출단계에서 결정한 영상영역 내에 문자의 유/무를 판단하여, 문자가 있을 시에는 이를 문자영역으로 추출하되, 상기 영상영역 추출단계와 동일한 환경(문자의 라벨에 대한 평균너비, 모폴로지 연산의 필터) 하에서 그 탐색 범위를 영상영역만으로 제한하여 수행하며, 그 결과 영상영역 내 문자영역을 추출하는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 9 |
9
제1항에 있어서, 상기 (b100) 복잡도별 영상정보 촉각화단계는,(b1) 상기 산출된 영상영역의 밝기에 대한 누적 히스토그램을 분석하여 복잡도에 따라 영상을 저 복잡도 영상과 고 복잡도 영상으로 분류하는 영상 분류단계;(b2) 상기 분류된 고 복잡도 영상이 주요 객체를 포함하는지의 여부를 판단하여 추출하는 고 복잡도 영상의 중심객체 유무 판별 및 추출단계; 및(b3) 시각장애인의 인지를 돕기 위해 영상의 복잡도를 낮춰 단순화하는 고 복잡도 영상의 잡음제거 및 단순화단계;를 포함하여 이루어지는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 10 |
10
제9항에 있어서, 상기 (b1) 영상 분류단계는,(b11) 영상에 대한 밝기의 평균누적값을 조건적 연산식 1을 통해 산출하는 단계;(b12) 상기 산출된 밝기의 평균누적값을 조건적 연산식 2를 통해 각각의 밝기 누적값에서 차분하여 저 복잡도 영상 내 밝기의 누적값이 연속된 구간에서 나타나는 현상을 제거하는 단계; 를 포함하여 이루어지는 것을 특징으로 하며, 상기 조건적 연산식 1은, for(i=0, cnt=0, sum=0; i003c#256; i++){if((Q1-1
|
| 11 |
11
제9항에 있어서, 상기 (b2) 고 복잡도 영상의 중심 객체 유무 판별 및 추출단계는, (b21) 고 복잡도 영상을 구성하는 픽셀의 색상 유사도를 측정하고, 양자화(quantization)를 통해 유사한 색상들을 대표색상으로 변환하는 단계;(b22) 상기 대표색상으로 변환된 영상 내에서 중심객체 영역에 해당되는 색상의 분포도를 측정하여, 중심객체의 유무를 판별하는 단계; 및(b23) 상기 판별 결과 중심객체가 존재할 경우 그 중심객체에 대한 윤곽선을 추출하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 12 |
12
제11항에 있어서, 상기 (b21) 유사한 색상들을 대표색상으로 변환하는 단계는, PGF(Peer Group Filtering)기법을 이용하여 양자화 레벨을 결정하는 단계;상기 결정된 레벨에 따른 양자화를 통해 유사한 색상들을 대표색상으로 변환시켜 고 복잡도 영상의 색상에 대한 복잡도를 감소시키는 단계;를 포함하여 이루어지는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 13 |
13
제11항에 있어서, 상기 (b22) 중심객체의 유무를 판별하는 단계는,수학식 6에 정의한 영상의 중심영역에서 빈도수가 가장 많은 색상을 중심객체의 대표색상이라 가정한 상태에서, 이에 대한 세로 방향 및 가로 방향에 대한 분산을 계산하여 영상 내 분포도를 산출하는 단계;상기 산출된 분포도에 따라 중심객체의 유무를 판별하는 단계;를 포함하여 이루어지는 것을 특징으로 하며, 수학식 6상기 수학식 6에서 w, h는 각각 고 복잡도 영상의 너비와 높이, AreaXobj와 AreaYobj는 각각 중심영역의 x축과 y축의 범위인, 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 14 |
14
제13항에 있어서, 상기 중심객체 유무 판별단계는,조건적 연산식 3을 통해 중심객체를 대표하는 색상이 수평적으로 넓게 분포되어 있거나 분포도가 낮은 경우를 중심객체가 없는 영상으로 판단하고, 그 밖의 경우에는 중심객체가 있는 것으로 판단하는 것을 특징으로 하며,조건적 연산식 3smax=max(sverticality, shorizontality)if(((smax == shorizontality)0026#0026#(smax003e#T1))||(smax003c#T2)) then I is a non-object image otherwise I is an object image (T1 = 0
|
| 15 |
15
제11항에 있어서, 상기 (b23) 중심객체의 윤곽선 추출단계는, 상기 양자화된 고 복잡도 영상에서 수학식 7을 통해 정의된 영상의 네 모서리 구간에 대한 배경영역의 대표색상들을 추출하고, 그 추출된 색상들을 영상 전체에서 제거하여 영상 내에 중심객체에 대한 정보만을 남기는 단계;상기 고 복잡도 영상에 대해 이진화 및 라벨링을 수행하여, 중심영역 이외에서 나타나는 색상정보들을 제거함과 아울러 중심객체의 대표색상에 대한 라벨들을 생성하는 단계; 및상기 생성된 각각의 라벨들에 대한 위치가 중심영역에 포함되는지를 검사하여 잡음을 제거하고, 고 복잡도 영상 내에 남겨진 중심 객체의 윤곽선을 검출하여, 촉각정보로 변환할 영상의 중심객체를 추출하는 단계;를 포함하여 이루어지며, 수학식 7상기 수학식 7에서 AreaXn 및 AreaYn은 각각 영상의 네 모서리에 대한 배경영역, w와 h는 고 복잡도 영상의 너비와 높이인, 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 16 |
16
제9항에 있어서, 상기 (b3) 고 복잡도 영상의 잡음제거 및 단순화단계는, (b31) 고 복잡도 영상에 대해 이진화 및 라벨링 처리를 수행하여 영상을 구성하는 윤곽선들에 대한 라벨의 크기를 산출하는 단계;(b32) 영상의 해상도와 햅틱디스플레이의 해상도를 비교하여 너비와 높이의 비율을 산출한 후, 각각의 라벨을 수학식 8을 통해 햅틱디스플레이의 해상도에 맞춰 축소하였을 경우, 픽셀의 크기가 햅틱디스플레이의 1셀 이하로 축소되는 라벨이 가진 영상정보를 중요도가 낮은 잡음으로 분류하여 제거하는 단계;를 포함하여 이루어지며, 수학식 8상기 수학식 8에서, Hwidth와 Hheight는 햅틱디스플레이의 너비와 높이, Iwidth와 Iheight는 영상의 너비 및 높이, Tw와 Th는 햅틱디스플레이로 축소하기 위한 영상의 너비 및 높이에 대한 축소 비율, LW, LH 및 n은 해당 라벨의 너비와 높이 및 총 개수, S는 라벨을 햅틱디스플레이 해상도로 변환하였을 때의 픽셀의 크기인, 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 17 |
17
제16항에 있어서, 상기 (b3) 고 복잡도 영상의 잡음제거 및 단순화단계는, (b33) 상기 검출된 윤곽선들의 복잡도를 낮추기 위해 윤곽선들의 코너점을 검출하고, 그 코너점을 이용하여 연결선을 생성하는 단계;(b34) 상기 연결선들 간의 교차각을 검사하여 그 교차각이 임계각 이상일 경우 그 연결선이 공유하는 코너점을 제거하고 남은 두 점으로 새로운 연결선을 생성하여 영상의 윤곽선에 대한 복잡도를 낮추는 단계;를 더 포함하여 이루어지며,상기 임계각은 윤곽선의 복잡도가 높은 다양한 영상에 대해 실험을 수행하여 측정된 최적 실험치인, 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 18 |
18
제1항에 있어서, 상기 (c100) 문자인식 및 점자 변환단계는,상기 추출한 문자영역에 대해 광학문자인식(OCR, Optional Character Recognition)을 적용하여 컴퓨터가 인식할 수 있는 정보로 변환한 후 이를 시각장애인이 인지할 수 있는 점자형태로 변환하는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 19 |
19
제1항에 있어서, 상기 (c100) 문자인식 및 점자 변환단계는,(c1) 일반교육 자료 내 시각자료를 제외한 문단이나 단락의 문자영역에 광학문자인식을 수행하여, 문자영역에 대한 영상정보로부터 컴퓨터가 인식할 수 있는 문자정보를 생성하는, 영상영역 외의 문자 인식단계;(c2) 일반교육 자료 내 시각자료 내에 포함되는 문자들에 대해 광학문자인식을 수행하여, 영상영역 내의 문자영역으로부터 컴퓨터가 인식할 수 있는 문자정보를 생성하는, 영상영역 내의 문자 인식단계; 및 (c3) 상기 생성된 영상영역 외의 문자정보 및 영상영역 내의 문자정보를 점자 표현 알고리즘을 통해 시각장애인들이 인지할 수 있는 점자정보로 점역하여 표시하는, 인식된 문자의 점자 표현단계;를 포함하여 이루어지는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 20 |
20
제19항에 있어서, 상기 (c3) 인식된 문자의 점자 표현단계는,(c31) 상기 영상영역 외의 문자정보로부터 점역된 점자정보를 햅틱디스플레이에 표현하기 위해, 점자의 길이를 계산하여 햅틱디스플레이 해상도의 너비에 맞추어 줄 바꿈을 수행하여 점자정보를 출력하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 21 |
21
제19항에 있어서, 상기 (c3) 인식된 문자의 점자 표현단계는,(c32) 상기 영상영역 내의 문자정보로부터 점역된 점자정보를 영상영역 내에 배치한 후, 주변의 영상정보와 중첩되는지를 검사하여, 중첩될 경우에는 그 점자정보에 대응하는 인덱스를 영상영역 내에 배치하고, 상기 영상영역의 외부에 해당 인덱스와 함께 점자정보를 출력하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 22 |
22
제19항에 있어서, 상기 (c3) 인식된 문자의 점자 표현단계는,한국어점자규정 및 영어점자규정을 따라 점역이 이루어지며, 연결어, 약어, 기본적인 산술 연산기호, 및 일반기호에 대한 점역을 포함하는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시방법
|
| 23 |
23
자료 입력을 위한 교육자료 입력부(10), 점역된 점자를 표현하는 촉각정보 표시부(20)가 구비된 시각장애인을 위한 시각정보 표시시스템에 있어서,일반 교육자료 내에 혼합되어 있는 각 정보에 대한 문자영역 및 영상영역을 추출하는 영상/문자영역 추출부(110);추출한 영상영역을 분석하여 저 복잡도 영상과 고 복잡도 영상을 구분하여 촉각정보로 변환하는 복잡도별 영상 촉각화부(120); 및추출한 문자영역 내의 문자정보 및 상기 영상영역 내의 문자정보를 분석하여, 시각장애인이 인지할 수 있는 점자정보로 변환하는 문자인식 및 점역부(130);를 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시시스템
|
