| 1 |
1
시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드에 있어서, 사용자의 스테레오 입체 영상 정보, 스캐너 이미지, 카메라 영상, 삽화, 그래프를 포함하는 영상 자료를 입력받아 다양한 영상정보를 입력받는 영상 입력부; 문자, 숫자, 기호, 그래프, 도형을 포함하는 일반적인 시각 정보를 입력받거나, 상기 영상 입력부로부터 영상을 입력받아 영상의 윤곽선을 추출하여 영상의 노이즈가 제거된 윤곽선 정보를 포함하는 촉각 정보로 변환하기 위한 데이타를 3차원 윤곽선 추출 알고리즘을 포함하는 제어 프로그램이 설치된 컴퓨터 또는 임베디드 시스템; 및기 설정된 제어 명령 전송 프로토콜에 따라 상기 컴퓨터와 UART 통신을 통해 일반적인 시각 정보를 입력받거나 또는 상기 영상의 노이즈가 제거된 윤곽선 정보를 포함하는 촉각정보로 변환하기 위한 데이타를 수신받고 제어 명령에 의해 각각 다중배열로 배치된 다수의 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator)들의 핀을 돌출시킴으로써 상기 일반적인 시각 정보 또는 상기 영상의 노이즈가 제거된 윤곽선 정보를 포함한 시각 정보를 촉각 정보로 시각 장애인에게 제공하는 햅틱 전자보드; 를 포함하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드
|
| 2 |
2
제1항에 있어서,상기 영상 입력부는 스테레오 카메라, 스캐너, 카메라, 이미지/그래픽/삽화 입력 장치 중 어느 하나의 장치를 사용하는 것을 특징으로 하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드
|
| 3 |
3
제1항에 있어서,상기 그래픽 햅틱전자보드는 사용자의 컴퓨터로부터 UART 통신을 통해 문자, 숫자, 기호, 그래프, 도형 또는 영상을 포함하는 시각정보를 입력받아 제어 명령을 제공하고, MCU(Micro Control Unit)로 구성된 마스터 보드; 상기 마스터 보드와 SPI(Serial Peripheral Interface) Bus로 연결되고, 상기 마스터 보드로부터 제어 명령을 수신받아 다중배열로 구성된 초음파 모터를 제어하는 적어도 하나 이상의 슬레이브 보드; 상기 다중배열로 구성된 다수의 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator); 및 전원을 인가받아 DC-DC 전압을 변환하여 상기 마스터 보드 및 상기 슬레이브 보드로 제공하는 스텝다운 DC-DC 컨버터;를 포함하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드
|
| 4 |
4
제3항에 있어서,상기 슬레이브 보드는 프로그래밍된 CPLD 칩, 다중 배열된 다수의 초음파 모터 구동을 위한 다수의 모터 드라이브로 구성되고, 상기 마스터 보드로부터 제어명령을 ASCII 코드로 변환하여 SPI(Serial Peripheral Interface) 통신을 통해 전달받고, 수신된 제어명령을 CPLD(complex programmable logic device)에 의해 모터별 제어 신호를 분류하고, 다수의 모터 드라이브(array type 모터 액츄에이터)에 의해 다중 배열로 구성된 각각의 초음파 모터의 상하운동 방향을 결정하여 상기 초소형 초음파 모터를 각각 제어하여 촉각 정보를 출력하고, 상기 제어 명령은 상기 초음파 모터에 대한 모든 모터 상승/하강, 선택적 상승, 방향 제어 명령으로 4가지로 구성되며, 선택적 상승 명령의 경우 상승시킬 모터를 1, 그 외에는 0으로 설정하며, 방향 제어 명령 코드의 경우 컴퓨터로부터 UART 통신을 통해 그래픽 햅틱전자보드로 입력되는 데이타는 시점 코드, 명령코드 필드, 명령코드 필드 값 및 제어하려는 돌출핀의 정보에 기초하여 결정되는 ASCII로 된 문자열 바이트인 제어 데이타, 및 종점 코드를 포함하며, 각각의 초음파 모터의 제어 데이터를 2진수의 형식을 16진수로 변환하고 변환된 16진수를 아스키코드로 변환하여 각각의 아스키코드를 병합하여 생성하는 것을 특징으로 하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드
|
| 5 |
5
제1항에 있어서,상기 제어 프로그램은 상기 그래픽 햅틱전자보드의 다중배열로 구성된 초음파 모터의 핀을 개별 및 전체적으로 제어하기 위해 장치 연결 설정 및 연결, 데이터 전송, 모든 초음파 모터의 상승/하강, 현 촉각정보 지우기, 전송할 촉각정보 미리보기를 지원하고, 촉각정보로 변환할 영상을 제어 프로그램의 화면의 좌상단에 위치한 그리기 영역에서 상승시킬 모터를 선택할 수 있고, 스테레오 카메라로부터 영상을 입력받는 경우, 상기 그래픽 햅틱전자보드에서 다중배열의 해상도를 가지므로 변위(disparity) 값을 가지지 않는 영역을 제외한 윤곽선 영상을 상기 그래픽 햅틱전자보드로 표현하기 위해 입력 영상의 상기 윤곽선 추출 알고리즘을 사용하여 추출된 관심영역을 다중배열의 제한된 해상도를 가지는 상기 그래픽 햅틱전자보드로 표현하기 위해 가우시안 필터링을 통해 잡음을 제거한 후, 영상 안에서 영역의 경계를 나타내는 특징으로 픽셀 밝기의 불연속점을 나타내는 윤곽선 검출 연산에 의해 밝기 변화에 의한 윤곽선의 기울기 변화량으로써 1차 미분 또는 2차 미분한 결과로 볼 수 있으므로, 1차 미분 연산자의 역할을 하는 캐니(Canny) 마스크를 사용하여 윤곽선 검출 및 노이즈를 제거하고 상기 캐니 마스크를 통해 추출한 윤곽선과 변위값을 가지지 않는 영역을 제거하고, 2차 미분 연산자 역할을 하는 소벨 마스크(Sobel mask)를 사용하여 x축, y축으로 각각 한 번씩 미분하여 잡음이 제거된 윤곽선을 추출하며, 상기 다중배열의 초음파 모터로 표현할 최적화된 윤곽선 영상으로 간략화하고, 촉각정보의 크기로 간략화된 윤곽선 영상 정보를 분할하고 다중 배열의 초음파모터의 구역으로 세분화하며, 세분화된 각 영역에서 윤곽선 픽셀의 비율을 계산하여 각 영역의 일정 요율 이상 채워있으면, 윤곽선 영상의 해당 셀을 표시하는 윤곽선을 가진 영상 정보를 상기 그래픽 햅틱전자보드로 제공하는 것을 특징으로 하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드
|
| 6 |
6
제1항에 있어서,상기 그래픽 햅틱전자보드는3차원 영상 뿐만 아니라 문자, 숫자, 기호, 그래프, 도형을 포함하는 교육자료, 디지털 사진, 일러스트레이션을 포함하는 시각정보를 입력받아 저시력 시각 장애인과 전맹 시각 장애인에게 촉각정보로 전달하는 것을 특징으로 하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드
|
| 7 |
7
시각 장애인에게 시각 정보를 촉각 정보로 전달하는 촉각정보 전달 방법에 있어서,(a) 영상 입력부를 통해 스테레오 입체 영상 정보, 스캐너 이미지, 카메라 영상, 삽화, 그래프를 포함하는 영상 자료를 입력받는 단계; (b) 컴퓨터 및 임베디드 시스템의 제어 프로그램에 의해 문자, 숫자, 기호, 그래프, 도형을 포함하는 일반적인 시각 정보 또는 3차원 윤곽선 추출 알고리즘을 사용하여 노이즈가 제거된 윤곽선을 가진 영상 정보를 포함하는 시각정보를 촉각정보로 변환하기 위한 데이터를 그래픽 햅틱전자보드로 제공하는 단계; 및 (c) 상기 컴퓨터 또는 상기 임베디드 시스템으로부터 UART 통신을 통해 상기 그래픽 햅틱전자보드로 상기 일반적인 시각 정보 또는 상기 노이즈가 제거된 윤곽선을 가진 영상 정보를 포함한 시각 정보를 입력받고, 다중 배열로 구성된 다수의 초소형 초음파모터(TULA)의 상하운동으로 핀들의 돌출을 제어하여 상기 일반적인 시각 정보 또는 상기 영상의 윤곽선 정보를 포함한 시각 정보를 촉각정보로 출력하여 시각 장애인에게 제공하는 단계; 를 포함하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 촉각정보 전달 방법
|
| 8 |
8
제7항에 있어서,상기 단계 (b)는, (b1) 스테레오 카메라를 사용하는 영상 입력부로 스테레오 영상 정보가 입력될 경우, 좌우 카메라의 스테레오 영상을 정합하는 단계; (b2) 상기 컴퓨터 또는 상기 임베디드 시스템의 제어 프로그램에 포함된 3차원 윤곽선 추출 알고리즘을 사용하여 스테레오 정합된 영상의 노이즈 제거 및 관심영역(ROI)을 추출하는 단계; 및(b3) 관심영역이 추출된 영상의 윤곽선 정보를 추출하고, 상기 노이즈가 제거된 윤곽선을 가진 영상 정보를 상기 그래픽 햅틱전자보드로 전송하는 단계; 및 를 포함하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 촉각정보 전달 방법
|
| 9 |
9
제7항에 있어서,상기 단계 (b) 및 (c)는상기 다중배열의 초음파 모터로 표현할 최적화된 윤곽선 영상으로 간략화하고, 촉각정보의 크기로 간략화된 윤곽선 영상 정보를 분할하고 다중 배열의 초음파모터의 구역으로 세분화하며, 세분화된 각 영역에서 윤곽선 픽셀의 비율을 계산하여 각 영역의 일정 요율 이상 채워있으면, 윤곽선 영상의 해당 셀을 표시하는 윤곽선을 가진 영상 정보를 상기 그래픽 햅틱전자보드로 출력하여 시각 장애인에게 촉각 정보를 제공하는 것을 특징으로 하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 촉각정보 전달 방법
|
