| 1 |
1
제공되는 스케치 또는 메모를 디지털 이미지로 변환하여 제공하는 이미지 획득부(110);상기 이미지 획득부(110)에서 획득된 이미지로부터 객체를 추출하는 객체 추출부(170);상기 이미지 획득부(110)에서 획득된 이미지로부터 심볼마커를 추출하는 심볼마커 추출부(180);객체에 관련된 정보가 저장되어 있는 객체정보저장수단(121), 심볼마커에 관련된 정보가 저장되어 있는 심볼마커정보저장수단(122) 및 사용자 인터페이스에 관련된 정보가 저장되어 있는 사용자인터페이스정보저장수단(123)으로 구성되는 데이터베이스부(120);상기 객체 추출부(170)에서 추출된 객체로부터 상기 객체정보저장수단(121)의 정보를 이용하여 제1위젯을 인식하는 객체 인식부(130);상기 심볼마커 추출부(180)에서 추출된 심볼마커로부터 상기 심볼마커정보저장수단(122)의 정보를 이용하여 제2위젯을 인식하는 심볼마커인식부(140);상기 객체 인식부(130)에서 인식된 제1위젯과 상기 심볼마커인식부(140)에서 인식된 제2위젯을 비교하여 하나의 위젯을 선택하는 인식정보교차확인부(150); 및상기 인식정보교차확인부(150)에서 선택된 위젯을 바탕으로 상기 사용자인터페이스정보저장수단(123)에 저장되어 있는 정보를 호출하여 화면을 구성하는 메뉴화면구성실행부(160);를 포함하는 심볼마커를 사용한 스케치이미지 기반 사용자 인터페이스 자동생성 시스템에 있어서, 상기 객체 추출부(170)는 상기 이미지 획득부(110)에서 획득된 이미지로부터 텍스트, 라인, 삼각형, 사각형, 원 및 이미지를 검출하는 객체검출부(171); 및 상기 객체검출부(171)에서 검출된 텍스트, 라인, 삼각형, 사각형, 원 및 이미지를 객체로 인식하고, 각 객체를 구성하는 텍스트, 라인, 삼각형, 사각형, 원 및 이미지의 결합관계를 판단하는 객체판단부(172)를 포함하고,상기 심볼마커는 상기 객체의 옆면, 윗면 또는 아랫면에 표시되고,상기 객체정보저장수단(121)은 기본위젯, 복합위젯 및 컨테이너에 대한 정보; 객체를 구성하는 텍스트, 라인, 삼각형, 사각형, 원 및 이미지의 결합관계에 대응되는 위젯의 매칭 정보; 및 각 위젯의 크기, 형상 및 위치에 대한 정보를 포함하며,상기 객체 인식부(130)는 객체 추출부(170)에서 추출된 객체로부터 객체정보저장수단(121)의 매칭 정보를 이용하여 위젯을 선택한 후, 추가적으로 위젯의 크기, 형상 및 위치에 대한 정보를 활용하여 선택된 위젯의 크기, 형상 및 위치와 일치하는지 여부를 판단하여 최종적으로 위젯을 선택하며, 상기 인식정보교차확인부(150)는 상기 객체 인식부(130)에서 인식된 제1위젯과 상기 심볼마커인식부(140)에서 인식된 제2위젯을 비교하여 제1위젯 및 제2위젯이 동일하면 제1위젯 또는 제2위젯을 선택하고,상기 객체 인식부(130)에서 인식된 제1위젯과 상기 심볼마커인식부(140)에서 인식된 제2위젯을 비교하여 제1위젯 및 제2위젯이 다르면 제2위젯을 선택하며,상기 객체 인식부(130)에서 선택되는 위젯에 오류가 있다 하더라도, 심볼마커인식부(140)에서 선택되는 위젯으로 한 번 더 검증을 수행하므로, 변환과정에서 오류가 감소하고 정확도를 향상시킬 수 있는 것을 특징으로 하는 심볼마커를 사용한 스케치이미지 기반 사용자 인터페이스 자동생성 시스템
|
