1 |
1
스테레오 웹카메라로부터 좌, 우측영상 정보를 입력하는 영상입력부와; 상기 영상입력부를 통해 입력되는 좌, 우측영상으로부터 작업대상의 외적 의도 및 내적의도를 파악하는 지능형 비주얼서보잉 프로그램구동부와; 상기 지능형 비주얼서보잉 프로그램구동부에서 파악된 상기 작업대상의 외적의도 및 내적의도에 따라 로봇장치를 구동하는 로봇구동부와; 키입력부로부터 입력되는 사용자 명령을 해석하여 상기 지능형 비주얼서보잉 프로그램구동부에게 전달하고, 상기 지능형 비주얼서보잉 프로그램구동부가 상기 작업대상의 외적의도 및 내적의도를 파악하는 전 처리과정에서의 영상과 각 처리과정에 대한 정보를 모니터에 표시하는 그래픽사용자인터페이스부를 포함한 것을 특징으로 하는 지능형 비주얼 서보잉 시스템
|
2 |
2
제 1 항에 있어서, 상기 지능형 비주얼서보잉 프로그램구동부는, 상기 영상입력부를 통해 입력되는 좌, 우측영상의 잡음을 제거하고 컬러변환 및 부가연산하여 상기 작업대상을 인식하는 인지기능부와, 상기 인식된 작업대상의 2차원/3차원 위치 및 방위 정보와 겹침정보 및 움직임정보를 파악하여 상기 작업대상의 외적의도를 파악하는 외적의도파악기능부와, 상기 인식된 작업대상의 얼굴표정을 인식하여 상기 사용자의 내적의도를 파악하는 내적의도파악기능부와, 상기 외적의도파악기능부 또는 내적의도파악기능부에서 파악된 상기 작업대상의 외적의도 또는 내적의도에 따라 상기 로봇장치를 구동하는 로봇구동기능부를 구비한 것을 특징으로 하는 지능형 비주얼 서보잉 시스템
|
3 |
3
제 2 항에 있어서, 상기 인지기능부는 컬러변환기능부와 외형묘사기능부와 좌표변환기능부와 부가연산기능부와 고수준작업대상인지기능부를 구비한 것을 특징으로 하는 지능형 비주얼 서보잉 시스템
|
4 |
4
제 3 항에 있어서, 상기 고수준작업대상인지기능부는 퍼지논리를 이용한 분류, 신경망을 이용한 분류, 퍼지신경망을 이용한 분류 중 하나로 구현되는 것을 특징으로 하는 지능형 비주얼 서보잉 시스템
|
5 |
5
제 2 항에 있어서, 상기 외적의도파악기능부는 2차원/3차원 위치 및 방위정보파악기능부와 겹침정보파악기능부와 움직임정보파악기능부를 구비한 것을 특징으로 하는 지능형 비주얼 서보잉 시스템
|
6 |
6
제 2 항에 있어서, 상기 그래픽사용자인터페이스부는, 사용자가 명령어 입력을 위한 메뉴선택창과, 상기 영상입력부에서 입력되는 좌, 우측영상을 표시하는 좌, 우측영상출력창과, 상기 지능형 비주얼 서보잉 프로그램구동부가 지능형 비주얼 서보잉하는 각 처리과정에서의 처리결과 영상을 표시하는 디버깅영상창과, 상기 각 처리과정에 대한 정보를 표시하는 정보표시창과, 임사메모리에 저장된 영상을 표시하는 임시메모리표시창과, 상기 각 처리과정에서 필요한 인수를 입력하기 위한 인수제어창과, 현재 마우스커서가 위치한 지점의 픽셀값과 밝기값을 표시하는 픽셀정보창을 포함한 화면을 모니터에 표시하는 것을 특징으로 하는 지능형 비주얼 서보잉 시스템
|
7 |
7
카메라로부터 입력된 좌, 우측영상의 잡음을 제거하고 컬러변환 및 부가연산하는 영상전처리단계와; 상기 전처리된 좌, 우측영상으로부터 작업대상을 인식하는 인지단계와; 상기 인식된 작업대상의 2차원/3차원 위치 및 방위 정보와 겹침정보 및 움직임정보를 파악하여 상기 작업대상의 외적의도를 파악하는 외적의도파악단계와; 상기 인식된 작업대상의 얼굴표정을 인식하여 상기 작업대상의 내적의도를 파악하는 내적의도파악단계와; 상기 작업대상의 외적의도 또는 내적의도에 따라 로봇장치를 구동하는 로봇구동단계와; 키입력부로부터 입력되는 사용자 명령을 해석하여 상기 영상전처리단계 내지 상기 로봇구동단계가 수행되도록 하고, 상기 영상전처리단계 내지 로봇구동단계에서의 처리결과영상과 정보를 모니터에 표시하는 그래픽사용자인터페이싱단계를 포함한 것을 특징으로 하는 지능형 비주얼 서보잉 방법
|
8 |
8
제 7 항에 있어서, 상기 영상전처리단계는 컬러변환단계와 외형묘사단계와 좌표변환단계와 부가연산단계를 포함한 것을 특징으로 하는 지능형 비주얼 서보잉 방법
|
9 |
9
제 7 항에 있어서, 상기 인지단계는 퍼지논리를 이용한 분류, 신경망을 이용한 분류, 퍼지신경망을 이용한 분류 중 하나로 구현되는 것을 특징으로 하는 지능형 비주얼 서보잉 방법
|
10 |
10
제 7 항에 있어서, 상기 외적의도파악단계는 2차원/3차원 위치 및 방위정보파악단계와 겹침정보파악단계와 움직임정보파악단계를 포함한 것을 특징으로 하는 지능형 비주얼 서보잉 방법
|
11 |
11
제 7 항에 있어서, 상기 그래픽사용자인터페이싱단계는, 상기 모니터에 사용자가 명령어 입력을 위한 메뉴선택창과, 상기 카메라로부터 입력된 좌, 우측영상 표시하는 좌, 우측영상출력창과, 상기 영상전처리단계 내지 로봇구동단계의 각 처리과정에서의 처리결과 영상을 표시하는 디버깅영상창과, 상기 각 처리과정에 대한 정보를 표시하는 정보표시창과, 임시메모리에 저장된 영상을 표시하는 임시메모리표시창과, 상기 각 처리과정에서 필요한 인수를 입력하기 위한 인수제어창과, 현재 마우스커서가 위치한 지점의 픽셀값과 밝기값을 표시하는 픽셀정보창을 포함한 화면을 표시하는 것을 특징으로 하는 지능형 비주얼 서보잉 방법
|
12 |
12
입력되는 좌,우측영상으로부터 작업대상의 의도를 파악하는 지능형 비주얼 서보잉 프로그램구동부와, 키입력부로부터 입력되는 사용자 명령을 해석하여 상기 프로그램구동부에게 전달하고 상기 프로그램구동부가 지능형 비주얼 서보잉하는 각 처리과정에서의 처리결과 영상과 정보를 모니터에 표시하는 그래픽사용자인터페이스(GUI)부를 포함한 시스템에서의 지능형 비주얼 서보잉 방법에 있어서, 상기 프로그램구동부가 상기 좌,우측영상을 캡쳐하고, 상기 GUI부가 상기 캡처된 영상을 상기 모니터에 표시하는 제1단계와; 상기 프로그램구동부가 상기 좌,우측영상을 RGB 변환, 임계치에 의한 이진화 및 블록해석을 순차적으로 수행하고, 상기 GUI부가 각 처리 결과영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제2단계와; 상기 프로그램구동부가 상기 제2단계 처리된 좌,우측영상으로부터 작업대상을 인식하고 로봇센터링 및 심도정보 추출에 필요한 특징영상을 추출하고, 상기 GUI부가 상기 특징영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제3단계와; 상기 프로그램구동부가 상기 스테레오 웹카메라의 물리적 중심에 상기 작업대상이 위치하도록 로봇장치의 좌/우 움직임을 조정하고, 상기 GUI부가 상기 로봇장치의 좌/우 움직임 영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제4단계와; 상기 프로그램구동부가 상기 스테레오 웹카메라와 상기 작업대상 사이의 심도정보를 추출하고, 상기 GUI부가 상기 심도정보 추출과정의 결과영상과 정보를 상기 모니터에 표시하는 제5단계와; 상기 프로그램구동부가 상기 스테레오 웹카메라와 상기 작업대상 사이의 심도정보를 이용하여 상기 로봇장치의 행위를 제어하고, 상기 GUI부가 상기 로봇장치의 행위 제어과정에 대한 영상과 정보를 상기 모니터에 표시하는 제6단계를 포함한 것을 특징으로 하는 지능형 비주얼 서보잉 방법
|
13 |
13
입력되는 좌,우측영상으로부터 작업대상의 의도를 파악하는 지능형 비주얼 서보잉 프로그램구동부와, 키입력부로부터 입력되는 사용자 명령을 해석하여 상기 프로그램구동부에게 전달하고 상기 프로그램구동부가 지능형 비주얼 서보잉하는 각 처리과정에서의 처리결과 영상과 정보를 모니터에 표시하는 그래픽사용자인터페이스(GUI)부를 포함한 시스템에 대해서, 상기 프로그램구동부가 상기 좌,우측영상을 캡쳐하고, 상기 GUI부가 상기 캡처된 영상을 상기 모니터에 표시하는 제1단계와; 상기 프로그램구동부가 상기 좌,우측영상을 RGB 변환, 임계치에 의한 이진화 및 블록해석을 순차적으로 수행하고, 상기 GUI부가 각 처리 결과영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제2단계와; 상기 프로그램구동부가 상기 제2단계 처리된 좌,우측영상으로부터 작업대상을 인식하고 로봇센터링 및 심도정보 추출에 필요한 특징영상을 추출하고, 상기 GUI부가 상기 특징영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제3단계와; 상기 프로그램구동부가 상기 스테레오 웹카메라의 물리적 중심에 상기 작업대상이 위치하도록 로봇장치의 좌/우 움직임을 조정하고, 상기 GUI부가 상기 로봇장치의 좌/우 움직임 영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제4단계와; 상기 프로그램구동부가 상기 스테레오 웹카메라와 상기 작업대상 사이의 심도정보를 추출하고, 상기 GUI부가 상기 심도정보 추출과정의 결과영상과 정보를 상기 모니터에 표시하는 제5단계와; 상기 프로그램구동부가 상기 스테레오 웹카메라와 상기 작업대상 사이의 심도정보를 이용하여 상기 로봇장치의 행위를 제어하고, 상기 GUI부가 상기 로봇장치의 행위 제어과정에 대한 영상과 정보를 상기 모니터에 표시하는 제6단계를 포함한 지능형 비주얼 서보잉 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
|
14 |
14
입력되는 영상으로부터 작업대상의 의도를 파악하는 지능형 비주얼 서보잉 프로그램구동부와, 키입력부로부터 입력되는 사용자 명령을 해석하여 상기 프로그램구동부에게 전달하고 상기 프로그램구동부가 지능형 비주얼 서보잉하는 각 처리과정에서의 처리결과 영상과 정보를 모니터에 표시하는 그래픽사용자인터페이스(GUI)부를 포함한 시스템에서의 지능형 비주얼 서보잉 방법에 있어서, 상기 프로그램구동부가 상기 영상을 캡쳐하고, 상기 GUI부가 상기 캡처된 영상을 상기 모니터에 표시하는 제1단계와; 상기 프로그램구동부가 상기 영상을 HLS 변환하여 H영상과 S영상과 L영상을 얻고, 상기 GUI부가 상기 H영상과 S영상과 L영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제2단계와; 상기 프로그램구동부가 상기 H영상과 S영상을 임계치를 통한 이진화를 수행하여 H'영상과 S'영상을 얻고, 상기 GUI부가 상기 H'영상과 S'영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제3단계와; 상기 프로그램구동부가 H'영상과 S'영상을 논리적곱 연산하여 F영상을 얻고, 상기 GUI부가 상기 F영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제4단계와; 상기 프로그램구동부가 상기 F영상을 블롭해석하여 F'영상을 얻고, 상기 GUI부가 상기 F'영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제5단계와; 상기 프로그램구동부가 상기 F'영상과 L영상을 논리적곱 연산하여 얼굴영상을 얻고, 상기 GUI부가 상기 얼굴영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제6단계와; 상기 프로그램구동부가 상기 얼굴영상으로부터 얼굴요소를 추출하고, 상기 GUI부가 상기 얼굴요소 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제7단계와; 상기 프로그램구동부가 상기 얼굴요소의 기하학적특징을 추출하고, 상기 GUI부가 상기 얼굴요소의 기하학적특징 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제8단계와; 상기 프로그램구동부가 상기 얼굴요소의 기하학적특징을 이용하여 상기 로봇장치의 행위를 제어하고, 상기 GUI부가 상기 로봇장치의 행위 제어과정에 대한 영상과 정보를 상기 모니터에 표시하는 제9단계를 포함한 것을 특징으로 하는 지능형 비주얼 서보잉 방법
|
15 |
15
입력되는 영상으로부터 작업대상의 의도를 파악하는 지능형 비주얼 서보잉 프로그램구동부와, 키입력부로부터 입력되는 사용자 명령을 해석하여 상기 프로그램구동부에게 전달하고 상기 프로그램구동부가 지능형 비주얼 서보잉하는 각 처리과정에서의 처리결과 영상과 정보를 모니터에 표시하는 그래픽사용자인터페이스(GUI)부를 포함한 시스템에 대해서, 상기 프로그램구동부가 상기 영상을 캡쳐하고, 상기 GUI부가 상기 캡처된 영상을 상기 모니터에 표시하는 제1단계와; 상기 프로그램구동부가 상기 영상을 HLS 변환하여 H영상과 S영상과 L영상을 얻고, 상기 GUI부가 상기 H영상과 S영상과 L영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제2단계와; 상기 프로그램구동부가 상기 H영상과 S영상을 임계치를 통한 이진화를 수행하여 H'영상과 S'영상을 얻고, 상기 GUI부가 상기 H'영상과 S'영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제3단계와; 상기 프로그램구동부가 H'영상과 S'영상을 논리적곱 연산하여 F영상을 얻고, 상기 GUI부가 상기 F영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제4단계와; 상기 프로그램구동부가 상기 F영상을 블롭해석하여 F'영상을 얻고, 상기 GUI부가 상기 F'영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제5단계와; 상기 프로그램구동부가 상기 F'영상과 L영상을 논리적곱 연산하여 얼굴영상을 얻고, 상기 GUI부가 상기 얼굴영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제6단계와; 상기 프로그램구동부가 상기 얼굴영상으로부터 얼굴요소를 추출하고, 상기 GUI부가 상기 얼굴요소 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제7단계와; 상기 프로그램구동부가 상기 얼굴요소의 기하학적특징을 추출하고, 상기 GUI부가 상기 얼굴요소의 기하학적특징 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제8단계와; 상기 프로그램구동부가 상기 얼굴요소의 기하학적특징을 이용하여 상기 로봇장치의 행위를 제어하고, 상기 GUI부가 상기 로봇장치의 행위 제어과정에 대한 영상과 정보를 상기 모니터에 표시하는 제9단계를 포함한 지능형 비주얼 서보잉 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
|
16 |
15
입력되는 영상으로부터 작업대상의 의도를 파악하는 지능형 비주얼 서보잉 프로그램구동부와, 키입력부로부터 입력되는 사용자 명령을 해석하여 상기 프로그램구동부에게 전달하고 상기 프로그램구동부가 지능형 비주얼 서보잉하는 각 처리과정에서의 처리결과 영상과 정보를 모니터에 표시하는 그래픽사용자인터페이스(GUI)부를 포함한 시스템에 대해서, 상기 프로그램구동부가 상기 영상을 캡쳐하고, 상기 GUI부가 상기 캡처된 영상을 상기 모니터에 표시하는 제1단계와; 상기 프로그램구동부가 상기 영상을 HLS 변환하여 H영상과 S영상과 L영상을 얻고, 상기 GUI부가 상기 H영상과 S영상과 L영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제2단계와; 상기 프로그램구동부가 상기 H영상과 S영상을 임계치를 통한 이진화를 수행하여 H'영상과 S'영상을 얻고, 상기 GUI부가 상기 H'영상과 S'영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제3단계와; 상기 프로그램구동부가 H'영상과 S'영상을 논리적곱 연산하여 F영상을 얻고, 상기 GUI부가 상기 F영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제4단계와; 상기 프로그램구동부가 상기 F영상을 블롭해석하여 F'영상을 얻고, 상기 GUI부가 상기 F'영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제5단계와; 상기 프로그램구동부가 상기 F'영상과 L영상을 논리적곱 연산하여 얼굴영상을 얻고, 상기 GUI부가 상기 얼굴영상 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제6단계와; 상기 프로그램구동부가 상기 얼굴영상으로부터 얼굴요소를 추출하고, 상기 GUI부가 상기 얼굴요소 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제7단계와; 상기 프로그램구동부가 상기 얼굴요소의 기하학적특징을 추출하고, 상기 GUI부가 상기 얼굴요소의 기하학적특징 및 처리과정에 대한 정보를 상기 모니터에 표시하는 제8단계와; 상기 프로그램구동부가 상기 얼굴요소의 기하학적특징을 이용하여 상기 로봇장치의 행위를 제어하고, 상기 GUI부가 상기 로봇장치의 행위 제어과정에 대한 영상과 정보를 상기 모니터에 표시하는 제9단계를 포함한 지능형 비주얼 서보잉 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
|