| 1 |
1
AR 인터페이스 시스템이 공장 시설물의 아날로그 센서 또는 디지털 센서와 데이터를 송수신하고 제어하기 위해 상기 아날로그 센서 또는 디지털 센서와 PLC 시스템을 연동하는 단계(S10);상기 AR 인터페이스 시스템이 AR(Augmented reality) 디바이스로 PLC 시스템에 접속하기 위하여 PLC 시스템과 AR 디바이스를 연동하는 단계(S20);상기 AR 인터페이스 시스템이 영상장치를 이용하여 2D RGB 이미지 정보와 깊이 정보를 측정하고, 상기 2D RGB 이미지 정보와 깊이 정보를 결합하여 3D 포인트 클라우드를 생성하며, 기준이 되는 월드 좌표계를 생성하고 각 3D 포인트 클라우드 좌표들의 상호관계를 계산함으로써 서로 독립적인 3D 포인트 클라우드의 좌표들을 절대 좌표인 월드 좌표계로 변환하여 미리 3D 맵을 구축하는 단계(S30);상기 AR 디바이스가 공장 시설물의 영상 정보를 측정하여 AR 인터페이스 시스템에 전송하는 단계(S40);상기 AR 인터페이스 시스템이 AR 디바이스로부터 입력된 영상 정보를 토대로 특징점을 추출하고, 미리 구축된 3D 맵의 특징점과 비교하여 작업자의 위치 정보를 추출하는 단계(S50); 및상기 AR 인터페이스 시스템이 추출된 작업자의 위치에 해당하는 설비의 정보를 상기 AR 디바이스에 디스플레이하여 제공하는 단계(S60)를 포함하며,상기 미리 3D 맵을 구축하는 단계(S30)는카메라의 초점거리와 카메라 간의 거리차 및 각 특징점 간의 거리차를 기반으로 하는 관계식을 이용하여 깊이 정보를 산출하고, 영상 정보에서 특징점 추출 알고리즘을 통해 추출한 특징점을 3D 포인트 클라우드와 매칭하여 해당 좌표의 위치 정보를 계산하며, 여러 각도에 대한 특징점들을 하나의 월드 좌표로 변환하여 3D 맵을 생성하고 생성된 3D 맵을 토대로 특징점의 분포 이미지를 학습하고 분류하며,상기 작업자의 위치 정보를 추출하는 단계(S50)는전체적인 특징점 분포 이미지를 일정 크기의 지역 패치로 분할하고, 분할된 특징점 분포 이미지를 각 위치에 맞게 라벨링하여 구축된 특징점 분포 이미지를 AR 디바이스를 통해 입력되는 영상 정보로부터 추출된 특징점 분포와 비교하여 작업자의 위치 정보를 추출하며, 미리 구축된 3D 맵과 AR 디바이스로부터 입력된 영상 정보를 토대로 동일 라벨링이 되어 있는 지역 패치의 크기를 비교하여 작업자와 공장 시설물 간의 상대적인 거리를 측정하고, 상기 동일 라벨링이 되어 있는 지역 패치의 상대적인 위치를 비교하여 작업자와 공장 시설물 간의 각도를 측정하는 것을 특징으로 하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서,상기 3D 맵을 구축하는 단계(S30)는 생성된 3D 맵을 토대로 정밀화 작업을 수행하는 단계(S36)를 더 포함하고,상기 정밀화 작업은 생성된 3D 맵을 토대로 객체와 배경을 분리하는 작업과, 그림자 영역 및 구멍(Hole) 영역을 채우는 손실 부분 보정 작업을 수행하는 것을 특징으로 하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법
|
| 4 |
4
삭제
|
| 5 |
5
삭제
|
| 6 |
6
제3항에 있어서,상기 3D 맵을 구축하는 단계(S30)는전체적인 특징점 분포 이미지를 일정 크기의 지역 패치로 분할하는 단계(S371)와,분할된 특징점 분포 이미지를 각 위치에 맞게 라벨링하여 구축하는 단계(S372) 및라벨링하여 구축된 특징점 분포 이미지를 학습하는 단계(S373)를 더 포함하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 방법
|
| 7 |
7
삭제
|
| 8 |
8
삭제
|
| 9 |
9
공장 시설물의 아날로그 센서 또는 디지털 센서 및 AR 디바이스와 연동하여 데이터를 송수신하고, 상기 아날로그 센서, 디지털 센서 및 AR 디바이스의 동작을 제어하는 PLC 시스템;영상장치를 이용하여 2D RGB 이미지 정보와 깊이 정보를 측정하고, 상기 2D RGB 이미지 정보와 깊이 정보를 결합하여 3D 포인트 클라우드를 생성하며, 기준이 되는 월드 좌표계를 생성하고 각 3D 포인트 클라우드 좌표들의 상호관계를 계산함으로써 서로 독립적인 3D 포인트 클라우드의 좌표들을 절대 좌표인 월드 좌표계로 변환하여 미리 3D 맵을 구축하고, 상기 AR 디바이스로부터 입력된 영상 정보를 토대로 특징점을 추출하며, 추출된 특징점을 미리 구축된 3D 맵의 특징점과 비교하여 작업자의 위치 정보를 추출하는 AR 인터페이스 시스템; 및상기 공장 시설물의 영상 정보를 측정하여 AR 인터페이스 시스템에 전송하고, 상기 AR 인터페이스 시스템의 제어에 따라 추출된 작업자의 위치에 해당하는 설비의 정보를 디스플레이하여 제공하는 AR 디바이스를 포함하며,상기 AR 인터페이스 시스템은 카메라의 초점거리와 카메라 간의 거리차 및 각 특징점 간의 거리차를 기반으로 하는 관계식을 이용하여 깊이 정보를 산출하고, 영상 정보에서 특징점 추출 알고리즘을 통해 추출한 특징점을 3D 포인트 클라우드와 매칭하여 해당 좌표의 위치 정보를 계산하며, 여러 각도에 대한 특징점들을 하나의 월드 좌표로 변환하여 3D 맵을 생성하고 생성된 3D 맵을 토대로 특징점의 분포 이미지를 학습하고 분류하며,전체적인 특징점 분포 이미지를 일정 크기의 지역 패치로 분할하고, 분할된 특징점 분포 이미지를 각 위치에 맞게 라벨링하여 구축된 특징점 분포 이미지를 AR 디바이스를 통해 입력되는 영상 정보로부터 추출된 특징점 분포와 비교하여 작업자의 위치 정보를 추출하며, 미리 구축된 3D 맵과 AR 디바이스로부터 입력된 영상 정보를 토대로 동일 라벨링이 되어 있는 지역 패치의 크기를 비교하여 작업자와 공장 시설물 간의 상대적인 거리를 측정하고, 상기 동일 라벨링이 되어 있는 지역 패치의 상대적인 위치를 비교하여 작업자와 공장 시설물 간의 각도를 측정하는 것을 특징으로 하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 시스템
|
| 10 |
10
제9항에 있어서,상기 AR 인터페이스 시스템은영상장치를 이용하여 상기 공장 시설물의 2D RGB 이미지 정보와 깊이 정보를 측정하는 영상정보 측정부;상기 공장 시설물을 입체적으로 추출하고 설비의 위치 파악을 위하여 영상정보 측정부에서 측정된 2D RGB 이미지 정보와 깊이 정보를 이용하여 3D 맵을 추출하는 특징점 추출부;상기 특징점 추출부에서 생성된 3D 맵을 토대로 특징점의 분포 이미지를 학습하고 분류하는 학습부;상기 AR 디바이스로부터 입력된 영상 정보를 토대로 추출된 특징점과, 상기 영상정보 측정부로부터 입력된 영상정보를 토대로 미리 구축된 3D 맵의 특징점을 비교하여 작업자의 위치 정보를 추출하는 판단부; 및상기 PLC 시스템과 AR 디바이스를 연동하여 제어하고, 상기 AR 디바이스로부터 입력된 공장 시설물의 영상 정보를 토대로 추출된 작업자의 위치에 해당하는 설비의 정보를 AR 디바이스에 디스플레이하여 제공하는 제어부를 포함하는 스마트 팩토리 구축을 위한 마커리스 기반의 AR 구현 시스템
|
