| 1 |
1
폴리오미노를 이용한 조립식 교구에 대해서, 단일 카메라 기반으로 삼차원 깊이맵 생성과 영상 분할 기술을 이용하여 삼차원 모델링을 하는 방법으로서, 상기 폴리오미노를 이용한 조립식 교구는, 일정면적을 갖는 판 형상으로 이루어져 수평배치되며 상부에는 제1결합부가 오와 열을 이루도록 정렬배치된 베이스판; 및 단일의 육면체의 형상 또는 복수의 육면체가 측방으로 체결된 형상을 갖는 폴리오미노로 이루어지고, 저면에는 상기 제1결합부와 체결되는 제2결합부가 형성되며, 상기 제1결합부와 제2결합부에 의해 복수 개가 상기 베이스판 상에 조립되면서 다양한 형태의 블록집합을 이루는 블록부;를 포함하고, 상기 단일 카메라 기반 삼차원 깊이맵 생성과 영상 분할 기술을 이용한 삼차원 모델링 방법은, 단일 카메라로부터 획득한 원본 영상으로부터 상기 블록부 및 상기 베이스판의 삼차원 깊이맵을 생성하는 단계(S100); 상기 삼차원 깊이맵의 대비를 향상시키기 위해 상기 블록부의 전경과 상기 베이스판의 배경을 이진화를 하는 단계(S200); 및 상기 이진화 결과를 기초로 하여, 상기 블록부의 큐브 메쉬(cube mesh) 데이터를 생성하고, 픽셀 가운데 흰색 비율이 임계값 이상인 픽셀을 기준으로 블록 모델을 생성하며, 상기 블록부의 색상을 상기 블록 모델에 매핑하여 상기 블록부의 삼차원 모델을 생성하는 단계(S300);를 포함하고, 상기 단일 카메라로부터 획득한 영상으로부터 상기 블록부 및 상기 베이스판의 삼차원 깊이맵을 생성하는 단계(S100)에서는, 상기 영상 내에 존재하는 상기 블록부 및 상기 베이스판에 대한 공간 정보를 추출하고 깊이 정보를 추정할 수 있는 멀티스케일 심층 신경망을 이용하고, 상기 단일 카메라로부터 획득한 영상으로부터 상기 블록부 및 상기 베이스판의 삼차원 깊이맵을 생성하는 단계(S100)에서는, 상기 멀티스케일 심층 신경망은 연속적으로 구성된 보틀넥(bottleneck) 모듈로 이루어지며, 상기 보틀넥 모듈은 특징맵의 크기를 유지하면서 파라미터 개수를 증가시키지 않는 다이레이티드(dilated) 레이어, 비대칭 형태의 커널로 컨벌루션을 수행하여 컨벌루션 필터 내부에 일정 거리만큼 간격을 설정해 일반적인 컨벌루션과 대비하여 보다 적은 파라미터 개수만으로도 수신 필드(receptive field)를 갖도록 하는 비대칭 컨벌루션 레이어, 및 풀 컨벌루션(full convolution) 레이어로, 3개의 컨볼루션 레이어를 포함하여 구성되고, 상기 단일 카메라로부터 획득한 영상으로부터 상기 블록부 및 상기 베이스판의 삼차원 깊이맵을 생성하는 단계(S100)에서는, 상기 멀티스케일 심층 신경망의 출력값으로부터 깊이맵을 추론할 때, 깊이 범위(depth range)가 미리 정한 깊이 α와 깊이 β의 구간을 가지는 경우, 상기 멀티스케일 심층 신경망의 출력값으로부터 깊이맵을 추론할 때의 오차를 줄이기 위해 큰 깊이 값에 대해 더 넓은 오차범위를 가지도록 깊이의 값이 크면 클수록 큰 가중치를 두고, 상기 단일 카메라로부터 획득한 영상으로부터 상기 블록부 및 상기 베이스판의 삼차원 깊이맵을 생성하는 단계(S100)에서는, 상기 멀티스케일 심층 신경망의 출력값으로부터 깊이맵을 추론할 때, 깊이 범위(depth range)가 미리 정한 깊이 α와 깊이 β의 구간(깊이 α 003c# 깊이 β)을 가질 때, 깊이로서 가능한 값 ti는 를 가지며, 상기 K는 설계자에 의한 상수값이고, i는 자연수이며, ti의 최소값이 깊이 α이며 ti의 최대값이 깊이 β인 것을 특징으로 하는, 폴리오미노를 이용한 조립식 교구에 대해서, 단일 카메라 기반으로 삼차원 깊이맵 생성과 영상 분할 기술을 이용하여 삼차원 모델링을 하는 방법
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
삭제
|
| 6 |
6
제 1 항에 있어서, 상기 깊이 α 및 상기 깊이 β간의 차는, 상기 블록부의 높이 또는 상기 블록부의 높이의 자연수배에 대응하는 값인 것을 특징으로 하는, 폴리오미노를 이용한 조립식 교구에 대해서, 단일 카메라 기반으로 삼차원 깊이맵 생성과 영상 분할 기술을 이용하여 삼차원 모델링을 하는 방법
|
| 7 |
7
제 6 항에 있어서, 상기 멀티스케일 심층 신경망을 통해서 상기 깊이맵에서 정보를 얻을 때 발생할 수 있는 노이즈를 제거하여 화질을 향상시키는 미디언 필터링(Median filtering)을 더 포함하는 것을 특징으로 하는, 폴리오미노를 이용한 조립식 교구에 대해서, 단일 카메라 기반으로 삼차원 깊이맵 생성과 영상 분할 기술을 이용하여 삼차원 모델링을 하는 방법
|
| 8 |
8
제 1 항에 있어서, 상기 삼차원 깊이맵의 대비를 향상시키기 위해 상기 블록부의 전경과 상기 베이스판의 배경을 이진화를 하는 단계(S200)에서는, 추론된 상기 깊이 맵을 다시 업 샘플링하여 원본 영상 크기로 변환하는 단계를 포함하는, 폴리오미노를 이용한 조립식 교구에 대해서, 단일 카메라 기반으로 삼차원 깊이맵 생성과 영상 분할 기술을 이용하여 삼차원 모델링을 하는 방법
|
| 9 |
9
제 8 항에 있어서, 상기 S300 단계에서는, 상기 큐브 메쉬 데이터의 영역에 대해서 색상을 매핑할 때, 연산 속도가 향상될 수 있도록 블록 지정 색상으로 큐브 메쉬 데이터의 색상을 초기 설정하고, 상기 큐브 메쉬 데이터와 대응하는 원본 영상의 색상 평균을 비교하여, 가장 근접한 색상으로 색상을 매핑하는 단계를 포함하는 것을 특징을 하는, 폴리오미노를 이용한 조립식 교구에 대해서, 단일 카메라 기반으로 삼차원 깊이맵 생성과 영상 분할 기술을 이용하여 삼차원 모델링을 하는 방법
|
| 10 |
10
삭제
|
| 11 |
11
제 1 항에 있어서, 상기 폴리오미노를 이용한 조립식 교구는, 상기 베이스판 상에 배치되며, 동물을 포함하는 사물 형상의 이미지가 형성되어 상기 베이스판 상에 상기 사물 형상대로 각 블록부가 조립되도록 가이드하는 가이드이미지부;를 더 포함하는, 폴리오미노를 이용한 조립식 교구에 대해서, 단일 카메라 기반으로 삼차원 깊이맵 생성과 영상 분할 기술을 이용하여 삼차원 모델링을 하는 방법
|
