| 1 |
1
홀로그램 데이터를 생성하는 홀로그램 처리 장치와 상기 생성한 홀로그램 데이터에 따라 홀로그램 이미지를 3차원 공간 상에 복원하는 디스플레이 단말을 포함하는 홀로그래픽 디스플레이 장치에서, 상기 홀로그램 데이터를 생성하는 방법으로,깊이 맵 생성을 위한 딥러닝 엔진을 이용하여, 입력 이미지 데이터로부터 깊이 맵 이미지 데이터를 생성하는 단계; 및상기 깊이 맵 이미지 데이터와 상기 입력 이미지 데이터를 기반으로 복소수 홀로그램을 계산하여 상기 홀로그램 데이터를 생성하는 단계를 포함하는 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법
|
| 2 |
2
제1항에서, 상기 깊이 맵 이미지 데이터를 생성하는 단계 이전에,학습용 입력 이미지 데이터와 학습용 깊이 맵 이미지 데이터를 학습 데이터로 저장하는 데이터베이스를 구축하는 단계; 및상기 학습 데이터를 이용하여 상기 깊이 맵 생성을 위한 딥러닝 엔진을 학습시키는 단계를 더 포함하는 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법
|
| 3 |
3
제1항에서, 상기 홀로그램 데이터를 생성하는 단계는,합성곱 신경망 기반의 홀로그램 데이터 생성을 위한 딥러닝 엔진을 이용하여 상기 복소수 홀로그램을 계산하는 단계인 것인 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법
|
| 4 |
4
제3항에서,상기 깊이 맵 이미지 데이터를 생성하는 단계 이전에,학습용 컬러 이미지 데이터, 학습용 깊이 맵 이미지 데이터 및 학습용 홀로그램 데이터를 학습 데이터로서 저장하는 데이터베이스를 구축하는 단계; 및상기 학습 데이터를 이용하여 상기 홀로그램 데이터 생성을 위한 딥러닝 엔진을 학습시키는 단계를 더 포함하는 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법
|
| 5 |
5
제1항에서,상기 홀로그램 데이터를 생성하는 단계는,FFT(fast-Fourier transformation) 기반 CGH(Computer-Generated Hologram) 계산식을 이용하여 상기 복소수 홀로그램을 계산하는 단계인 것인 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법
|
| 6 |
6
제1항에서,상기 홀로그램 데이터를 생성하는 단계 이후,상기 디스플레이 단말에 포함된 공간 광 변조기의 광변조 방식에 따라, 상기 홀로그램 데이터를 진폭 변조, 위상 변조 및 복소수 변조 중 어느 하나의 방식으로 인코딩하는 단계를 더 포함하는 것인 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법
|
| 7 |
7
제1항에서,상기 깊이 맵 이미지 데이터를 생성하는 단계는,상기 입력 이미지 데이터에 대해, 특징을 추출하고, 다운 샘플링(down-sampling)을 수행하는 단계; 및상기 추출한 특징에 대한 연쇄(concatenation) 연산을 수행하고, 상기 입력 이미지 데이터의 사이즈를 참조하여 업-샘풀링(up-sampling)을 수행하여, 상기 깊이 맵 이미지 데이터를 생성하는 단계를 포함하는 것인 홀로그래픽 디스플레이 장치에서 홀로그램 데이터를 생성하는 방법
|
| 8 |
8
홀로그램 데이터를 생성하는 홀로그램 처리 장치와 상기 생성한 홀로그램 데이터에 따라 홀로그램 이미지를 3차원 공간 상에 복원하는 디스플레이 단말을 포함하는 홀로그래픽 디스플레이 장치에서 상기 홀로그램 이미지를 복원하는 방법으로서,제1 딥 러닝 엔진을 이용하여, 입력 이미지 데이터로부터 깊이 맵 이미지 데이터를 생성하는 단계;제2 딥 러닝 엔진을 이용하여, 상기 깊이 맵 이미지 데이터와 상기 입력 이미지 데이터를 기반으로 상기 홀로그램 데이터를 생성하는 단계; 및상기 홀로그램 데이터에 따라 3차원 공간 상에 상기 홀로그램 이미지를 복원하는 단계를 포함하는 홀로그래픽 디스플레이 장치에서 홀로그램 이미지를 복원하는 방법
|
| 9 |
9
제8항에서,상기 제1 및 제2 딥 러닝 엔진은,합성곱 신경망 기반의 인공 신경망인 것인 홀로그래픽 디스플레이 장치에서 홀로그램 이미지를 복원하는 방법
|
| 10 |
10
제8항에서,상기 깊이 맵 이미지 데이터를 생성하는 단계이전에,학습용 입력 이미지 데이터와 학습용 깊이 맵 이미지 데이터를 포함하는 학습 데이터로 이용하여 상기 제1 딥 러닝 엔진을 학습시키는 단계;상기 학습용 입력 이미지 데이터, 상기 학습용 깊이 맵 이미지 데이터 및 학습용 홀로그램 데이터를 포함하는 학습 데이터를 이용하여 상기 제2 딥 러닝 엔진을 학습시키는 단계; 및상기 학습된 제1 딥 러닝 엔진과 상기 학습된 제2 딥러닝 엔진을 엔드 두 엔드 구조(end-to-end)로 통합하는 단계를 더 포함하는 것인 홀로그래픽 디스플레이 장치에서 홀로그램 이미지를 복원하는 방법
|
| 11 |
11
제8항에서,사용자의 제스처를 인식하여 사용자의 제스처 정보를 획득하는 단계;상기 제스처 정보에 따라 상기 복원된 홀로그램 이미지의 형태 변경을 명령하는 형태 변경 명령을 생성하는 단계;상기 홀로그램 데이터를 생성하는 단계에서 생성된 상기 홀로그램 데이터 중에서, 상기 형태 변경 명령에 대응하는 홀로그램 데이터를 선택하는 단계;현재 복원된 홀로그램 이미지에 대응하는 홀로그램 데이터를 상기 선택된 홀로그램 데이터로 업데이트 하는 단계를 더 포함하고,상기 홀로그램 이미지를 복원하는 단계는,상기 업데이트된 홀로그램 데이터를 기반으로 상기 복원된 홀로그램 이미지와 다른 형태를 갖는 홀로그램 이미지를 복원하는 단계인 것인 홀로그래픽 디스플레이 장치에서 홀로그램 이미지를 복원하는 방법
|
| 12 |
12
제8항에서,사용자의 음성을 인식하여 사용자의 음성 인식 정보를 획득하는 단계;상기 음성 인식 정보에 따라 상기 복원된 홀로그램 이미지의 형태 변경을 명령하는 형태 변경 명령을 생성하는 단계;상기 홀로그램 데이터를 생성하는 단계에서 생성된 상기 홀로그램 데이터 중에서, 상기 형태 변경 명령에 대응하는 홀로그램 데이터를 선택하는 단계;현재 복원된 홀로그램 이미지에 대응하는 홀로그램 데이터를 상기 선택된 홀로그램 데이터로 업데이트 하는 단계를 더 포함하고,상기 홀로그램 이미지를 복원하는 단계는,상기 업데이트된 홀로그램 데이터를 기반으로 상기 복원된 홀로그램 이미지와 다른 형태를 갖는 홀로그램 이미지를 복원하는 단계인 것인 홀로그래픽 디스플레이 장치에서 홀로그램 이미지를 복원하는 방법
|
| 13 |
13
홀로그램 데이터를 생성하는 홀로그램 처리 장치와 상기 생성한 홀로그램 데이터에 따라 홀로그램 이미지를 3차원 공간 상에 복원하는 디스플레이 단말을 포함하고,상기 홀로그램 처리 장치는,제1 딥러닝 엔진을 이용하여, 입력 이미지 데이터로부터 깊이 맵 이미지 데이터를 생성하는 깊이 맵 생성부;FFT(fast-Fourier transformation) 기반 CGH(Computer-Generated Hologram) 계산 알고리즘 또는 제2 딥러닝 엔진을 이용하여, 상기 깊이 맵 이미지 데이터와 상기 입력 이미지 데이터를 기반으로 상기 홀로그램 데이터를 생성하는 홀로그램 생성부; 및상기 홀로그램 데이터를 상기 디스플레이 단말로 전송하는 송신부를 포함하고,상기 디스플레이 단말은,상기 홀로그램 데이터를 수신하는 수신부;상기 수신된 홀로그램 데이터에 따라 회절 패턴을 형성하고, 상기 형성된 회절 패턴에 입사되는 광을 변조시키는 공간 광 변조기; 및상기 공간 광 변조기에 의해 변조된 광에 의해 3차원 공간 상에 상기 홀로그램 이미지가 복원되도록, 상기 회절 패턴에 가간섭성 광을 조사하는 광학 모듈을 포함하는 홀로그래픽 디스플레이 장치
|
| 14 |
14
제13항에서,상기 제1 딥러닝 엔진과 상기 제2 딥 러닝 엔진은, 엔드 투 엔드(end-to-end) 구조로 통합된 것인 홀로그래픽 디스플레이 장치
|
| 15 |
15
제13항에서,상기 제1 딥러닝 엔진과 상기 제2 딥 러닝 엔진 각각은,합성곱 신경망(Convolutional neural network, CNN)을 기반으로 하는 것인 홀로그래픽 디스플레이 장치
|
| 16 |
16
제13항에서,상기 제1 딥러닝 엔진은,DenseNet(Densely Connected Convolutional Networks) 타입의 DenseDepth 모델로 구현된 것인 홀로그래픽 디스플레이 장치
|
| 17 |
17
제13항에서,상기 제1 딥 러닝 엔진은,Pytorch 라이브러리에서 지원하는 Data Parallel Model 변환 함수를 이용하여 멀티(Multi)-GPU 환경에서 동작하도록 구현된 것인 홀로그래픽 디스플레이 장치
|
| 18 |
18
제13항에서,상기 디스플레이 단말과 사용자 사이의 상호 작용 기능을 제공하는 상호 작용 장치를 더 포함하고,상기 상호 작용 장치는,사용자의 제스처 또는 음성을 인식하여 사용자의 제스처 정보 또는 음성 인식 정보를 획득하는 사용자 인식 센서; 및상기 제스처 정보 또는 상기 음성 인식 정보에 따라 상기 복원된 홀로그램 이미지의 형태 변경을 명령하는 피드백 명령을 생성하는 피드백 명령 생성부를 포함하고,상기 홀로그램 처리 장치는,상기 홀로그램 생성부에서 생성된 상기 홀로그램 데이터 중에서, 상기 피드백 명령에 대응하는 홀로그램 데이터를 선택하고, 현재 복원된 홀로그램 이미지에 대응하는 홀로그램 데이터를 상기 선택된 홀로그램 데이터로 업데이트 하는 피드백 처리부를 더 포함하고,상기 디스플레이 단말에 포함된 상기 공간 광 변조기는,상기 업데이트된 홀로그램 데이터에 따라 회절 패턴을 형성하고, 상기 형성된 회절 패턴에 입사되는 광을 변조시키는 것인 홀로그래픽 디스플레이 장치
|
