| 1 |
1
라이트필드(LF, light field) 리포커스(refocus) 영상으로부터 변환된 라이트필드 리포커스 복소진폭(complex amplitude) 영상인 입력 학습데이터 및 RGB-깊이 맵 기반으로 생성된 CGH인 출력 학습데이터로 구축된 학습 DB; 상기 학습 DB를 이용하여 딥러닝 엔진을 훈련하여 홀로그램 데이터를 합성하는 홀로그램 데이터 계산부;상기 홀로그램 데이터 계산부로부터 홀로그램 데이터를 수신하여 홀로그램 콘텐츠로서 디스플레이 하는 홀로그래픽 디스플레이 단말기를 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 2 |
2
제1항에 있어서, 상기 홀로그램 데이터 계산부의 딥러닝 엔진은 컨볼루션 신경망(CNN)을 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 3 |
3
제1항에 있어서, 상기 홀로그래픽 디스플레이 단말기는 상기 홀로그램 데이터 계산부에서 계산된 홀로그램 콘텐츠를 광시야각으로 디스플레이하며 사용자의 음성 및 제스쳐를 인식하고 이 인식된 정보를 이용하여 사용자와 상호작용하도록 구성되는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 4 |
4
제1항에 있어서, 상기 학습 DB를 구축하기 위한 시스템을 추가로 포함하되, 이 시스템은선택된 화상(scene) 또는 객체(object)의 3D 정보를 제공할 수 있는 데이터 및 다시점(multi-view)의 RGB 컬러 영상 중 하나를 획득하는 영상획득부;상기 영상획득부에서 얻은 영상이 리포커싱(refocusing) 상태로 획득된 이미지(refocus 영상)일 때 상기 영상획득부에서 출력된 영상으로부터 상기 학습 DB의 입력 학습데이터를 생성하는 데 사용될 위상 정보(phase distrubution)를 추출하는 위상정보 추출부; 및 상기 학습 DB의 출력 학습데이터를 생성하기 위해 CGH(computer-generated hologram)를 합성하는 CGH 합성부를 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 5 |
5
제4항에 있어서, 상기 영상획득부에서 얻은 영상 데이터가 넌리포커스 영상인 경우에, 영상획득부에 의해 획득된 원본 이미지로부터 리포커스 영상을 얻는 리포커스 영상 변환부를 추가로 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 6 |
6
제4항에 있어서, 상기 영상획득부에서 획득된 리포커스영상의 선택된 영역에서 객체의 방향, 위치, 특징 중 적어도 하나를 수정하는 이미지 수정부; 및 상기 이미지 수정을 마친 영상을 원하는 포맷의 파일로 저장하는 파일 저장부를 추가로 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 7 |
7
제4항에 있어서, 상기 위상정보 추출부는 위상 정보 추출을 위해 IFT(iterative Fourier transform) 알고리즘 및 딥러닝 엔진 중 하나를 이용하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 8 |
8
제4항에 있어서, 상기 CGH 합성부는 학습 DB의 출력 자료 생성을 위해 RGB-깊이 맵 기반 FFT 알고리즘 등을 이용하여 RGB-깊이 형태의 포맷을 입력으로 하여 CGH를 합성하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 9 |
9
제1항에 있어서, 상기 홀로그램 데이터 계산부는, 상기 학습 DB의 입력 및 출력 학습데이터를 학습하는 딥러닝 엔진; 및 학습된 딥러닝 엔진을 이용하여 홀로그래픽 데이터를 계산하는 CGH 계산부를 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 10 |
10
제1항에 있어서, 상기 홀로그램 데이터 계산부는 상기 학습 DB를 이용하여 CNN 기반 알고리즘으로 학습하되, 학습시에 입력 학습데이터로 세기 영상 및 위상 영상이 모두 포함된 리포커스 복소진폭 영상을 사용하는 딥러닝 엔진; 상기 훈련된 딥러닝 엔진을 이용하여, 입력되는 라이트필드 리포커스 영상에 대해 복소수(complex values) 홀로그램 데이터를 생성하는 CGH 계산부를 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 11 |
11
제10항에 있어서, 상기 홀로그램 데이터 계산부는 상기 CGH 계산부에서 생성된 CGH 홀로그램 데이터를 보관하기 위한 메모리를 추가로 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 12 |
12
제10항에 있어서, 상기 홀로그램 데이터 계산부는 상기 CGH 계산부에서 생성된 홀로그램 데이터 중에서 홀로그램 데이터 쌍(pair)을 적어도 하나 이상 선택하는 선택부; 및 상기 선택된 데이터를 송신하는 송신부를 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 13 |
13
제1항에 있어서, 상기 홀로그래픽 디스플레이 단말기는, 상기 홀로그램 데이터 계산부로부터, 선택된 홀로그램 데이터를 수신하는 수신부; 상기 수신된 홀로그램 데이터 파일을 상기 홀로그래픽 디스플레이 단말기의 특성에 맞게 보정하는 변환부; 및상기 선택된 홀로그램 데이터를 디스플레이 단말기에 업로드하고 업로드된 상태에서 단말기를 조명하여 홀로그램 콘텐츠를 3차원 공간 상에 복원하여 광 필드를 출력하는 영상복원부를 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 14 |
14
제13항에 있어서, 상기 홀로그래픽 디스플레이 단말기는상기 복원된 광 필드를 시청자의 눈 주변으로 전달하는 필드 렌즈가 포함된 광학부를 추가로 포함하되, 상기 필드 렌즈는 사용자가 있는 공간인 양(+)의 z 공간 영역(front space)으로 3D 영상이 좌우 눈에 들어 올 수 있도록 교차 수렴 특성을 제공하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 15 |
15
제1항에 있어서, 상기 홀로그래픽 디스플레이 단말기는사용자의 음성 명령을 인식하는 센서; 사용자의 제스처 명령을 인식하는 센서; 및 인식된 사용자의 상기 음성 명령 및 제스처 명령 중 적어도 하나를 이용하여 상기 홀로그램 데이터 계산부에서 생성된 홀로그램 데이터를 선택적으로 업데이트하는 피드백 프로그램이 포함된 홀로그램 콘텐츠와 사용자 간의 상호작용 시스템을 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 16 |
16
제15항에 있어서, 상기 피드백 프로그램은 상기 인식된 음성 명령 및 제스처 명령 중 적어도 하나에 매칭된 홀로그램 데이터를 선택하여 상기 홀로그램 데이터 계산부로부터 불러들이는 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템
|
| 17 |
17
라이트필드(LF, light field) 리포커스(refocus) 영상으로부터 변환된 라이트필드 리포커스 복소진폭(complex amplitude) 영상인 입력 학습데이터 및 RGB-깊이 맵 기반으로 생성된 CGH인 출력 학습데이터로 구성되는 학습 DB를 구축하는 단계; 상기 학습 DB를 이용하여 딥러닝 엔진을 훈련하여 홀로그램 데이터를 합성하는 단계; 및상기 합성된 홀로그램 데이터를 수신하여 홀로그램 콘텐츠로서 디스플레이 하는 단계를 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 방법
|
| 18 |
18
제17항에 있어서, 상기 홀로그램 데이터 합성 단계는 상기 학습 DB를 이용하여 CNN 기반 알고리즘으로 학습하되, 학습시에 입력 학습데이터로 세기 영상 및 위상 영상이 모두 포함된 리포커스 복소진폭 영상을 사용하는 딥러닝 엔진을 이용하여, 입력되는 라이트필드 리포커스 영상에 대해 복소수(complex values) 홀로그램 데이터를 생성하는 것을 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 방법
|
| 19 |
19
제17항에 있어서, 상기 디스플레이 단계는 사용자의 음성 및 제스쳐를 인식하고 이 인식된 정보를 이용하여 사용자와 상호작용하도록 하는 것을 추가로 포함하는 딥러닝 기반 디지털 홀로그램 합성 및 처리 방법
|
| 20 |
20
제17항에 있어서, 상기 디스플레이 단계는사용자의 음성 명령 및 사용자의 제스처 명령 중 하나를 인식하는 센서; 및 인식된 사용자의 상기 음성 명령 및 제스처 명령 중 적어도 하나를 이용하여 상기 합성된 홀로그램 데이터를 선택적으로 업데이트하는 피드백 프로그램을 이용하여 홀로그램 콘텐츠와 사용자 간의 상호작용을 수행하는 것을 포함하되, 상기 피드백 프로그램은, 상기 인식된 음성 명령 및 제스처 명령 중 적어도 하나에 매칭된 홀로그램 데이터를 선택하여 상기 홀로그램 합성 단계로부터 불러들이는, 딥러닝 기반 디지털 홀로그램 합성 및 처리 방법
|
