| 1 |
1
감각 대체 장치에서 전달되는 감각 대체 신호에 대한 사용자의 응답이나 반응 신호를 수집하는 반응신호 수집부; 상기 대체 신호를 전달받는 사용자의 주위 환경 정보를 수집하는 환경정보 수집부, 수집된 상기 환경 정보를 기반으로 상기 감각 대체 장치에 의한 사용자의 감각 대체 효율을 분석하고, 상기 감각 대체 효율에 따라 상기 대체 신호를 조정하기 위한 조정 신호를 생성하는 감각대체효율 분석부; 및 분석된 상기 감각 신호의 환경 정보별 감각 대체 효율에 따른 보정 신호를 상기 감각 대체 장치로 제공하는 조정신호 전달부를 포함하는 감각 대체 조정 장치
|
| 2 |
2
제 1항에 있어서, 상기 반응신호 수집부는, 상기 대체 신호를 제공받은 사용자의 뇌로부터 얻은 신호를 상기 응답 신호로 수집하는 감각 대체 조정 장치
|
| 3 |
3
제 1항에 있어서, 상기 반응신호 수집부는, 상기 대체 신호를 제공받고 있는 사용자의 뇌로부터 뇌파 신호를 수집하는 뇌파 신호 수집부를 포함하는 감각 대체 조정 장치
|
| 4 |
4
제 1항에 있어서, 상기 반응신호 수집부는, 상기 대체 신호를 제공받았던 사용자의 뇌를 측정하여 얻은 뇌 활동 데이터를 수집하는 뇌 활동 데이터 수집부를 포함하는 감각 대체 조정 장치
|
| 5 |
5
제 1항에 있어서, 상기 감각 대체 효율 분석부는:상기 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치가 대체하는 대체 감각을 관할하는 뇌 영역의 반응도; 및상기 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치에 의해 대체되는 피대체 감각을 관할하는 뇌 영역의 활성도;중 적어도 하나를 상기 응답 신호로부터 획득하고,상기 반응도 및 상기 활성도 중 적어도 하나를 기반으로 사용자의 상기 감각 대체 효율을 산출하는 감각 대체 조정 장치
|
| 6 |
6
제 5항에 있어서, 상기 반응도가 높을수록 상기 감각 대체 효율은 높고, 상기 반응도가 낮을수록 상기 감각 대체 효율은 낮고,상기 활성도가 높을수록 상기 감각 대체 효율은 높고, 상기 활성도가 낮을수록 상기 감각 대체 효율은 낮은 감각 대체 조정 장치
|
| 7 |
7
제 6항에 있어서, 상기 감각 대체 효율 분석부는,상기 감각 대체 장치가 다수의 서로 다른 대체 감각으로 사용자에게 상기 대체 신호를 제공하는 경우, 각각의 개별 대체 감각에 대해 상기 반응도를 획득하여 상기 감각 대체 효율을 산출하고,상기 다수의 서로 다른 대체 감각 중 상기 감각 대체 효율이 상대적으로 높은 적어도 하나의 대체 감각을 선호 대체 감각으로 결정하고,상기 조정 신호 전달부는:상기 선호 대체 감각에 관한 정보를 상기 감각 대체 장치로 전달하는 감각 대체 조정 장치
|
| 8 |
8
제 7항에 있어서, 상기 감각 대체 효율 분석부는, 상기 감각 대체 장치에 의해 다수의 서로 다른 피대체 감각이 상기 대체 감각으로 대체되도록 사용자에게 상기 대체 신호가 제공되는 경우, 각각의 개별 피대체 감각에 대해 상기 활성도를 획득하여 상기 감각 대체 효율을 산출하고,상기 다수의 서로 다른 피대체 감각 중 상기 감각 대체 효율이 상대적으로 낮은 적어도 하나의 피대체 감각을 보강 피대체 감각으로 결정하고,상기 조정 신호 전달부는:상기 보강 피대체 감각에 관한 정보를 상기 감각 대체 장치로 전달하는 감각 대체 조정 장치
|
| 9 |
9
제 8항에 있어서, 상기 감각 대체 효율 분석부는, 상기 감각 대체 장치가 다수의 서로 다른 대체 감각으로 사용자에게 상기 대체 신호를 제공하는 경우, 상기 환경 정보 수집부에서 수집한 환경에 관한 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 우선 순위와, 상기 다수의 대체 신호의 크기 및 상기 다수의 대체 신호의 구성 비율을 결정하고, 상기 다수의 대체 신호 간의 상대적인 우선 순위, 상기 다수의 대체 신호의 크기 관계 및 구성 비율에 따라 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 크기 관계 및 구성 비율을 조정하기 위한 조정 신호를 생성하여 상기 조정 신호 전달부를 통해 상기 감각 대체 장치로 해당 조정 신호를 전달하는 감각 대체 조정 장치
|
| 10 |
10
제 9항에 있어서, 상기 감각 대체 효율 분석부는상기 응답 신호 및 상기 환경 정보를 기반으로 다수의 대체 감각 및 피대체 감각 별로 사용자에 전달되는 정보량을 분석하는 정보량 분석부;상기 우선 순위에 따라 상기 다수의 대체 감각 중 우선 선호 감각을 결정하는 우선 선호 감각 결정부;상기 우선 선호 감각에 대해 분석된 정보량과 상기 피대체 감각에 대해 분석된 정보량을 비교하고, 상기 우선 선호 감각에 대한 정보량이 상기 피대체 감각에 대한 정보량 보다 작은 경우 상기 우선 선호 감각 보다 우선 순위가 낮은 차순위의 대체 감각에 대해 분석된 정보량을 상기 우선 선호 감각에 대한 정보량에 합한 값을 상기 피대체 감각에 대한 정보량과 비교하는 정보량 비교부; 및상기 정보량 비교부의 비교 결과에 따라 상기 우선 선호 감각에 관한 대체 신호와 상기 차순위의 대체 감각에 관한 대체 신호의 크기 및 비율을 결정하는 대체 감각 비율 결정부를 포함하는 감각 대체 조정 장치
|
| 11 |
11
제 10항에 있어서, 상기 대체 감각 비율 결정부는:상기 우선 선호 감각에 관한 정보량이 상기 피대체 감각에 대한 정보량보다 큰 경우 사용자에게 상기 우선 선호 감각에 관한 대체 신호가 전달되도록 상기 조정 신호 전달부를 통해 상기 감각 대체 장치로 제1 조정 신호를 전달하고;상기 우선 선호 감각에 관한 정보량이 상기 피대체 감각에 대한 정보량 이하인 경우 상기 사용자에게 상기 제1 대체 신호와 함께 상기 차순위의 대체 감각에 관한 제2 대체 신호가 전달되도록 상기 조정 신호 전달부를 통해 상기 감각 대체 장치로 제2 조정 신호를 전달하고; 및 상기 다수의 대체 감각들에 대해 분석된 모든 정보량을 합한 값이 상기 피대체 감각에 대한 정보량보다 작은 경우 상기 감각 대체 장치에 생성하는 정보의 해상도 또는 전달 대상 정보의 수정 또는 재조정을 요청하는 감각 대체 조정 장치
|
| 12 |
12
제 9항에 있어서, 상기 감각 대체 효율 분석부는:대체 감각 신호가 시작되는 동기 시점을 감지하고, 상기 동기 시점에서 시작하여 대뇌 감각 신호의 변화를 측정하고;전달되는 신호가 기저신호인지 여부를 판단하고, 전달되는 신호가 기저신호인 경우 감각 정보를 기저 감각정보로 저장하고, 전달되는 신호가 기저신호가 아닌 경우 신호에 대하여 감각 기관들의 반응도를 분석하고; 및 개별 감각 기관들의 반응도와 기저정보부에 저장된 개별 감각의 반응도 간의 차이에 따라 대체 감각에 대한 반응도를 판단하여 선호 감각의 우선 순위를 결정하는 감각 대체 조정 장치
|
| 13 |
13
제 1항에 있어서, 상기 감각 대체 효율 분석부는:상기 응답 신호 수집부에 의해 수집된 뇌파 신호 중 시각 정보 반응과 관련된 후두 중심 신호와 우측 가측 두정-후두엽 신호, 청각 정보 반응과 관련된 우측 가측 두정-측두엽 신호와 우측 가측 전두엽 신호, 및 촉각 정보 반응과 관련된 대뇌 정수리 영역 신호를 포함하는 뇌 반응 신호들을 추출하는 반응 신호 추출부;상기 반응 신호 추출부에 의해 추출된 뇌 반응 신호들을 각각 주파수 변환하여 주파수 영역 뇌파 데이터를 생성하고, 상기 주파수 영역 뇌파 데이터 중 델타파 및 쎄타파 데이터를 추출하고, 상기 델타파 및 쎄타파 데이터를 기저 상태의 데이터와 비교하여 대체 감각별 반응 변화율을 산출하는 반응도 산출부;상기 응답 신호 수집부에 의해 수집된 뇌 활동 데이터 중 시각 피질 영역, 청각 피질 영역 및 촉각 피질 영역의 대체 감각 관련 뇌 활동 데이터를 추출하는 뇌 활동 데이터 추출부;상기 대체 감각 관련 뇌 활동 데이터를 기반으로 시각 피질 활성도, 청각 피질 활성도 및 촉각 피질 활성도를 포함하는 대체 감각 관련 뇌 활성도를 산출하는 뇌 활성도 산출부;상기 환경 정보, 상기 대체 감각별 반응 변화율 및 상기 대체 감각 관련 뇌 활성도를 이용하여 학습에 의해 상기 대체 신호를 조정하기 위한 대체 감각 조정 모델을 생성하는 학습부; 및상기 대체 감각 조정 모델을 기반으로, 상기 대체 신호를 조정하기 위한 조정 신호를 생성하는 대체 감각 결정부를 포함하는 감각 대체 조정 장치
|
| 14 |
14
감각 대체 효율 분석부에 의해, 대체 감각 신호가 시작되는 동기 시점을 감지하는 단계; 상기 동기 시점에서 시작하여 대뇌 감각 신호의 변화를 측정하는 단계; 상기 전달되는 신호가 기저신호인지 여부를 판단하는 단계; 상기 기저신호인지를 판단하는 단계에서 전달되는 신호가 기저신호이면, 감각 정보를 기저 감각정보로 저장하는 단계; 상기 기저신호인지를 판단하는 단계에서 전달되는 신호가 기저신호가 나이면, 신호에 대하여 감각 기관들의 반응도를 분석하는 단계; 상기 기저 감각정보가 저장된 감각 정보에 대한 감각 반응도를 분석하는 단계; 사용자의 반응도와 뇌 활성도 및 환경 정보를 이용하여 감각 대체 효율을 산출하는 단계; 및 상기 선호 감각의 우선 순위를 결정하는 단계를 포함하는 감각 대체 조정 방법
|
| 15 |
15
제 14항에 있어서, 상기 감각 기관들의 반응도를 분석하는 단계는, 상기 감각 대체 효율 분석에 의해, 상기 응답 신호 수집부에 의해 수집된 뇌파 신호 중 시각 정보 반응과 관련된 후두 중심 신호와 우측 가측 두정-후두엽 신호, 청각 정보 반응과 관련된 우측 가측 두정-측두엽 신호와 우측 가측 전두엽 신호, 및 촉각 정보 반응과 관련된 대뇌 정수리 영역 신호를 포함하는 뇌 반응 신호들을 추출하는 단계; 상기 반응 신호 추출부에 의해 추출된 뇌 반응 신호들을 각각 주파수 변환하여 주파수 영역 뇌파 데이터를 생성하고, 상기 주파수 영역 뇌파 데이터 중 델타파 및 쎄타파 데이터를 추출하고, 상기 델타파 및 쎄타파 데이터를 기저 상태의 데이터와 비교하여 대체 감각별 반응 변화율을 산출하는 단계; 상기 응답 신호 수집부에 의해 수집된 뇌 활동 데이터 중 시각 피질 영역, 청각 피질 영역 및 촉각 피질 영역의 대체 감각 관련 뇌 활동 데이터를 추출하는 단계; 상기 대체 감각 관련 뇌 활동 데이터를 기반으로 시각 피질 활성도, 청각 피질 활성도 및 촉각 피질 활성도를 포함하는 대체 감각 관련 뇌 활성도를 산출하는 단계; 상기 환경 정보, 상기 대체 감각별 반응 변화율 및 상기 대체 감각 관련 뇌 활성도를 이용하여 학습에 의해 상기 대체 신호를 조정하기 위한 대체 감각 조정 모델을 생성하는 단계; 및상기 대체 감각 조정 모델을 기반으로, 상기 대체 신호를 조정하기 위한 조정 신호를 생성하는 단계를 포함하는 감각 대체 조정 방법
|
| 16 |
16
제 15항에 있어서, 상기 반응도는, 기저 정보를 기준으로 반응 정도의 고저점, 임계점 중 하나를 통해 설정하는 것인 감각 대체 조정 장치
|
| 17 |
17
제 14항에 있어서, 상기 감각 반응도를 분석하는 단계는, 뇌파 신호의 주파수분석, 사건유발전위(ERP: Event-related Potential) 또는 사건유발진동반응(ERSP: Event-related Spectral Perturbation) 중 하나의 방법을 통해 반응도를 분석하는 것인 감각 대체 조정 방법
|
| 18 |
18
제 14항에 있어서, 상기 감각 대체 효율을 산출하는 단계는, 상기 감각 대체 효율부에 의해, 대체 신호를 제공받는 사용자에 대하여 개별 감각 기관에 대한 상기 반응도(R)와 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치에 의해 대체되는 피대체 감각을 관할하는 뇌 영역의 상기 활성도(A) 및 상기 환경 정보(E)들을 기반으로 감각 대체 효율을 산출하되, 상기 활성도가 높을수록 감각 대체 효율은 높다고 판단하고, 활성도가 낮을수록 감각 대체 효율이 낮다고 감각 대체 효율을 분석하는 것인 감각 대체 조정 방법
|
| 19 |
19
제 14항에 있어서, 조정신호 전달부에 의해, 감각 별로 전달할 수 있는 정보량 즉, 감각 대체 효율 분석부의 결과 중 제1대체 감각인 우선 감각의 정보량과 피대체 감각의 정보량을 분석하는 단계; 상기 우선 선호 감각의 정보량이 피대체 감각의 정보량보다 큰지의 여부를 판단하는 단계; 및 상기 판단 단계에서 우선 선호 감각의 정보량이 피대체 감각의 정보량 보다 크면, 우선 선호 감각정보를 전달하는 단계를 더 포함하는 감각 대체 조정 방법
|
| 20 |
20
제 19항에 있어서, 상기 판단 단계에서 우선 선호 감각의 정보량이 피대체 감각의 정보량 보다 작으면, 차순위의 감각을 추가하는 단계; 상기 우선 선호 감각의 정보량과 차순위 감각의 정보량들의 합을 피대체 감각의 정보량과 비교하는 단계; 상기 정보량과 비교하는 단계에서 우선 선호 감각의 정보량과 차순위 감각의 정보량들의 합이 피대체 감각의 정보량보다 크면, 감각 정보의 순서와 신호의 조합을 위한 구성 비율을 전달하는 단계; 상기 정보량을 비교하는 단계에서 선호 감각들의 정보량을 모두 합한 경우에도 피대체 감각의 제2 정보량보다 작으면, 모든 선호 감각들의 정보량들을 합하여 피대체 감각의 정보량과 비교하였는지를 판단하는 단계; 상기 정보량을 비교하는 단계에서 모든 선호 감각들의 정보량들의 합을 피대체 감각의 정보량과 비교하면, 감각 대체 장치에 생성하는 정보의 해상도나 전달 대상 정보의 수정 또는 재조정을 요청하는 단계; 및 상기 정보량을 비교하는 단계에서 모든 선호 감각들의 정보량들의 합을 피대체 감각의 제2 정보량과 비교하지 않으면 차순위 대체 감각을 추가하는 단계를 포함하는 감각 대체 조정 방법
|
