맞춤기술찾기

이전대상기술

헤드셋 기반의 음성인식 마이크로폰을 이용한 수술로봇 시스템

  • 기술번호 : KST2022004034
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 헤드셋 기반의 음성인식 마이크로폰을 이용한 수술 로봇 시스템에 관한 것으로서, 상세하게는 사용자가 내시경 영상을 VR(Virtual Reality) 헤드셋(Headset)을 통해 확인하면서 음성인식 마이크로폰을 이용하여 손을 사용할 필요없이 음성으로 내시경 카메라의 동작을 제어할 수 있는 수술로봇 시스템에 관한 것이다. 본 발명의 일실시 예에 따른 수술로봇 시스템은, 소정의 절개부위를 통해 수술공간으로 삽입되어 수술부위를 실시간 촬영하는 내시경 카메라; 상기 내시경 카메라를 이동시키는 구동부; 사용자의 머리에 착탈 가능하게 착용되어 상기 내시경 카메라에서 촬영된 영상을 표시하는 헤드셋; 사용자의 음성을 인식하는 음성인식부; 및 상기 음성인식부에서 인식된 음성데이터로부터 상기 내시경 카메라의 움직임에 대한 사용자의 의도를 파악한 후 이를 기초로 상기 구동부를 제어하기 위한 구동제어신호를 상기 구동부로 송신하며, 상기 내시경 카메라로부터 수신된 영상정보를 상기 헤드셋으로 전송하는 제어부;를 포함할 수 있다.
Int. CL A61B 34/30 (2016.01.01) A61B 34/00 (2016.01.01) G10L 15/18 (2006.01.01) G10L 15/04 (2006.01.01) A61B 17/00 (2022.01.01) H04R 1/10 (2006.01.01) G10L 15/22 (2006.01.01)
CPC A61B 34/30(2013.01) A61B 34/25(2013.01) A61B 34/70(2013.01) A61B 90/361(2013.01) A61B 90/37(2013.01) G10L 15/1822(2013.01) G10L 15/04(2013.01) G10L 15/26(2013.01) G10L 15/063(2013.01) G10L 15/16(2013.01) G10L 17/24(2013.01) H04R 1/1091(2013.01) H04R 1/1075(2013.01) A61B 2034/301(2013.01) A61B 2017/00203(2013.01) A61B 2017/00119(2013.01) A61B 2560/0493(2013.01) G10L 2015/223(2013.01) G10L 2015/225(2013.01)
출원번호/일자 1020200131637 (2020.10.13)
출원인 서울대학교산학협력단, 서울대학교병원
등록번호/일자
공개번호/일자 10-2022-0049062 (2022.04.21) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2020.10.13)
심사청구항수 5

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 서울대학교산학협력단 대한민국 서울특별시 관악구
2 서울대학교병원 대한민국 서울특별시 종로구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김성완 경기도 용인시 수지구
2 김영균 부산광역시 해운대구
3 임민혁 서울특별시 중구
4 윤단 서울특별시 영등포구
5 문경빈 인천광역시 미추홀구
6 김병수 서울특별시 강북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 이정연 대한민국 서울특별시 강남구 논현로 ***, ***(역삼동, 성지하이츠*차빌딩)(ALL바른특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2020.10.13 수리 (Accepted) 1-1-2020-1077302-73
2 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.11.25 수리 (Accepted) 4-1-2020-5265458-48
3 선행기술조사의뢰서
Request for Prior Art Search
2021.05.18 수리 (Accepted) 9-1-9999-9999999-89
4 특허고객번호 정보변경(경정)신고서·정정신고서
2021.07.29 수리 (Accepted) 4-1-2021-5205564-29
5 선행기술조사보고서
Report of Prior Art Search
2021.08.13 발송처리완료 (Completion of Transmission) 9-6-2022-0003360-14
6 [출원인변경]권리관계변경신고서
[Change of Applicant] Report on Change of Proprietary Status
2021.09.08 수리 (Accepted) 1-1-2021-1042688-06
7 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2021.09.10 수리 (Accepted) 1-1-2021-1053088-79
8 의견제출통지서
Notification of reason for refusal
2022.01.26 발송처리완료 (Completion of Transmission) 9-5-2022-0077215-91
9 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2022.03.27 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2022-0328412-53
10 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2022.03.27 수리 (Accepted) 1-1-2022-0328413-09
11 특허고객번호 정보변경(경정)신고서·정정신고서
2022.04.04 수리 (Accepted) 4-1-2022-5079741-71
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
소정의 절개부위를 통해 수술공간으로 삽입되어 수술부위를 실시간 촬영하는 내시경 카메라;상기 내시경 카메라를 이동시키는 구동부;사용자의 머리에 착탈 가능하게 착용되어 상기 내시경 카메라에서 촬영된 영상을 표시하는 헤드셋;사용자의 음성을 인식하는 음성인식부; 및상기 음성인식부에서 인식된 음성데이터로부터 상기 내시경 카메라의 움직임에 대한 사용자의 의도를 파악한 후 이를 기초로 상기 구동부를 제어하기 위한 구동제어신호를 상기 구동부로 송신하며, 상기 내시경 카메라로부터 수신된 영상정보를 상기 헤드셋으로 전송하는 제어부;를 포함하는 수술로봇 시스템
2 2
제 1 항에 있어서,상기 제어부는,상기 음성인식부를 통해 확보된 음성데이터로부터 상기 내시경 카메라의 움직임에 대한 사용자의 의도를 파악하는 음성인식 판단부;상기 음성인식 판단부에서 파악된 상기 내시경 카메라의 움직임에 대한 사용자의 의도를 기초로 상기 내시경 카메라의 동작 제어에 필요한 발화지침을 생성하는 발화지침 생성부;상기 발화지침에 기초하여 상기 구동부를 제어하기 위한 구동제어신호를 생성하는 구동제어신호 생성부; 및상기 내시경 카메라로부터 수신된 영상정보와 상기 발화지침을 상기 헤드셋으로 전송하며, 상기 구동제어신호를 상기 구동부로 전송하는 송신부;를 포함하고,상기 헤드셋은,상기 송신부에서 전송되는 영상정보를 표시하는 영상표시부; 및상기 송신부에서 전송되는 발화지침을 상기 영상표시부에 자막으로 표시하는 자막표시부;를 포함하는 것을 특징으로 하는 수술로봇 시스템
3 3
제 2 항에 있어서,상기 음성인식 판단부는 머신 러닝 기반의 음성 인식 모델을 이용하여 상기 음성인식부를 통해 확보된 음성데이터 중에서 상기 내시경 카메라의 동작 제어에 필요한 단어들을 구분하고 패턴화하여 상기 내시경 카메라의 움직임에 대한 사용자의 의도를 파악하는 것을 특징으로 하는 수술로봇 시스템
4 4
제 3 항에 있어서,상기 음성 인식 모델은 딥 러닝(deep learning) 기반의 학습에 기초하여 구축된 심층신경망(Deep neural network)를 포함함을 특징으로 하는 수술로봇 시스템
5 5
제 3 항에 있어서,상기 발화 지침은 ‘캠 라이트(Cam right)’, ‘캠 레프트(Cam left)’, ‘캠 업(Cam up)’, ‘캠 다운(Cam down)’, ‘캠 줌 인(Cam zoon in)’및 ‘캠 줌 아웃(Camera zoom out)’을 포함하는 것을 특징으로 하는 수술로봇 시스템
6 6
제 1 항에 있어서,상기 음성인식부는 상기 헤드셋 일측에 착탈가능하게 구비되거나 상기 헤드셋에 일체로 구비된 마이크로폰인 것을 특징으로 하는 수술로봇 시스템
7 7
소정의 절개부위를 통해 수술공간으로 삽입되어 수술부위를 실시간 촬영하는 내시경 카메라;상기 수술공간으로 삽입되어 상기 수술부위를 수술하기 위한 로봇팔;상기 내시경 카메라를 이동시키는 구동부;사용자의 머리에 착탈 가능하게 착용되어 상기 내시경 카메라에서 촬영된 영상을 표시하는 헤드셋;사용자의 음성을 인식하는 음성인식부; 및상기음성인식부에서 인식된 음성데이터로부터 상기 내시경 카메라의 움직임에 대한 사용자의 의도를 파악한 후 이를 기초로 상기 구동부를 제어하기 위한 구동제어신호를 상기 구동부로 송신하고, 상기 내시경 카메라와 상기 로봇팔의 충돌확률을 계산하여 상기 계산된 충돌확률을 상기 헤드셋으로 전송하며, 상기 내시경 카메라로부터 수신된 영상정보를 상기 헤드셋으로 전송하는 제어부;를 포함하는 수술로봇 시스템
8 8
제 7 항에 있어서,상기 제어부는,상기 음성인식부를 통해 확보된 음성데이터로부터 상기 내시경 카메라의 움직임에 대한 사용자의 의도를 파악하는 음성인식 판단부;상기 음성인식 판단부에서 파악된 상기 내시경 카메라의 움직임에 대한 사용자의 의도를 기초로 상기 내시경 카메라의 동작 제어에 필요한 발화지침을 생성하는 발화지침 생성부;상기 발화지침에 기초하여 상기 구동부를 제어하기 위한 구동제어신호를 생성하는 구동제어신호 생성부;상기 내시경 카메라와 상기 로봇팔의 충돌가능성을 확률로 계산하는 충돌확률 계산부; 및상기 내시경 카메라로부터 수신된 영상정보와, 상기 발화지침과, 상기 충돌확률 계산부에서 계산된 충돌확률을 상기 헤드셋으로 전송하며, 상기 구동제어신호를 상기 구동부로 전송하는 송신부;를 포함하고, 상기 헤드셋은,상기 송신부에서 전송되는 영상정보를 표시하는 영상표시부; 및상기 송신부에서 전송되는 발화지침과 충돌확률을 상기 영상표시부에 표시하는 자막표시부;를 포함하는 것을 특징으로 하는 수술로봇 시스템
9 9
제 8 항에 있어서,상기 음성인식 판단부는 머신 러닝 기반의 음성 인식 모델을 이용하여 상기 음성인식부를 통해 확보된 음성데이터 중에서 상기 내시경 카메라의 동작 제어에 필요한 단어들을 구분하고 패턴화하여 상기 내시경 카메라의 움직임에 대한 사용자의 의도를 파악하는 것을 특징으로 하는 수술로봇 시스템
10 10
제 9 항에 있어서,상기 음성 인식 모델은 딥 러닝(deep learning) 기반의 학습에 기초하여 구축된 심층신경망(Deep neural network)를 포함함을 특징으로 하는 수술로봇 시스템
11 11
제 9 항에 있어서,상기 발화 지침은 ‘캠 라이트(Cam right)’, ‘캠 레프트(Cam left)’, ‘캠 업(Cam up)’, ‘캠 다운(Cam down)’, ‘캠 줌 인(Cam zoon in)’및 ‘캠 줌 아웃(Camera zoom out)’을 포함하는 것을 특징으로 하는 수술로봇 시스템
12 12
제 8 항에 있어서,상기 음성인식 판단부는 상기 내시경 카메라와 로봇팔의 충돌확률을 표시하는 기준에 대한 사용자 의도를 파악하도록 구비되고,상기 제어부는 상기 충돌확률 계산부에서 계산된 충돌확률이 상기 음성인식 판단부에서 파악된 상기 내시경 카메라와 로봇팔의 충돌확률을 표시하는 기준에 대한 사용자 의도에 따른 충돌확률보다 높은 경우에 상기 송신부가 상기 충돌확률 계산부에서 계산된 충돌확률을 상기 헤드셋으로 전송하도록 하는 충돌확률 표시여부 판단부를 더 포함하는 것을 특징으로 하는 수술로봇 시스템
13 13
제 12 항에 있어서,상기 음성인식 판단부는 머신 러닝 기반의 음성 인식 모델을 통해 상기 음성인식부를 통해 확보된 음성데이터 중에서 상기 내시경 카메라 동작 제어에 필요한 단어들과 상기 내시경 카메라와 로봇팔의 충돌확률을 표시하는 기준에 대한 단어들을 구분하고 패턴화하여 상기 내시경 카메라의 움직임에 대한 사용자 의도와 상기 내시경 카메라와 상기 로봇팔의 충돌확률을 표시하는 기준에 대한 사용자 의도를 파악하는 것을 특징으로 하는 수술로봇 시스템
14 14
제 13 항에 있어서,상기 음성 인식 모델은 딥 러닝(deep learning) 기반의 학습에 기초하여 구축된 심층신경망(Deep neural network)를 포함함을 특징으로 하는 수술로봇 시스템
15 15
제 13 항에 있어서,상기 발화 지침은 ‘캠 라이트(Cam right)’, ‘캠 레프트(Cam left)’, ‘캠 업(Cam up)’, ‘캠 다운(Cam down)’, ‘캠 줌 인(Cam zoon in)’및 ‘캠 줌 아웃(Camera zoom out)’을 포함하는 것을 특징으로 하는 수술로봇 시스템
16 16
제 7 항에 있어서,상기 음성인식부는 상기 헤드셋 일측에 착탈가능하게 구비되거나 상기 헤드셋에 일체로 구비되는 마이크로폰인 것을 특징으로 하는 수술로봇 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부, 산업통상자원부, 보건복지부, 식품의약품안전처 서울대학교병원 범부처전주기의료기기연구개발사업 차세대 수술 로봇 시스템을 위한 가상현실 기반의 비전 플랫폼 연구