| 1 |
1
절차서에 포함된 유의미한 구문 및 의미 정보를 추출하는 추출모듈; 상기 추출된 구문 및 의미 정보를 이용하여 절차서를 확장된 BPMN(Business Process Model and Notation) 프로세스 모델로 나타내고 상기 BPMN 프로세스 모델을 XML 형식으로 저장하는 생성모듈; 및 상기 XML 형식의 절차서를 입력받아 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 변환모듈을 포함하는 것을 특징으로 하는 변환 시스템
|
| 2 |
2
제 1 항에 있어서,상기 추출모듈은, 입력된 절차서에 포함된 이미지 및 표 개체를 제거하는 넌-텍스트 처리부와, 이미지 및 표 개체가 제거된 절차서의 텍스트에 대한 구조적 특성을 추출하는 텍스트 처리부를 포함하는 전처리 유닛; 상기 전처리 유닛으로부터 텍스트 정보를 전달받고 자연어 처리(NLP) 기술을 이용하여 텍스트를 분석하고 보정하는 확장된 자연어 처리 유닛; 및 상기 자연어 처리된 절차서의 각 단락을 대상으로 단락에 포함된 모든 유의한 의미 개체 식별, 단락의 유형 분류, 조치문 단락의 세부 구성 요소 식별을 수행하는 정보 추출 유닛을 포함하여 구성되는 변환 시스템
|
| 3 |
3
제 1 항에 있어서,상기 생성모듈은, 상기 절차서의 각 단락에 대해 내포된 상기 구문 및 의미 정보를 활용하여 하나 이상의 개별 BPMN 요소 및 그 속성값으로 변환하는 변환부; 및 상기 개별 BPMN 요소들을 통합 및 재구조화하여 BPMN 기반 절차서의 프로세스 모델을 생성하는 생성부를 포함하여 구성되는 변환 시스템
|
| 4 |
4
제 1 항에 있어서,상기 변환모듈은, 스마트 디바이스에 설치된 모바일 앱과 백엔드 서비스를 제공하는 서버시스템의 클라이언트-서버 아키텍처로 구성되는 변환 시스템
|
| 5 |
5
제 4 항에 있어서,상기 모바일 앱은, STT(Speech-to-Text) 및 TTS(Text-to-Speech) 컴포넌트를 포함하는 음성 사용자 인터페이스(Voice User Interface); 터치 사용자 인터페이스(Touch User Interface); 및 사용자 인터페이스 기능을 포함하여 전체 모바일 앱의 작동을 제어하는 컨트롤러를 포함하여 구성되는 변환 시스템
|
| 6 |
6
제 5 항에 있어서,상기 음성 사용자 인터페이스 또는 터치 사용자 인터페이스를 활용한 사용자와 모바일 앱 간의 인터페이싱을 포함한 전체 모바일 앱의 작동은, 상기 절차서의 프로세스 모델의 각 BPMN 요소의 유형별로 미리 정의된 시나리오에 따라 실시되는 변환 시스템
|
| 7 |
7
제 6 항에 있어서, 시퀀스 흐름 또는 연계 요소로 연결된 다음 BPMN 요소로의 진행 시나리오는 사용자 중심 방식, 시스템 중심 방식 및 자동 방식의 세 가지 다른 방식으로 처리 되며, 상기 세 가지 방식의 모든 경우에 사용자로 하여금 다음 BPMN 요소로 진행되고 있음을 인식할 수 있도록 특정 알림음을 마지막 기본 VUI(Voice user interfaces) 단위로 포함하여 사용자에게 제공하는 변환 시스템
|
| 8 |
8
제 5 항에 있어서,상기 컨트롤러는, 사용자 음성을 인식하여 사용자 의도를 파악하고, 필요한 트랜잭션을 처리한 후 처리 결과를 합성된 음성으로 제공하는 모바일 앱의 전체 작동을 제어하는 변환 시스템
|
| 9 |
9
제 5 항에 있어서,상기 음성 사용자 인터페이스(Voice User Interface)는, 상기 컨트롤러의 제어에 따라 상기 STT 컴포넌트들을 활용하여, 대기 모드, 명령 감지 모드, 데이터 입력 모드로 구분되는 음성 입력 수신 모드가 활성화되거나 상기 모드 간의 전환이 이루어지며, 사용자의 음성을 포착한 후 텍스트 형태로 변환하여 상기 컨트롤러에 전달하는 변환 시스템
|
| 10 |
10
제 5 항에 있어서, 상기 컨트롤러는,외부 클라우드 서비스를 배제한 채 상기 음성 사용자 인터페이스로부터 전달받은 텍스트 내용이 유효한 음성 명령 또는 적합한 데이터 유형에 해당하는지 확인한 다음에, 해당되는 트랜잭션들을 처리한 이후 또는 사용자에게 적합한 음성 입력을 요구한 이후에 다시 해당 음성 입력 수신 모드를 활성화하거나, 음성 입력을 무시하고 대기 모드에 머무르게 하는 변환 시스템
|
| 11 |
11
제 5 항에 있어서,상기 음성 사용자 인터페이스는, 상기 컨트롤러의 제어에 따라 상기 TTS 컴포넌트를 활용하여 사용자에 대한 음성 안내를 합성된 음성 형태로 제공하는 변환 시스템
|
| 12 |
12
제 5 항에 있어서,상기 컨트롤러는, 각 유형의 상기 BPMN 요소 및 해당 속성과 연결된 패턴 기반 메시지 템플릿을 사용하여 음성 출력 대상 텍스트 메시지를 작성하고, 상기 음성 출력 대상 텍스트 메시지를 SSML(Speech Synthesis Markup Language) 태그를 사용하여 확장한 후, 상기 음성 사용자 인터페이스의 상기 TTS 컴포넌트를 활용하여 합성된 음성 형태로 제공하는 변환 시스템
|
| 13 |
13
제 4 항에 있어서, 상기 변환모듈의 모바일 앱 클라이언트와 서버시스템은 플랜트 내부의 보안 통신망을 통해 연결되는 변환 시스템
|
| 14 |
14
제 4 항에 있어서,상기 서버시스템은, 모바일 앱의 요청을 수신하고 처리한 후 그 결과를 요청 모바일 앱 클라이언트에 회신하는 Web API 컨트롤러; 상기 Web API 컨트롤러의 요청에 따라 지정된 클라이언트로 데이터를 전송하는 Web Socket 컨트롤러; 및 상기 변환모듈의 작동과 관련된 모든 데이터들을 저장하는 데이터베이스를 포함하여 구성되는 변환 시스템
|
| 15 |
15
제 14 항에 있어서,상기 모바일 앱으로부터의 요청과 서버시스템으로부터의 처리결과 수신은 모두 서버시스템이 제공하는 응용 프로그래밍 인터페이스 (Application Programming Interface, API)를 통해서 이루어지며, 상기 Web API 컨트롤러에 의해 제어되는 변환 시스템
|
| 16 |
16
제 4 항에 있어서,상기 서버시스템은, 플랜트 관리 시스템에서 생성된 작업지시 데이터를 활용하여, 절차서 XML 파일의 다운로드를 통제하고 해당 작업 그룹 내에서 각 참여자의 역할을 자동으로 할당하는 변환 시스템
|
| 17 |
17
제 14 항에 있어서,하나의 작업 그룹에 복수 개의 상기 모바일 앱 클라이언트가 참여할 경우, 스마트 절차서의 각 단락별로 사용자 인터페이스를 통한 작동 제어 권한은 단일 클라이언트에게만 허용되며, 작동 제어 권한을 가진 클라이언트에서의 데이터 입력을 포함한 모바일 앱의 작동 상황은 상기 Web API 컨트롤러를 통해 실시간으로 서버시스템에 전송되어 데이터베이스에 저장되고, 상기 Web Socket 컨트롤러를 통해 다시 동일한 작업 그룹에 포함된 모든 클라이언트에 자동으로 전송되어 동기화되는 변환 시스템
|
| 18 |
18
제 5 항에 있어서,상기 터치 사용자 인터페이스용 디스플레이는, 3개의 행으로 구성되며 업로드 된 절차서의 기본 정보 및 현재 수행중인 섹션이 표시되는 제1 영역; 1개의 행으로 구성되며, 현재 작동상태에서 유효한 사용자의 음성 입력 종류들을 텍스트로 표시하거나 사용자의 음성입력에 대해 인식한 결과를 텍스트로 표시하는 제2 영역; 상기 제1 영역과 제2 영역 사이에 위치하며, 현재 수행 대상인 절차서 단락을 중심으로 수행 완료한 이전 단락들 및 수행해야 할 이후 단락들을 표시하는 제3 영역을 포함하도록 구성되는 변환 시스템
|
| 19 |
19
제 18 항에 있어서,현재 수행중인 절차서 단락은, 수행해야 할 절차서 단락의 내용, 조치문에 선택적으로 첨부된 요소, 클릭 가능한 버튼 및 현재 수행 대상인 절차서 단락의 수행 상태를 표기하는 체크박스를 포함하는 4가지 컨테이너로 구성되는 카드 레이아웃 템플릿을 사용하여 표시하며, 절차서 단락의 유형에 대응하는 해당 BPMN요소에 따라 맞춤화된 형태로 표시되는 변환 시스템
|
| 20 |
20
제 19 항에 있어서,상기 클릭 가능한 버튼 컨테이너에 포함되는 동작 버튼의 레이블은 'Acknowledge', 'Complete', 'Next'의 순서로 변경되며, 사용자가 해당 음성 명령을 말하거나 해당 버튼을 클릭시 각각 별도로 지정된 트랜잭션이 실행되는 변환 시스템
|
| 21 |
21
제 19 항에 있어서,상기 조치문 중 조건부 조치문은, 조건절용 카드 레이아웃과, 조치절용 카드 레이아웃을 포함하고, 상기 조건절용 카드 레이아웃이 사용된 후 조건이 만족되면 상기 조치절용 카드 레이아웃이 사용되는 변환 시스템
|
| 22 |
22
제 4 항에 있어서,상기 모바일 앱은, 절차서의 미리보기와 수행결과를 포함한 다시 보기 지원기능, 별도 화면을 통해 합성 음성 출력의 말하기 속도와 같은 사용자 선호도 또는 기본 VUI의 배제와 같은 시나리오의 맞춤화에 따라 작동방식을 변경하는 사용자 또는 시스템 설정 변경 지원, 소정 음성 명령을 사용하여 현재 절차서 단락을 다시 안내하거나 이전 단락으로 되돌아가도록 지시하는 기능을 제공하는 변환 시스템
|
| 23 |
23
모바일 앱과 서버 시스템을 이용하여 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 방법에 있어서, 추출모듈이 절차서에 포함된 유의미한 구문 및 의미 정보를 추출하는 정보 추출 단계; 생성모듈이 상기 추출된 구문 및 의미 정보를 이용하여 절차서를 확장된 BPMN(Business Process Model and Notation) 프로세스 모델로 나타내고 XML 형식으로 저장하는 생성 단계; 및 변환모듈이 상기 XML 형식의 절차서를 입력받아 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 변환 단계를 포함하는 것을 특징으로 하는 변환 방법
|
| 24 |
24
제 23 항에 있어서,상기 정보 추출단계는, 상기 절차서에 대한 전처리 과정을 수행하는 제1 단계; 상기 전처리 과정에 따른 텍스트 정보를 분석하기 위해 자연어 처리를 수행하고, 상기 자연어 처리 중 발생한 POS 태그 및 구문분석 오류를 감지하고 수정하는 제2 단계; 상기 제1 단계 및 제2 단계의 결과물을 이용하여 상기 절차서의 각 단락에 대하여 의미 개체 식별, 단락의 유형 분류, 조치문 단락의 세부 구성 요소 식별을 수행하는 제3 단계; 및 상기 추출된 정보를 데이터베이스를 포함한 둘 이상의 형태의 출력물로 생성 출력하는 제4 단계를 포함하는 변환 방법
|
| 25 |
25
제 23 항에 있어서,상기 생성 단계는, 상기 절차서의 각 단락에 대해 내포된 상기 구문 및 의미 정보를 활용하여 하나 이상의 개별 BPMN 요소 및 그 속성값으로 변환하는 단계; 및 상기 개별 BPMN 요소들을 통합 및 재구조화하여 BPMN 기반 절차서의 프로세스 모델을 생성하는 단계를 포함하는 변환 방법
|
| 26 |
26
제 23 항에 있어서,상기 변환 단계는, 상기 모바일 앱과 플랜트 내부의 보안 통신망을 통해 연결된 서버시스템 간의 인터페이싱을 통해 실시되며, 상기 절차서의 프로세스 모델의 각 BPMN 요소의 유형별로 미리 정의된 시나리오에 따라 실시되는 변환 방법
|
| 27 |
27
제 26 항에 있어서,상기 미리 정의된 시나리오는, 사용자 음성 인식 후 사용자의 의도를 파악하는 단계; 및 상기 사용자의 의도에 대응하는 트랜잭션을 처리하는 단계; 및 처리 결과를 음성 정보로 출력하는 단계를 포함하는 변환 방법
|
| 28 |
28
제 27 항에 있어서,상기 사용자 음성 인식은, 활성화 상태의 음성 입력 수신 모드에서 사용자 음성을 포착한 후 텍스트 형태로 변환되어 처리되는 변환 방법
|
| 29 |
29
제 27 항에 있어서,상기 사용자의 의도 파악은, 변환된 텍스트의 내용이 유효한 음성 명령 또는 적합한 데이터 유형인가를 판단하는 것에 의해 이루어지는 변환 방법
|
| 30 |
30
제 27 항에 있어서,상기 음성 정보로의 출력은, 각 유형의 상기 BPMN 요소 및 해당 속성과 연결된 패턴 기반 메시지 탬플릿을 사용하여 음성 출력 대상 텍스트 메시지를 작성하는 단계; 상기 출력대상 텍스트 메시지를 SSML(Speech Synthesis Markup Language) 태그를 사용하여 확장하는 단계; 및 음성 사용자 인터페이스의 TTS 컴포넌트를 활용하여 합성된 음성 형태로 제공하는 단계를 포함하는 변환 방법
|
| 31 |
31
모바일 앱과 서버 시스템을 활용하여 음성 인터페이싱을 지원하는 방법이고, 하나의 워크 그룹에 참여한 복수의 작업자가 하나의 절차서를 효과적으로 공동 수행할 수 있도록, 상기 절차서의 각 단위 작업별로 담당 작업자의 모바일 앱에 배타적 작동권한을 자동으로 이관하는 단계; 및 상기 작동권한을 가진 모바일 앱의 작동 상황을 상기 워크 그룹내의 모든 모바일 앱에 전송하여 자동으로 동기화되는 단계를 포함하는 것을 특징으로 하는 변환 방법
|
