[SMRY] Designing VUI
Designing for Mobile Devices Versus IVR Systems
IVR Systems
IVR(Interactive Voice Response, IVR), 즉 대화형 음성인식 시스템은 주로 항공 예약이나 은행 이체, 교통 정보 등에서 사용됨. 목적은 고객이 상담사와 직접 이야기하지 않고도 작업을 수행할 수 있도록 하는 것이며 2000년대에 들어 보편화되기 시작함.
정보를 반복적으로 요청할 수 있다는 장점을 가지고 있는 IVR시스템은 음성 상호작용이라는 점에서 모바일 VUI 와 흡사하지만 시각적 요소에서 차이를 가지고 있음.
Mobile devices VUI
모바일 기기에서는 기존 IVR 시스템과 잘리 시각적 요소를 추가할 수 있음. 이는 사용자가 음성과 화면을 함께 사용할 수 있도록 한다는 점에서 멀티모달 인페이스 (Multimodal interface)의 한 예라고도 볼 수 있음.
음성 상호작용에서 시각적 요소는 어떠한 상황에서 고려되어야할까?
- 인지 부하(Cognitive load)우려가 있는 정보일 때: 세상에서 가장 부유한 10명이 누구인지 물었을 때 모바일 기기는 어떤 결과를 보여줄까? 구글은 음성으로 정보를 제공하는 동시에 해당 문구를 검색한 화면을 보여주고 인물의 이름과 사진, 간략한 정보를 함께 보여줌. siri에게 같은 질문을 해보았을 때, 해당 검색어가 포함된 다양한 채널 결과를 텍스트로 보여줌.
2. VUI 가 모바일 앱, 비디오 게임 , 스마트 워치 등의 시각적 요소가 있을 때: VUI와 시각 요소는 시스템과 사용자 사이의 대화를 만들어가는 각기 다른 구성요소. 이러한 두 미디어의 결합은 초기부터 함께 설계해나가는 것이 중요. 그렇지 않다면 두 미디어의 결합은 어색하고 복잡해질 수 있음.
Conversational Design
Turn taking
대화형 디자인이란? 사용자가 VUI 시스템과 한 턴 ( turn) 이상의 상호작용하는 것. 사람의 대화가 한 턴으로 끝나는 경우는 거의 없습니다.
대화형 디자인에서 사용자가 가장 최근에 말한 내용에 대해 저장해두고 있는 것은 매우 중요함.
검색 쿼리에 대한 응답, 일정 설정, 전화, 노래 재생 등 일회성 작업만 고려하는 것 이상으로, 실제 대화처럼 다음에 어떤 일이 일어날지 함께 고려하는 것.
Setting User Expectations
초기 사용자의 기댓값을 만족시키는 VUI가 되기 위해서는 명확한 프롬프트 (사용자의 발화를 인식한 후 나타나는 시스템 메시지 / Michael, 2004 도 중요하지만 사용자의 Discoverability (검색가능성)를 고려하는 것도 중요함.
처음 사용자에게 ‘둘러보기(Guideline)’를 제공하고, 기기가 해줄 수 있는 것에 대한 한계를 사전에 안내하면 오류 발생율 또한 낮출 수 있음. 정보를 요청할 때 어떠한 방법보다 예시를 제공하는 것 등이 이에 해당생일을 월, 일, 년 순서대로 말해주세요 (X) / 1972년 7월 22일과 같이 말해주세요 (O)
Design Tools (VUI 디자인을 위한 방법들)
Sample Dialogs: VUI와 사용자 사이에 발생할 수 있는 인터랙션 중 한 장면. 전체 대화를 설계하는 핵심 방법
- Visual Mock-Ups: 와이어프레임과 목업.
- Flow: VUI 시스템을 통해 도달할 수 있는 모든 경로를 보여주는 다이어그램. 대화의 턴마다 사용자가 그 다음 턴에서 할 수 있는 모든 흐름을 포함해야 함. (그 다음 턴에서 할 수 있는 모든 방법을 나열해야함) 열린 대화의 경우, 상호작용의 종류에 따라 그룹화
- Prototyping Tools
Confirmations (입력 확인 방법)
기본적인 흐름과 샘플 대화 한 세트를 디자인한 후에는 입력 확인(Confirming input)과 같은 세부사항에 신경써야함. 이 과정에서 과도한 확인 과정은 지양되어야함.
- Explicit confirmation: 사용자에게 정보를 알려주고 다시 확인시키는 것
- Implicit confirmation: 사용자의 요구사항에 대한 시스템의 이해를 알림.(ex. 알겠습니다. 보험에 가입하도록 알람을 설정했습니다)
- Method 1: Three-Tiered Confidence 시스템이 특정 임곗값 사이의 정보는 확인하고, 기준보다 신뢰도가 낮은 항목은 거부하며, 임곗값 80% 이상은 암시적으로만 확인하는 방법.
- Method 2: Implicit Confirmation 사용자에게 어떤 조치를 취하지않고 암시적으로만 확인하는 방법.
- Method 3: Non-speech Confirmation 시스템의 음성 답변이 필요없는 명령을 수행할 때 사용함.
- Method 4: Generic Confirmation 일부 대화형 시스템에서는 사용자가 말한 것 자체를 확인하지 않는 것이 더 적절할 수 있음. 사용자에게 더 개방적이고 제한없는 대화형 시스템에 적합함.
- Method 5: Visual Confirmation 시각적 확인. 같은 항목을 시각적 목록으로 디스플레이에 표현하면 인지부하가 줄어듦. (일반적으로 사람은 한 번에 일곱가지가넘는 청각정보를 기억할 수 없음)
Command-and-Control Versus Conversational
사용자가 말하는 시점에 대해 명시 하는가, 하지 않는가에 따라 두 가지의 상호작용 방식이 있음.
- Command-and-Control: 사용자는 말한다는 것을 알리기 위해 명시적인 무엇인가를 해야합니다 (Ex. Alexa, OK Google, Computer 입력). 사용자가 말하기를 마쳤다고 판단하면 시스템은 비언어로 응답
- Conversational: 대화형. 실제 사람과 대화하는 중일 때는 매번 표시(indicators) 할 필요는 없는 것처럼 대화형 시스템도 마찬가지.
Conversational Markers
대화형 마커는 사용자가 대화에 참여하고 있음을 보여줌과 동시에 대화가 잘 전달되고 있다는 것을 알 수 있게하는 방법.
Conversational markers include
1) Timelines(“First” “Halfway there,” and “Finally”)
2) Acknowledgements(Thanks, Got it, Alright, Sorry about that)
3) Positive feedback (Good job, Nice to hear that)
Error Handling (VUI의 다양한 에러 상황 및 이에 대한 해결 방법)
- No Speech Detected: 이 경우에는 다시한번 명확한 요청을 하는 방법, 그리고 아무것도 하지않고 사용자의 발화를 기다리는 방법으로 해결할 수 있습니다. 방법들은 어떤 기능을 사용하는 앱이냐에 따라 달라질 수 있음. 아무것도 하지않고 사용자의 발화를 기다리는 방법을 써야하는 경우는 대화의 진행이 다른 방법으로도 이어질 수 있는 경우 ( ex. button — push to talk)나 시각적인 표시가 있는 경우.
- Speech Detected but Nothing Recognized: 위의 경우와 같음.
- Recognized but Not Handled: 디자이너가 다양한 응답을 설계하지 못했거나, 오답을 설계했을 경우 발생하는 에러타입.
- Recognized but Incorrectly: N-best list 와 실제 사용자 응답의 데이터 분석을 통해 해결할 수 있음.
- 그리고 어떠한 경우에도 Don’t Blame the User
Design Components (그 밖에 VUI 설계 시 고려해야할 요소들)
- Keeping Track of Context
- Help and Other Universals
- Latency
- Disambiguation
- Design Documentation
- Grammars / Key Phrases
- Accessibility
- Interactions should be time efficient.
- They should provide context
- Personalization > Personality
- Keep It Short
- Talk Faster!
- Interrupt Me at Any Time
- Provide ContextWhere Am I?: 사용자가 도움을 요청할 경우를 대비
- Text to Speech Personalization
