[SMRY] 유저 리서치: UX를 위한 사용자 조사의 모든 것 (4)
이번 편은 전문 방법론에 대한 설명이라 그런지 약간 번역이 어색했다. 필요한 부분은 보다 정확한 언어로 재 풀이했다.
차례
1. 사용성 테스트: 관찰을 통한 인사이트 얻기
Usability testing.흔히 사용되는 방법론으로, 사용자가 제품 또는 서비스 과업을 수행하는 과정에사 어느 부분에서 문제를 겪는지 파악하기 위해 리서처가 사용자를 관찰하는 방법. 정성적/정량적으로 사용될 수 있다.
효용
- 상대적으로 저렴하다.
- 결과물이 탄탄하다.
한계
(책에서는 단점이라고 적혀있었으나 내용이 해당 방법론의 단점이나 약점이 아닌 한계에 가깝다고 판단하여 효용과 한계로 바꾸어 적음)
- 유저 리서치가 처음인 이해 관계자들은 소수의 인원만 다룬다는 것에 인사이트를 신뢰하지 않을 수 있으며 이에 따른 커뮤니케이션 비용이 발생할 수 있다. 5명의 의견을 토대로 여러분의 제품 및 서비스를 수정하기 위해 돈을 쓰는 것에 이해관계자들은 동의하기 어려울 수도 있다.
- 자연스러운 행동을 이해하고 싶을 때 적합한 방법론이 아니다.
🍋 공감. 10명 인터뷰한 것 만으로 어떻게 의사 결정에 반영할 수 있겠냐며, 일반화할 수 없지 않냐는 질문을 받은 적이 있다. 유저 리서치의 목적은 일반화가 아닌데 말이다.
🍋 게다가 유저리서치의 목적은 심층적인 이해이기 때문에 이론적 포화 이상의 많은 사람을 할 수록 심층적 발견이 어려워지며 윤리적 이슈가 발생한다.
🍋 설문같은 경우에는 일반화를 할 수 있는데 설문으로는 큰 그림, 즉 표면적 자료밖에 얻을 수 없다. 정량적 자료만 옳다고 생각하는 편견은 ‘가벼운 캐리어’를 만들고 왜 안팔릴까 고민하는 형태이다. 심층적 조사를 했다면 ‘바퀴달린 캐리어’를 만들면 될 일이라는 것을 알 수 있었을텐데 말이다.
프로토콜/스크립트 작성
참여자들에게 전달하고 싶은 내용, 하고 싶은 질문들, 수행해야하는 과업, 잊지않고 관찰해야하는 특정 대상에 대한 내용들을 담아야한다.
- 소개 및 윤리적/법적 문제
- 과업 수행 전 짧은 인터뷰
- 프롬프트: 리서치 세션 중 아무 때나 사용될 수 있는 설명 및 후속질문 (예: 왜 좋아하는지/싫어하는지 더 설명해달라
3. 리서치 과업
- 구체적 과업: 구체적 이슈가 중점. 예) 왜 장바구니 단계에서 이탈률이 높은가?
*특정한 특성 또는 기능을 테스트해보고싶을 때 사용할 수 있다, 사용자 여정 또는 경험에서 사용자들이 빠져나가는 특정 시점이 있다면 , 그 원인을 해결하기 위한 맥락과 인사이트를 볼 수 있도록 참여자들에게 여정을 재현해 줄 것을 부탁할 수 있다.
- 개방형 과업: 어떤 과업을 수행해야하는지에 대하여 최소한의 정보나 설명만 제공하여 사용자가 스스로 해결책을 발견할 수 있도록 하는 방법.
*개방형 과업과 질문들은 탐색적 조사 (연구 주제에 대한 지식이 부족하거나 특정 주제를 탐색해야할 때 진행하는 예비조사)에 적합하다.
- 소리내어 말하기 (Think aloud): 자신이 무엇을 하고있으며 어떤 생각을 하고 어떤 감정을 느끼는지 말로 표현하는 것.
- 참가자들의 질문과 과업의 어느 부분에서 그 질문을 했는지 바로 기록
- 참가자 질문에 답해주기 전에, 만약 참가자들이 혼자 수행해야 하는 상황이라면 어떻게 해결했을 지 물어보기. (어느 시점에서 포기했을지 파악하는데 도움)
- 리서치 수행 중에는 대단히 중요한 질문 아니면 답하지 않고, 다음 단계로 넘어가 줄 것을 부탁한다. 중요한 질문은 종료 후에 답변해주겠다고 한다.
4. 과업 수행 후 짧은 인터뷰
- 전반적으로 오늘 경험하신 웹 사이트를 어떻게 설명하시겠습니까?
- 기대하셨던 것과 같았습니까? 예상하지 못했던 부분은 없었습니까?
- ~부분을 찾는 일은 쉬우셨습니까? 어렵다고 느끼셨습니까?
- ~는 전반적으로 이해하기 쉬우셨습니까?
- 혹시 추가되었으면 하는 것이 있으셨습니까? 모두 다루어졌다고 생각하십니까?
- 오늘 보신 것 중에 한 가지만 변경하실 수 있다면 무엇을 바꾸시겠습니까?
- 더 언급하고 싶은 부분이 있으십니까?
📝 테스트 종료 후 커닝 페이퍼 작성
- 참가자 이름, 과업명,
- 완료한 과업/부분완료한 과업/실패한 과업
- 이슈 Top3, 긍정적인 부분 Top3, 유용한 대화 인용
5. 과업/테스트 수행 후 질문들
- 모든 과업이 완료된 후 과업에 대한 만족도를 측정할 수 있다.
- NPS (Net Promotor Score)
- 시스템 사용성 척도 (System Usability Scale, SUS)
*진행자가 없는 대면 사용성 테스트 시 고려사항 (질문들)
- 참가자들이 XX을 알아챘는가?
- 참가자들이 XX를 사용할 수 있는가?
- XX를 페이지에 두었을 때 사용자의 인지 부하는 어떠한가?
- XX가 사용자들이 필요한 것을 찾는 데 도움이 되는가, 방해되는가?
2. 콘텐츠 테스트: 사용자들은 콘텐츠를 어떻게 받아들이고 있는가
Content testing.사용성 테스트 중 하나로, 콘텐츠가 타깃 청중들에게 얼마나 적합한지, 잘 받아들일지에 집중한다. 사용성 테스트 중 진행될 수도 있다. 좋은 콘텐츠란 명확하고, 실행으로 옮길 수 있는 것.
효용
- 해당 콘텐츠에 어떻게 반응할지에 대한 인사이트를 얻을 수 있음.
- 해당 콘텐츠가 사용자 그룹에게 얼마나 접근성이 좋고, 포용적인지 이해할 수 있는 좋은 방법.
언제 해야하는가
- 개발 주기에서 가능한 빨리.
- 현재는 기술적인 부분이 비교적 안정화되고난 후에 콘텐츠를 살펴보는 경향이 있는데, 좋은 콘텐츠를 제작하는데는 많은 시간과 노력이 필요하므로 빨리 시작해서 반복적으로 테스트되어야.
이해력 테스트 / Comprehension testing
- 리서치에 사용된 단어의 뜻에 대한 개방형 질문을 하는 것 포함. (이 부분이 무엇을 말하는 것 같나요?)
클로즈 / Cloze testing
- 빈칸으로 남겨놓은 텍스트를 보고 사용자에게 채우게 하는 것.
3. 카드 소팅: 사람들이 대상을 어떻게 분류하고 인식하는지 이해하기
Card sorting. 서로 관련이 있는 대상들을 분류할 깨와 같이 사람들이 제품 및 서비스에 대해 어떻게 생각하고 인식하는지 이해하기 위한 방법론.
효용
- 웹 사이트의 구조를 디자인하거나 수정할 때 아주 유용한데, 예를들어 정보들의 레이블링을 해야하는 상황에서 사용할 수 있다.
한계
- 콘텐츠의 양과 참가자 수에 따라 시간이 많이 소요.
종류
- 개방형 카드 소팅: 참여자들이 아이템을 그룹으로 분류하고, 원하는 방식으로 그룹명을 정한다.
- 폐쇄형 카드 소팅: 리서처가 그룹 명을 미리 정하고, 참여자들은 가장 관련이 있는 아이템들을 각각의 그룹에 따라 분류한다.
- 하이브리드 카드 소팅: 개방형과 폐쇄형을 합친 방식으로, 몇가지 정의된 그룹이 있고 참여자가 추가도 가능하다.
방법
- 카드는 몇개가 필요한가? 일반적으로 30장에서 100장,
- 참여자는 몇명이나? 정의된 사용자 그룹당 5명씩.
4. 설문조사: 광범위한 사용자 반응을 측정하는 방법
Survey. 시장 조사와 유저 리서치에서 자주 사용. 예산이 적게 들고, 많은 사람이 참여할 수 있기 때문. 특정 주제에 대함 참가자들의 선호도와 태도, 성향을 평가할 수 있다.
효용
- 개념을 수량화하는데 유용
- 샘플에서 얻은 데이터를 보다 넓은 범위의 인구에 적용 가능함.
한계
- 과거 행동을 기억해내거나 최근 행동을 요구할 수 없음.
- 로직을 추가할 수 없음 (행동의 이유를 알 수 없음)
🍋 간혹 회사에서 설문을 만들다 보면 길어질 때가 있다. 설문은 전반적인 경향 확인 용으로만 적합한데, 한번 할 때 보다 많은 데이터를 얻고자하는 욕심 때문에.
🍋 회사에서는 빠르고 쉽다는 이유로 설문을 아주 좋아하고, 설문 데이터만 신뢰하는 경향이 있다. (같은 이유로 A/B testing만을 신뢰하는 경향도) 사실 설문의 결과가 유용하게 쓰이기 위해서는 정성 리서치가 꼭 필요하다.
5. 사용자 인터뷰: 대화를 통해 사용자 경험 이해하기
User Interview. 흔히 사용되는 방법론. 사람들의 태도 (그리고 태도가 어떻게 바뀌는지), 행동, 인식을 이해하는데 아주 유용하다.
효용
- 사용자의 태고, 선호, 생활 맥락, 인식에 대해 이해하는데 유용함.
한계
- 말과 행동은 별개.
- 이상적인 해결책이나 구체적인 개선안을 자세히 묻는 용도로는 적합하지 않으며, 현재의 생각과 목표, 얻고자 하는 결과를 확인하는데 유용함.
🍋 자주 사용되는 프롬프트
- 이것에 대해 조금 더 설명해주실 수 있습니까?
- 이것에 대해 어떻게 생각하십니까?
- 어떻게 하셨는지 설명해주실 수 있을까요?
- 이 경험을 하셨을 때 어떠한 감정이 드셨습니까?
6. 다이어리 스터디: 일정 기간동안 유저 리서치 데이터를 살펴보는 방법
Diary Studies. 일정 기간동안 사용자들의 경험과 행동, 그리고 태도를 이해하는데 유용하다. 리서처는 일정 기간동안 특정 대상을 관찰하고, 기록할 형식을 전달하고 사용자들이 다이어리를 완성한다.
효용
- 장기적인 사용자들의 경험과 행동, 그리고 태도를 이해하는데 유용함.
- 큰/고가의 물건을 구매하는 경우와 같이 사나흘 이상 걸리는 장기 프로세스를 사용자들이 어떻게 완료하는지 추적할 때
- 사용자들이 특정 행동을 하게되는 동기를 알아내려 할 때
- 재품 및 서비스를 어떻게 사용자 습관에 맞출 수 있을지 결정할 때
- 리텐션을 평가할 때
한계
- 시간이 소요되며, 방법이 적합하지 않은 특정 맥락이 있음 (생산성 집약적 환경 예) 응급 구조사)
활용안
- 습관: 주로 몇시에 사용하는가?
- 사용 시나리오 (usage scenarios): 어떤 자격으로 참여하는가?
- 태도와 동기: 특정 행동을 계속하게 되는 동기가 무엇인가?
- 행동과 관점의 변화: 시스템이 얼마나 학습 가능한가? 시간이 지나면서 사람들의 충성도에 변화가 있는가?
- 고객 여정: 기기별, 크로스채널 별 사용자 경험은 어떠한가?
사용 방법 (아래 제시된 것 중 하나에 집중하여 구성해야)
- 특정 대상: 일정 기간 동안 모든 상호작용의 이해
- 일반 행동
- 특정 활동: 사람들이 특정 활동을 어떻게 완료하는지 이해
- 기대, 사고방식, 감정, 사회적 또는 물리적 맥락
8. 에스노그라피: 사람들이 실생활에서 어떻게 행동하는지 관찰하기
Ethnography. 사람과 그룹이 어떻게 일상을 보내는지 연구하기 위해 사용. 모바일 에스노그라피 데이터를 기록하기 위해서는 커뮤니케이션 기술과 리코딩 기술을 사용함.
효용
- 우리가 예상하지 못한, 인지하지 못하고 있던 부분을 발굴할 수 있음
- 사람들이 일상에서 대상을 어떻게 받아들이는지
- 사람들의 실제 행동
- 우리의 제품/서비스와 다른 조직의 제품/서비스가 사람들의 일상에서 어떻게 상호작용하는지
한계
- 단기 에스노그래피는 믿을만한 결과를 도출해낼 수 없기 때문에 에자일 환경에 부적합
활용안
- 공항 디자인 (공공 디자인, 길찾기 등)
주의
- 필요한 인사이트를 얻을 만큼만 간섭하되, 관찰하는 대상의 역학 관계를 방해해서는 안된다.
모바일 에스노그래피
- 에스노그래피 관찰과 다이어리 스터디의 조합.
- 수동적 접근: 참가자들의 의식적인 행동 없이 참가자들의 경험을 기록하는 것
- 능동적 접근: 참가자들이 자신의 경험을 즉흥적으로 기록할 수 있게하는 것. 참가자들이 적극적으로 자신들의 흐름을 때도 기록하는 것을 강요하게 된다는 단점이 있음.
모바일 에스노그래피 툴
- 내러티브 클립 (narrative clip): 옷에 부착하여 30초마다 사진들을 기록
- 익스피리언스펠로우 (experiencefellow): 자신의 경험을 스마트폰 앱을 이용해 기록. 기록된 내용을 심층 인터뷰를 통해 확인할 수 있음.
9. 맥락적 조사: 사용자들의 환경 속으로 들어가서 인터뷰하기
Contextual Inquiry. 사용자 인터뷰와 에스노그라피의 혼합형 형식. 사용자들의 환경에서 인터뷰를 진행하면 그들이 왜 그렇게 행동하고, 생각하는지에 대한 인사이트를 얻을 수 있다.
효용
- 관찰과 심층 인터뷰의 효익을 결합.
- 보조기술이 필요한 사용자들 도는 다양한 접근성과 활용 능력욕구를 보유하고 있는 리서치를 계획할 때는 그 장소로 직접 방문하는 것이 좋음
한계
- 많은 시간과 노력 필요.
🍋 결핵 노숙인과의 관계적 에이전트 연구 때에 맥락적 조사를 사용했다. 몇개월 동안 결핵 병동과 쪽방촌, 노숙인 쉼터, 그들의 동네에 방문하여 관련자 및 참여자를 만나고 그들의 이야기를 들을 수 있었다.
🍋 이들은 자신에 대해 표현하는 것을 다소 어려워하는 경향이 있었기에 그들과 그들을 둘러싼 환경, 그들의 이해 관계를 파악하는 방법으로 에스노그래피가 매우 유용했다.
10. A/B 테스트: 다른 옵션과의 비교를 위한 유저 리서치 기법
Split testing으로도 알려진 A/B testing. 하나의 서비스/기능을 두가지 버전으로 나누어 사용자에게 동시에 보여주며 어떤 것이 더 잘 작동하는지 비교하는 방식. 의견을 바탕으로 선택하는 것이 아닌 데이터와 전환율 등으로 결정한다.
효용
- 두개의 잠재적 해결책 사이에서 결정을 내려야할 때, 직감을 대체하기 위해 사용됨.
- 더 나은 전환율을 산출하는지 알아냄.
- 콜 투 액션, 헤드라인, 이미지, 디스플레이 광고, 레이아웃, 콘텐츠 구조, 형식, 이메일 문구, 랜딩 페이지 등등에 쓰임
한계
- 두 옵션 중 어떤 것이 더 잘 작동하는지를 보여줄 수 있지만, 그 이유에 대해서는 설명할 수 없음.
테스트 프로세스
주기적으로 수행하는 것이 좋음
- 데이터 수집하기: 애널리틱스를 인사에트에 사용. 낮은 전환율이나 높은 이탈율이 있는 페이지들을 실험군과 대조군으로.
- 목표 파악하기
- 가정 생성하기: 왜 A가 B보다 낫다고 생각하는지, 테스트의 결론이 어떻게 날 것같은지 아이디어를 가정으로.
- 변형하기
- 테스트 수행하기: 일정, 방문자 수의 최고점과 최저점, 정해진 테스트 시간, 결과에 영향을 미칠 수 있는 영향 등
- 결과 해석하기
모범 실무
- 두 변형은 항상 동시에 테스트한다. 항상 두 변형 간에 트래픽을 분할하도록 한다.
- 통계적 유의성을 얻을 때까지 기다린다. 대부분의 툴은 통계적 신뢰를 보고한다.
- 재방문자에게 동일한 변형을 보여준다.
- 테스트 과정에 항상 같은 변형을 제공해야한다.
필요한 툴
- 구글 애널리틱스 옵티마이즈
- 비주얼 웹사이트 옵티마이즈
- 언바운스
- 파이브세컨드테스트 등등
