UXR Series #5: Designing UXR

회사에서는 여러 사용자 조사를 수행한다.

1. UX Issue Research / 주요 기능, 화면 테스트
2. Requested Research / 요청에 의한 조사
3. Exploratory Research / 탐색적 조사

그리고 또 <여러 목적의 사용자 조사>를 수행한다

1. 컨셉 조사 / User Testing
2. 사용성 조사 / Usability Testing
3. 선호도 조사 / Preference Testing
4. 만족도 조사 / Satisfaction Testing
5. 개발 우선 순위 조사 / Development priority
6. 탐색적 조사 / Exploratory Research 등등..

각각의 조사는 비슷한 절차를 따르지만 조사를 기획하고 결과를 전달하는 단계가 약간씩 다르다. 오늘은 각 조사를 진행할 때의 필수적으로 지켜야하는 사항들과 각 조사 별 대표적인 방법론을 적어보려 한다.

1. 공통 과정

무슨 조사든, 조사를 설계할 때 준비해야할 필수/옵션 사항들이 있다.

A. REF (Option)

사용자 조사 신청 양식, 즉 타 팀에서 조사를 요청할 때 사전에 작성해야하는 내용이다. 이 내용을 작성하며 요청자는 자신의 현재 상황과 정말 알아내야할 문제점이 무엇인지 알게되고, 연구원은 보다 나은 결과를 위한 조사 설계를 할 수 있게된다. 물론 양식 작성이 끝나면 요청자와의 미팅을 통해 한번더 조사 내용을 조율한다.

양식의 내용은 각 회사마다 다르겠지만 나는 최대한 작성자가 안 복잡하게 느끼도록 + 내가 얻고자하는 정보를 수집할 수 있도록 양식을 작성해놓았다.

1. 부서 (닉네임)
2. 사내 관계자
3. 조사 수행 국가
4. Background / 리서치 진행 이유*
5. Goal & Objectives / 리서치 목표, 목적**
6. Timeframe
7. Appendix

*Background: 1.1 유저 리서치를 진행하게 된 상황이나 가설이 있나요? / 1.2 탐구/검증해야할 사항은 무엇인가요? (궁금한 점은 무엇인가요? 예) 사용자들이 주요 동작을 잘 수행하는가?) / 1.3 팀 내 관련된 사전 자료가 있나요? (참고할 위키가 있을까요?)

**Goal & Objectives: 2.1 리서치를 통해 이루고자하는 목표는 무엇인가요? (예: 사용자에게 적합한 SNS 콘텐츠 발송) / 2.2 리서치를 통해 이루고자하는 목적은 무엇인가요? (예: 사용자 유입률 향상)/ 2.3 리서치의 최종 형태는? (예: Backlog data? Feature? Policy? Research framework? 홍보물?) / 2.4 팀이 개선하고자하는 지표가 있나요? 있다면 무엇인가요?

B. Protocol (Must)

조사 설계 문서이다. 계속 업데이트하게 되는 문서이며, 이해 관계자들에게 공개한다. 구체적으로 작성할 수도 있고, 간략하게 작성할 수도 있지만포함되면 좋을만한 내용들은 다음과 같다.

1. Research Abstract

• Researcher, Stakeholder
• Title, Region
• Goal, Objective: This purpose of this study is to evaluate the end-to-end experience of our service customers as they interact with the [XXX]. Collecting this data will provide the study team with: !@#
• Research Question: The study will collect qualitative and quantitative data to answer several research questions, including (RQ1, RQ2..)
• Target user: Thoroughly describe the number of participants expected, how they will be recruited, characteristics of their eligibility, and expected skills/knowledge.
• Method: Describe briefly the number of participants, the setting of the usability test sessions, the tools used to facilitate the participant’s interaction with the application (ex., browser), and the measures to be collected, such as demographic information, satisfaction assessment, and suggestions for improvement.
• Timeframe
• (To be update) Executive Summary: Summarize the research result
• (To be update) Key Findings (Key Observation) & Recommendations

C. Consent (Research Ethics Guideline) (Must)

연구 윤리를 지킨다는 것은 그것 자체로 연구로 인정받기 위한 행동이며, 참여자를 보호하는 동시에 연구원을 보호한다.

[각 국가별 조사 가능한 연령]

• KR: 만 14세 이상부터 조사 가능
• JP: 만 16세부터 조사 가능
• US: 만 18세 이상부터 조사 가능

[보편적인 세가지 동의서]

1. 비밀유지 서약, 개인 정보 수집이용동의서 / Consent to use the collection of data collection

2. 사용자 연구 참여 동의서 / User Research Participant Agreement

3. 참여자 보상 지급 확인 (원격 조사는 구도로 동의) / Confirmation of compensation payments for participants

D. Research Guideline (Survey, IDI guideline) (Must)

조사 방법론에 따라 조사를 설계했다면, 조사를 수행할 때 사용할 양식을 작성한다. 내가 만들어놓은 몇 가지 양식은 다음과 같다.

1. 휴리스틱 가이드라인 / Heuristic Evaluation Templates: 가장 빠르고, 저렴하게, 사용자 없이도 진행할 수 있는 사용자 조사 방법, 사용성 권장 사항이 기재된 전문가 중심의 보편적 평가 지침서.

• When? 프로세스 중 어느 단계에서나 수행 가능
• How? (이상적으로) 최소 3명의 개별 평가자(사내 구성원)이 앱에 대한 자신의 평가를 아래 체크리스트에 표기 -> 발견된 이슈 취합 (비슷한 주제들을 같은 부류로 묶는다) -> Debriefing session (우선순위를 정한다 > 가능한 해결책 제시한다 > 개선 방향 논의한다)
• Time: 약 10분

2. 구조화된 설문 / Structural Questionnaire Templates

반 구조화된 설문은 그 때마다 작성할 수 있지만, 구조화된 설문 (정량 평가가 필요한 설문)은 이미 설계된 설문을 번역하고, 단어를 바꿔 실시해야한다. 아래는 실무에서 가장 유용하게 쓰일만한 설문들이고, 각 설문 별로 바로 사용할 수 있도록 양식을 만들어 놓았다.

• SUS (1986) : [USABILITY] Satisfaction, Learnability, Efficiency, Effectiveness (10 items)
• PSSUQ (1990) : [USABILITY] System Usefulness, Information Quality, Interface Quality, Overall Satisfaction (19 items) — WITH SCENARIO, TEST LEVEL: MIDDLE
• ASQ (1991): [USABILITY] Ease, Efficiency, Support info (3 items) — WITH SCENARIO, TEST LEVEL: HIGH
• SEQ (2004): [USABILITY] Task difficulty (1 item) — WITH SCENARIO, TEST LEVEL: HIGH
• CSUQ (1995): [USABILITY] System Usefulness, Information Quality, Interface Quality, Overall Satisfaction (19 items) — WITHOUT SCENARIO
• NPS (2003): [CUSTOMER SATISFACTION] likelihood to recommend (1 item) — WITHOUT SCENARIO
• Kano test (1984): [CUSTOMER SATISFACTION] Must-be Quality, One-dimensional Quality, Attractive Quality, Indifferent Quality, Reverse Quality — WITHOUT SCENARIO

3. 설문 양식 (a.k.a. Survey Greetings)

• (설문 제작하기 참고)

4. 인터뷰 가이드라인

보통 반구조화된 인터뷰가이드라인을 작성해놓는다. 사용성 테스트를 진행할 경우, Task (Scenario)를 작성해두어야한다. 인터뷰 가이드라인을 사전에 Observer에게 전달해놓으면 보다 좋은 인터뷰가 될 수 있다.

• 조사 제목, 일시, 조사자
• 인터뷰 개요 (목적, 소요 시간, 참여 방법)
• 녹음/녹화 동의
• 그 외 동의서, 보상 내용 확인
• 실 인터뷰 내용
• 마무리

E. Report (Executive) (Must)

When reporting results from a usability test, you should focus primarily on your findings and recommendations that are differentiated by levels of severity. Include the pertinent information from the test plan and present just enough detail so that the method is identifiable. Keep the sections short, use tables to display the metrics, and use visual examples to demonstrate problem areas, when possible.

1. Background Summary

• Protocol: Protocol link
• Title: e.g., Profile page Usability Test
• Date; e.g., 2021.03.22–2021.03.25
• Region
• Goal & Objective
• Methodology
• Stakeholder

2. Key Result (Findings and Recommendations) So What을 제시한다.

List your findings and recommendations using all your data (quantitative and qualitative, notes and spreadsheets). Each finding should have a basis in data — in what you actually saw and heard. You may want to have just one overall list of findings and recommendations or you may want to have findings and recommendations scenario by scenario, or you may want to have both a list of major findings and recommendations that cut across scenarios as well as a scenario-by-scenario report. Keep in mind: -

• Although most usability test reports focus on problems, it is also useful to report positive findings. What is working well must be maintained through further development.
• An entirely negative report can be disheartening; it helps the team to know when there is a lot about the Web site that is going well.
• Each finding should include as specific a statement of the situation as possible.
• Each finding (or group of related findings) should include recommendations on what to do.

2–1. Executive Summary

[Reporting Severity Levels of Problems]

• Critical — If we do not fix this, users will not be able to complete the scenario.
• Serious — Many users will be frustrated if we do not fix this; they may give up.
• Minor — Users are annoyed, but this does not keep them from completing the scenario. This should be revisited later.

3. Recommendations

방향성을 제시한다.

• High — Critical Issue or the greatest potential for improved user satisfaction
• Medium — Important Issue or greater potential for improved user satisfaction
• Low — Minor issue or the potential for improved user satisfaction

4. Detail

Key Observation과 이에 따라 가능한 다음 스텝 / Next Step (Recommendation)을 제시한다. 이 때, 참여자의
Quotations (인용문)을 붙이면 이해관계자의 이해를 도울 수 있다.

Ref:

• https://privacy.naver.com/download/guideline_for_internet_corporation_en_150910.pdf
• https://www.usability.gov/how-to-and-tools/resources/templates.html

#1. User Experience Researcher 2021.02

#2. Qualitative Research & Quantitative Research 2021.04

#3. The UX Research Process in Product Design 2021.06

#4. Interim review. 2021.06

#5. Designing User Research 2021.06

#6. Recruiting! 2021.06

#7. UXR Methods (2022.01)

#8. Best time to UXR (To do)

#9. FAQs of User Research (To do)