UXR Series #2: UR Method
오늘은 정성적 리서치와 정량적 리서치에 대해 이야기해보려 한다.
나는 주로 정성적인 유저 리서치 (Qualitative Research) 를 수행한다. 물론 유저 리서치가 정성적 방법만 있는 것은 아니다. 수치로 표현하기 위함이 목적인 정량적 방법 또한 유저 리서치에 속하며 두 가지 방법을 혼합한 형태도 많이 쓰인다.
이러한 조사 방법론은 문제를 해결하기 위한 ‘도구'일 뿐이며 각 조사에 적합한 방법론을 사용하는 것이 중요하다고 생각한다. 그러한 방법론을 찾기 위해서는 아래와 같은 질문을 던져야한다.
- 😮 내가 해결해야하는 문제는 무엇인가?
- 🤔 내가 하고싶은 질문은 무엇인가?
- 👥 이해관계자의 니즈는 어떠한가?
- ⏰ 그 문제는 프로세스 개발 단계 어디에 위치하고 있는가?
- 🛢 나에게 주어진 리소스 (일정, 인력, 실행가능한 시스템)으로 가능한가?
⭐ 요즘 해외의 유저 리서치 공고를 보면 정성적 유저리서치 스킬에 대한 요구 비중이 높아지고 있다. 반면 국내에서는 ‘리서치 = 수치로 표현해야하는 것’ 이라는 인식이 아직까지는 팽배하고, 정성 조사 결과에 대한 신뢰도를 낮게 평가하는 경향도 있는 것 같다.
“정성 조사 결과를 신뢰할 수 있나요?” 회사에서 가장 많이 받는 질문 중 하나이기도하다. 질문의 내면에는 아래 이유들이 있다.
- 연구자의 주관성이 개입될 수 있다는 점.
- ‘정량 조사에 비해 적은 참여자 수’ 가 ‘조사 표본에 대한 신뢰도’를 의심하게 하는 요소가 되는 것 같다. 일반화가 가능한가에 대한 질문도 같은 맥락이다.
💡 결론 부터 말하자면,
- 연구자의 주관성이 개입된다는 것은 정성 연구의 한계가 아니며, 이 때의 주관성은 연구자의 해석이 작용한다는 의미이다.
하나의 현상을 심도있게 관찰하고, 분석한 연구자의 해석은 그 자체로 유의미한 데이터이다. 연구자의 주관성으로 정성적 리서치의 신뢰성을 의심한다면 대표적인 정성적 연구자로서 민족지학으로 침팬지의 행태를 조사한 영국의 동물 행동학 연구자인 제인 구달(Jane Goodall)의 연구는 어떻게 생각하는지 묻고 싶다.
2. 정량 연구와 정성 연구는목적 자체가 다르다.
일반화가 목적이기에 다수의 유효한 샘플 수로 수행하는 정량적 리서치와 달리 정성적 리서치는 일반화 목적이 아니며 현상에 대한 심층적 파악이 주된 목적이다. 정량적 리서치는 행태에 대한 경향을 파악하고, 정성적 리서치는 행태에 대한 이유를 찾아낸다.
일반적으로 표본 크기가 작은 것이 다양한 관점에서 상황을 깊이 조사하는 데 더 유용할 수 있으며 큰 표본은 중요하지 않다. 소규모 집단에 대한 이해가 목적이므로 더 적은 표본 크기를 사용한다.
세상에 100% 옳은 것은 없다. 정량적 리서치 결과도 100% 옳은 결과를 내놓지는 못한다. 그래서 우리는 아주 조금이라도 더 100%에 다가갈 수 있도록 이미 검증된 방법론을 사용하고, 체계적인 조사를 실시할 수 있는 연구원을 고용한다.
정량적 리서치와 정성적 리서치의 조사 방법은 추측과 예상보다 옳은 결정을 내릴 확률을 높혀주는 과학적인 조사방법론이다. 그 목적이 다르며 각각 조사방법의 차이점을 아는 것이 중요하다.
정량적 연구와 정성적 연구는 서로 반대가 아니라 동등하다. 어느 한 쪽이 없으면 불완전하다. 질적 연구와 양적 연구는 서로에게 다른 정보를 제공하고 있으므로 전체 프로젝트에는 균형있는 정보를 제공한다.
🔢 정량적/양적 조사 (Quantitative Research)
양적 연구란 계량화할 수 있는 리서치이다. 모든 관련자가 일반적으로 동의하는 일관적인 결과를 의미한다. (표준척도로 계산하여 정량화할 수 있는 몸무게같은) . 정량연구는 일반적으로 연역적 방법론을 사용한다. 명확한 이론에 근거하여 연구를 진행하며, 기존에 확립된 이론에 대한 여러 변수들을 확인하기 위한 가설을 세워 수행한다.
- 목적: 자료의 계량화, 표본으로부터 모집단의 결과를 일반화시킴
- 표본: 객관적 대표성 있는 대규모 사례
- 시기: 작동되는 제품이 있을 때
- 조건: 확실히 정의되고 철저히 통제된 연구 조건
- 자료 분석: 통계적
- 결과: 행동의 최종 단계
⭕ 양적 연구의 효용
- 규모가 크거나 통계가 중요한 결과에 접근해야할 때 (서비스를 신청할 때 확인 과정을 거치지않는 고객이 얼마나 많은가?)
❌ 양적 연구의 한계
- 계량화하기 어려운 영역의 연구에 부적합, 개별 사건의 실질적 인과관계 입증의 한계, 인간의 의식과 행위에 대한 깊이 있는 접근 어려움
- 많은 정보를 제공하지만 상황을 바로잡는 방법을 알려주지않는다
- 어떤 일들이 일어나는 이유없이 요청한 정보만 제공한다.
- 사용자의 동기나 과제에 함축된 의미를 제기할 수 없다
🎯 주요 방법론 / Method
- Online/mobile survey
- FTF survey
- Gang survey (사전 리쿠르팅 필요, 보안/테스트 환경이 중요할 경우 사용테스트 제품 부피가 큰 경우)
- CLT (Central Location Test) (길에서 리쿠르팅, 보안 중요도가 상대적으로 낮을 때, 표적 집단/장소 명확한 경우)
5. HUT (Home use test) — 유치조사 (실제 사용환경에서 사용 후 결과 기록 필요할 때, 시간의 흐름에 따른 차이 기록 필요할 때)
6. Exit survey
7. UT (Usability test)
🔎 정성적/질적 조사 (Qualitative Research)
질적 연구란 심층적이고 자세한 사실의 발견을 가능하게 하는 리서치이다.
- 목적: 기초적인 원인이나 동기에 대한 질적, 심층적 이해를 얻음. 수치화할 수 없는 내용들을 심도있게 살펴보기 위한 조사
- 표본: 개념적 대표성 있는 소규모 사례
- 시기: 언제나
- 조건: 필요에 따라 조정할 수 있는 유연한 연구 조건
- 자료 분석: 비통계적. 질적 분석의 관건은 ‘연구자가 어떤 방향으로 분석을 하느냐’에 달려 있음
- 결과: 행동의 이해
⭕ 질적 연구의 효용
- 적은 집단과 표본으로 조사해야할 때
- 현상에 대한 근본적 이유, 의견, 동기를 이해해야 할 때
- 양적 연구를 위한 아이디어나 가설을 개발해야할 때
❌ 질적 연구의 한계
- 전통적인 의미에서는 객관적인 법칙을 발견하여 일반화하는데 한계가 있음
- 본질적으로 주관적인 특성이 있기 때문에 연구자가 데이터로부터 주관을 완전히 분리하는 것이 어려울 수 있음.
- 관찰시 반작용의 문제 : 관찰당하는 과정 자체가 관찰대상자의 행동에 영향을 줌
🎯 주요 방법론 / Method
- FGD (Focus Group Discussion. 행태 파악, 컨셉 평가, 빅마우스 조심)
- IDI (In-depth Interview. 개인 인식 및 행태 파악, 전문가 인터뷰)
- Home/Shop Visit (Contextual inquiry)
- Web/Mobile Diary
- Chat interview (Journey에 따른 인터뷰,
- Workshop (Card sorting, Co-design..)
- UT (Usability test)
🛠 혼합 방법론 / Mixed Method
1.선 정량 > 후 정성
- 행태의 특징을 대략 알지만 그 이유 또는 디테일에 대한 정보가 부족할 때
- 정량 조사를 통해 경향치 파악 후, 후속 정성 조사를 통해 이유 디테일 확인
2. 선 정성 > 후 정량
- 사용자 행태의 특징에 대한 정보가 부족해서, 행태 이해가 먼저 필요할 때
- 정성조사 통해서 사용자 행태에 대한 기본 정보 파악 후 통계적으로 경향치 검증
두 조사 방법론에 대한 표본 크기 (sample size)
- 표본 크기: 설문조사에서 받는 완성 응답 수로 일단의 사람들 중 일부(즉, 대상 모집단)
두 조사 방법론 모두,
- 필요 이상으로 큰 표본의 사용은 윤리적 문제가 되고, (연구 자금과 참가자의 시간을 낭비하기 때문에)
- 필요 이하로 작은 표본의 사용은 윤리적 문제 및 과학적 문제가 된다(왜냐하면 표본이 너무 작아서 결과가 특이 데이터를 반영하고 따라서 전송되지 않을 수 있기 때문에, 연구 자금과 참가자 시간의 낭비일 수 있기 때문이다.)
🔢 정량적 연구
- 양적 연구의 표본 크기(sample size)는 대표성을 갖도록 표본 추출 절차를 거쳐야 하며 확률 표본 추출임.
- 표본 크기를 포함한 표본 추출 계획이 사전에 상세하게 결정.
- 통계학에 뿌리를 둔 양적 방법에는 흔히 큰 데이터가 필요하다.
- 적절한 표본 크기는 구체적 연구에 따라 다를 수 있고, 표본 크기를 결정하기 위한 수학적 공식 (표본 크기 계산 방법) 이 있다.
- https://ko.surveymonkey.com/mp/sample-size-calculator/
🔎 정성적 연구
- 양적 연구에서는 표본 크기를 포함한 표본 추출 계획이 사전에 상세하게 결정되지만 질적 연구 프로젝트는 광범위하게 정의된 표본 추출 계획으로 시작한다. 비확률적인 표본추출이며 무작위 추출인 경우가 많다. 또한 의도적 표본추출개념을 사용한다.
- 표본 크기는 각 연구에 따라 다르며 대부분 작다.
- 적게는 5~10명이 참여나는 프로젝트들이 있는가 하면 사용자 프로필의 영역과 범위가 넓은 프로젝트의 경우에는 최대 20~40명이 참여한다.
- 내러티브 연구: 1–2명
- 탐색적 연구: 약 10명
- 현상학: 대체로 하나의 현상에 대해 3–10명이 적당
- 근거 이론: 충분히 포화된 이론을 발전시키기 위해 20–30명 연구할 것을 권고.
- 연구자가 연구에 필요한 현장과 개인을 선택 한다. 즉, 개념적 요건에 의해 결정된다. (e.g. 서비스 사용 경험 한달 미만의 초기 사용자 및 이탈 경험자, 잠재적 사용자)
- 가장 풍부한 정보를 제공할 수 있는 참가자를 우선 모집한다.
- 대부분의 경우, 추론 통계를 사용하지 않는다. 즉 통계 테스트의 신뢰도 및 신뢰 구간에 입각해 결과를 측정하지 않는다.
- 정량적 유저 리서치나 사용성 테스트 등의 검증을 위한 사용자 조사는 표적 모집단을 추출하고 표본 조사를 진행한다 (e.g. 특정 집단의 비율 고려)
참고: https://yihyunjang.medium.com/qualitative-study-1-82342dcfa10f
<EoD>
#1. User Experience Researcher 2021.02
#2. Qualitative Research & Quantitative Research 2021.04
#3. The UX Research Process in Product Design 2021.06
#5. Designing User Research 2021.06
#7. UXR Methods (To do)
#8. Best time to UXR (To do)
#9. FAQs of User Research (To do)
