방법론
AI가 진행하는 리서치의 품질은 모델 성능만이 아니라 모델을 둘러싼 시스템에서 나옵니다 - 25년 이상 경력의 정성 리서처가 세우고 검토합니다.
인터뷰
인터뷰가 곧 데이터입니다
정성 리서치에서 데이터는 인터뷰 전에 존재하지 않습니다. 인터뷰 안에서 만들어집니다. 설문의 오류는 도구에 있어 나중에 살펴볼 수 있지만, 인터뷰의 오류는 진행 자체에 있어 대개 그럴 수 없습니다.
행군이 아니라 따라가기
대본은 누군가 미리 생각해 둔 질문에 대한 답만 돌려줍니다. 인터뷰어가 참여자를 계획에 없던 곳까지 따라가면서도 조사가 다뤄야 할 범위를 채울 수 있는지 판단하세요.
속도는 신호입니다
답이 흥미로워지는 지점에서는 속도가 달라져야 합니다. 모든 인터뷰에서 똑같은 리듬이 나온다면, 그건 말한 내용에 대한 반응이 아니라 순서표를 소화하고 있다는 표시입니다.
체크리스트 없는 커버리지
넓이는 채워야 하지만 행군이 되어서는 안 됩니다. Juno는 고정된 목록을 소화하는 대신 브리프를 넓이 우선으로 다루고 속도를 상황에 맞춰 조절합니다.
편향
편향 통제는 질문 이전에 이뤄집니다
유도 질문은 거짓 답을 만들지 않습니다. 이미 결론을 품고 있던 질문에 대한 진심 어린 답을 만들고, 전사록은 나중에 봐도 멀쩡해 보입니다. 일어나지 않은 대화는 분석으로 되살릴 수 없습니다.
던지기 전에 점검합니다
질문이 참여자에게 닿기 전에 검토되는지, 아니면 그 뒤에만 검토되는지 물어보세요. Juno는 모든 질문을 먼저 정리된 정성 리서치 점검 항목에 통과시킵니다.
점검이 잡아내는 것
유도하는 표현, 답을 심어 둔 질문, 거짓 양자택일, 예시 제공, 숨은 전제. 답이 나오는 순간 보이지 않게 되는 실패들입니다.
한 번에 하나씩
두 질문을 하나로 묶으면 참여자가 마음에 드는 쪽 절반에만 답합니다. 한 번에 한 질문 원칙이 둘을 떼어 놓습니다.
반증
한 번도 의심받지 않은 주제는 끝난 것이 아닙니다
종합 단계의 전형적인 실패는 확증입니다. 주제가 형태를 잡기 시작하면 그 뒤의 모든 것이 뒷받침으로 읽힙니다. 뒷받침만 모으는 시스템은 언제나 뒷받침을 찾아내고, 그러면서 확신에 찬 목소리를 냅니다.
무엇이 무너뜨리는지 찾기
쓸모 있는 질문은 근거가 무엇을 뒷받침하느냐가 아니라, 이것이 틀리려면 무엇이 참이어야 하느냐입니다. Juno는 경계를 파고들고, 예외를 찾고, 무엇이 주제를 틀렸다고 증명할지 검증합니다.
하나의 이야기인가, 패턴인가
생생한 일화와 반복되는 패턴은 리포트에서 똑같이 읽힙니다. Juno는 그 밑에 있는 조건을 드러내어 둘을 구분합니다. 한 번 일어난 일과 다시 일어날 법한 일을 가릅니다.
확신은 근거가 아닙니다
유창함은 약한 발견 사항도 설득력 있게 만듭니다. 시스템은 글을 얼마나 잘 쓰는지가 아니라, 얼마나 확신하는지와 그 이유를 말하는지로 판단하세요.
반대 의견
이견은 발견 사항의 경계입니다
합의는 정성 리서치에서 가장 위험한 결과물입니다. 가장 설득력이 있기 때문입니다. 실제 집단은 의견이 갈리고, 동의하지 않은 사람들이 대개 그 조사에서 의사결정에 가장 관련 있는 정보를 쥐고 있습니다.
반대 의견은 신호입니다
다르게 움직이는 세그먼트는 주제에 거슬리는 존재가 아닙니다. 주제가 더 이상 참이 아니게 되는 지점을 표시해 줍니다. 그래서 주제를 지나치게 늘리지 않고 활용할 수 있습니다.
주장을 바꿔야 합니다
시험대는 이견이 보고되느냐가 아니라 그것이 결론을 좁히느냐입니다. 반대 의견이 어디까지 방어할 수 있는지를 바꾸면, Juno는 발견 사항을 좁히거나 고칠 수 있습니다.
발견 사항이 닿는 범위
발견 사항은 자신의 적용 범위를 스스로 밝혀야 합니다. Juno는 결론이 어디까지 갈 수 있는지와 그 이유를 말하고, 모르는 것과 근거의 빈틈을 덮지 않고 이름을 붙입니다.
보호
참여자 보호는 데이터 품질 관리입니다
압박받거나 드러났다고 느끼는 참여자는 조금 나쁜 데이터를 주지 않습니다. 연기된 데이터, 즉 무난한 답이나 짧은 답을 주거나, 아예 떠납니다. 털어놓는 것을 안전하게 만드는 조건이 곧 그것을 솔직하게 만드는 조건입니다.
뭉뚱그리지 않고 단계별로
괴로움에는 하나의 규칙이 아니라 정도에 맞는 대응이 필요합니다. Juno는 웰빙 신호를 4단계로 나누고 각 단계마다 정해진 조치를 둡니다.
브리프 앞에서도 지켜지는 한계
브리프가 무엇을 요구하든 시스템이 하지 않는 일이 무엇인지 물어보세요. Juno는 기만과 강압을 배제하고, 그 조사가 모을 이유가 없는 이야기를 꾀어내지 않습니다.
거절해도 됩니다
참여자가 답할 수 없거나 답하지 않으려 하면, 인터뷰어는 밀어붙이지 말고 다른 길을 찾거나 넘어가야 합니다.
근거
추적 가능성이 나머지를 확인 가능하게 만듭니다
위의 모든 기준은 밖에서는 확인할 수 없는 과정에 대한 주장입니다. 추적 가능성만이 그것을 바꿉니다. 결론이 참여자, 인용, 그 순간까지 되짚어진다면, 과정을 믿는 대신 직접 살펴볼 수 있습니다.
주장에서 그 순간까지
결론을 그 뒤의 참여자, 인용, 전사록 속 순간까지 되짚어 보세요. 정렬된 구간이 있는 경우에는 원본 오디오까지 확인할 수 있습니다.
포함된 인터뷰는 모두 셉니다
생생한 인용이 존재하지도 않는 패턴을 대신해서는 안 됩니다. Juno는 분석에 포함된 모든 인터뷰로 해석을 만들고, 각 주제 뒤에 어떤 인터뷰가 있는지 보여 줍니다.
약한 인터뷰는 드러납니다
인터뷰는 잘못되기도 합니다. 중요한 것은 그것이 검토 대상으로 표시되는지, 아니면 조용히 데이터에 흡수되어 좋은 인터뷰와 똑같아 보이게 되는지입니다.
평가
어떤 업체에든 던질 6가지 질문
어느 것도 모델에 대한 질문이 아닙니다. 리서치 시스템을 만들어 본 사람은 모두 답할 수 있고, 인터뷰 가이드에 채팅 화면만 씌운 사람은 어느 것도 설득력 있게 답할 수 없습니다. 저희에게도 물어보세요.
참여자가 동의하지 않은 전사록을 보여 주세요.
좋은 답은 그다음에 무슨 일이 있었는지, 그리고 그 결과로 발견 사항이 바뀌었는지 보여 줍니다.
질문을 던지기 전에 무엇이 돌아가나요?
주의를 기울인다는 막연한 장담이 아니라, 이름이 붙은 구체적인 점검 항목을 들으세요.
결론에서 인터뷰의 그 순간까지 어떻게 가나요?
누구에게도 묻지 않고, 제품 안에서 직접 할 수 있어야 합니다.
잘못된 인터뷰는 어떻게 되나요?
답은 믿고 받아들여야 하는 품질 절차가 아니라, 눈으로 볼 수 있는 표시를 설명해야 합니다.
참여자가 괴로워할 때, 무엇을 할지는 누가 정하나요?
정도에 맞는 대응과, 인터뷰가 진행되는 동안 개입할 수 있는 사람이 있는지 보세요.
무엇이 발견 사항에 대한 생각을 바꾸나요?
이 질문에 답하지 못하는 시스템은 자기 결론을 검증해 본 적이 없는 것입니다.