方法論
AIが司会するリサーチの品質は、モデルの性能だけでなく、その周りの仕組みから生まれます。25年以上の経験を持つ定性調査のリサーチャーが策定し、レビューしています。
インタビュー
インタビューそのものがデータ
定性調査では、データはインタビューの前には存在せず、その中で生まれます。アンケートの誤りは調査票にあり、後から検証できます。インタビューの誤りは進め方にあり、たいていは後から検証できません。
行進ではなく、追従
台本から返ってくるのは、誰かが前もって思いついた質問への答えです。インタビュアーが参加者について予定外の場所まで行き、それでも調査の網羅性を満たせるかを見てください。
ペースは手がかり
答えが面白くなったところでは、ペースが変わるはずです。どのインタビューも同じリズムなら、それは話された内容への反応ではなく、進行表を順に消化している印です。
チェックリストに頼らない網羅
幅は満たさなければなりませんが、行進になってはいけません。Junoはブリーフを幅から先に押さえ、固定のリストを消化するのではなく、状況に応じてペースを変えます。
バイアス
バイアス対策は、質問の前に
誘導質問は、嘘の答えを生むのではありません。すでに結論を含んだ質問に対する、正直な答えを生みます。しかもトランスクリプトは、後から読んでも何の問題もなく見えます。起こらなかったやり取りは、分析では取り戻せません。
尋ねる前に点検する
質問が参加者に届く前に点検されるのか、届いた後だけなのかを聞いてください。Junoはすべての質問を、まず明文化された定性調査のチェックに通します。
チェックが捉えるもの
誘導的な言い回し、答えの埋め込み、誤った二者択一、こちらから与えた例、前提の押しつけ。いずれも、答えが返ってきた瞬間に見えなくなる失敗です。
一度に一問
二つの質問をひとつに束ねると、参加者が答えやすいほうの答えしか返ってきません。一度に一問の規律が、それを分けたままにします。
反証
一度も問い直されていないテーマは、まだ途中
統合分析に特有の失敗は、確証です。テーマが形を取り始めると、その後のすべてが裏づけに見えてきます。裏づけしか集めない仕組みは必ず裏づけを見つけ、しかも自信ありげに語ります。
崩すものを探す
役に立つ問いは、エビデンスが何を支持するかではなく、これが間違いだとしたら何が成り立っているはずか、です。Junoは境界を探り、例外を求め、そのテーマを否定するものは何かを検証します。
一度きりか、パターンか
鮮烈な逸話と、繰り返し起きるパターンは、レポート上では見分けがつきません。Junoは下にある条件を引き出して切り分けます。一度起きたことなのか、また起きそうなことなのか。
自信はエビデンスではない
文章がうまいと、弱い知見でも説得力を持ってしまいます。どれだけ上手に書けるかではなく、どこまで確かでなぜそう言えるかを述べるかどうかで、仕組みを評価してください。
異論
不一致が、知見の境界線
合意は、定性調査で最も危険な結果です。最も説得力があるからです。現実の人々の意見は割れます。そして同意しなかった人こそ、その調査で意思決定に最も関わる情報を持っていることが多いのです。
異論は手がかり
違う動きをするセグメントは、テーマにとって都合の悪い存在ではありません。そのテーマが成り立たなくなる地点を示しています。だからこそ、広げすぎずに使えるのです。
主張が変わらなければ意味がない
問われるのは、異論が報告されるかどうかではなく、それが結論を狭めるかどうかです。異論によって主張できる範囲が変わるとき、Junoは知見を狭めたり書き直したりできます。
知見はどこまで届くか
知見は、自らの射程を示すべきです。Junoは結論がどこまで届くか、なぜそう言えるかを述べ、分からないことやエビデンスの欠落を取り繕わずに名指しします。
配慮
参加者への配慮は、データ品質の管理そのもの
押されていると感じたり、さらされていると感じたりした参加者は、少し質の落ちたデータを出すのではありません。演じたデータ、つまり無難な答えや短い答えを出すか、去ります。話しても安全だと思える条件こそが、正直に話せる条件です。
一律ではなく、段階的に
つらさには、ひとつの規則ではなく、程度に応じた対応が要ります。Junoはウェルビーイングの兆候を4段階に分類し、各段階に定められた対応を割り当てています。
ブリーフに押されても動かない一線
ブリーフが何を求めようとも、その仕組みが絶対にしないことは何かを聞いてください。Junoは欺きと強要を排し、その調査が集めるべきでない告白を引き出そうとはしません。
断ってよい
参加者が答えられない、または答えたくないとき、インタビュアーは押さずに別の道を探すか、先へ進むべきです。
エビデンス
トレーサビリティがあって初めて、他も確かめられる
ここまでの基準はどれも、外からは検証できない、進め方についての主張です。それを変えるのがトレーサビリティです。結論が参加者、引用、その瞬間までたどり着くなら、進め方を信じるかわりに、自分で確かめられます。
主張から、その瞬間へ
結論から、その裏にいる参加者、引用、トランスクリプトの場面までたどれます。対応する区間が取れている場合は、元の音声まで届きます。
含めたインタビューはすべて数える
鮮烈な引用が、存在しないパターンの代役を務めてはいけません。Junoは分析に含めたすべてのインタビューから読みを組み立て、各テーマの裏にどれがあるかを示します。
弱いインタビューも見える形で残る
インタビューは失敗します。大事なのは、それがレビュー対象としてフラグを立てられるのか、それとも良いものと見分けのつかないままデータセットに静かに吸収されるのかです。
評価
どのベンダーにも聞くべき6つの質問
どれもモデルについての問いではありません。リサーチの仕組みを作った人なら全部に答えられますし、インタビューガイドにチャット画面をかぶせただけの人は、どれにも説得力のある答えを返せません。私たちにも、ぜひ聞いてください。
参加者が異を唱えたトランスクリプトを見せてください。
良い答えは、その後どうしたか、そして結果として知見が変わったかを示します。
質問は、尋ねる前に何を通りますか?
配慮しているという一般論ではなく、名前の付いた具体的なチェックが返ってくるかを聞いてください。
結論からインタビューの場面まで、どうたどりますか?
誰にも頼まずに、製品の中で自分でできるはずです。
うまくいかなかったインタビューはどうなりますか?
返ってくるべきは、自分で見えるフラグの説明であって、信じるしかない品質プロセスの話ではありません。
参加者がつらさを示したとき、対応を決めるのは誰ですか?
段階に応じた対応と、インタビューが進行している最中に介入できる人がいるかを見てください。
その知見について、何があれば考えを変えますか?
これに答えられない仕組みは、自らの結論を検証していません。