方法论

由 AI 主持的研究,质量来自模型之外的那套体系,而不只是模型能力 - 由拥有 25 年以上经验的定性研究员制定并审阅。

访谈

访谈本身就是数据

在定性研究里,数据在访谈之前并不存在——它是在访谈中产生的。问卷的误差在问卷本身,事后可以审查;访谈的误差在过程里,通常事后审查不了。

跟着走,而不是行军

照本宣科只能拿回事先想好的那些问题的答案。要判断的是:访谈者会不会跟着参与者走到计划之外的地方,同时仍然完成研究项目该有的覆盖面。

节奏本身就是信号

答案变得有意思的地方,节奏就该变。每场访谈都是同一个节拍,说明是在走流程,而不是在回应对方说的话。

不靠清单也能覆盖

覆盖面要达到,但不能变成行军。Juno 先广后深地覆盖简报,并随机应变地调整节奏,而不是照着一份固定清单往下走。

偏差

偏差控制发生在提问之前

诱导性问题不会带来虚假的答案。它带来的是对一个已经包含结论的问题的真诚回答——而事后读访谈实录还挺顺的。分析阶段没有任何办法能找回那段从未发生的对话。

问出口之前就检查

要问清楚:问题是在送到参与者面前之前审查,还是只在事后审查。Juno 会先让每个问题通过一套成文的定性研究检查。

检查能抓到什么

诱导性措辞、预置答案、伪二选一、给定例子和预设前提——这些毛病一旦对方给出回答就看不见了。

一次一个问题

两个问题捆成一个,拿回来的答案只对应参与者更想答的那一半。一次只问一个问题,才能把它们分开。

证伪

没被挑战过的主题不算完成

综合分析最典型的失败是确认偏误:一个主题一旦开始成形,后面的一切读起来都像是在支撑它。只会收集支持的系统永远能找到支持,而且说起来还很笃定。

去找能推翻它的东西

有用的问题不是“证据支持什么”,而是“要让这个结论出错,什么必须成立”。Juno 会试探边界、寻找例外,并检验什么能推翻一个主题。

是一个故事,还是一条规律

一段生动的轶事和一条可重复的规律,在报告里读起来一模一样。Juno 通过挖出底下的条件把两者分开——哪些只发生过一次,哪些很可能再次发生。

笃定不等于证据

文笔流畅会让一条薄弱的研究发现显得很有说服力。评判一套系统,要看它会不会说明自己有多确定、为什么,而不是看它写得多好。

异见

分歧就是研究发现的边界

共识是定性研究最危险的产出,因为它最有说服力。真实的人群是会有分歧的,而那些不同意的人,往往握着整个研究项目里与决策最相关的信息。

异见就是信号

一个表现不同的细分人群不是主题的麻烦。它标出了主题不再成立的那个点——正是这个点让你能用它,又不至于用过了头。

它必须改变结论本身

检验的标准不是有没有报告分歧,而是分歧有没有收窄结论。当异见改变了一条研究发现能守到多远,Juno 会收窄或修改它。

一条研究发现能走多远

一条研究发现应该说明自己的适用范围。Juno 会说清一个结论能走多远、为什么,并点出未知和证据缺口,而不是把它们糊过去。

照护

参与者照护就是一项数据质量控制

一个感到被逼迫或被暴露的参与者,给出的不是稍差一点的数据。他们给的是表演出来的数据——得体的答案、简短的答案——或者干脆离开。让人敢说的条件,就是让人说真话的条件。

分级应对,不一刀切

不适需要的是相称的回应,而不是一条统一的规则。Juno 把福祉信号分成四个等级,每一级都有明确的应对动作。

简报压不动的底线

要问清楚:不管简报要求什么,这套系统绝不会做什么。Juno 排除欺骗和胁迫,也不会去套研究项目本就不该收集的信息。

可以拒绝回答

当参与者答不上来或者不愿回答,访谈者应该换一条路或者往下走,而不是逼问。

证据

可溯源性让其余一切都能被查证

上面每一条标准都是关于过程的说法,而你从外面无法验证。可溯源性改变了这一点:如果一个结论能一路回到参与者、引述和那一刻,你就可以查证这个过程,而不是只能选择相信它。

从结论到那一刻

把一个结论追溯回它背后的参与者、引述和访谈实录中的那一刻——有对齐的音频片段时,还能听到原始录音。

纳入的每一场访谈都算数

一句生动的引述不该替代一条本不存在的规律。Juno 用分析中纳入的每一场访谈来形成判断,并显示每个主题背后是哪些访谈。

薄弱的访谈不会被藏起来

访谈会出问题。关键在于它们是被标记出来待复核,还是被悄悄吸进数据集——在那里,它们和好的访谈长得一模一样。

评估

该问每一家供应商的六个问题

这些问题都和模型无关。建过研究体系的人都能回答,而只是在访谈提纲外面套了个聊天界面的人,没有一个能答得让人信服。也请拿这些问题来问我们。

给我看一份参与者提出不同意见的访谈实录。

好的回答会展示接下来发生了什么——以及研究发现有没有因此改变。

一个问题在问出口之前,会跑哪些检查?

要听到具体的、说得出名字的检查项,而不是一句泛泛的“我们很谨慎”。

我怎么从一个结论找到访谈中的那一刻?

你应该能自己在产品里做到,不用问任何人。

一场做砸了的访谈会怎么处理?

回答应该描述一个你看得见的标记,而不是一套你只能选择相信的质量流程。

当参与者表现出不适,由谁来决定怎么办?

要看有没有分级的应对,以及有没有人能在访谈还在进行时介入。

什么会改变你对一条研究发现的看法?

答不上这个问题的系统,从没检验过自己的结论。

看看这些标准如何运作。

看 Juno 做一场真实的访谈,读完整个对话,自己判断这门手艺。