Методология
Качество исследований, которые ведёт ИИ, идёт от системы вокруг модели, а не от одних только возможностей модели. Заданы и проверены качественными исследователями с опытом 25+ лет.
Интервьюирование
Интервью и есть данные
В качественном исследовании данных не существует до интервью — они создаются в нём. Ошибка опроса сидит в инструменте, и её можно проверить потом; ошибка интервью сидит в том, как оно велось, и проверить её обычно нельзя.
Идти следом, а не маршировать
Сценарий возвращает ответы на вопросы, которые кто-то придумал заранее. Оцените, пойдёт ли интервьюер за участником туда, где это не было запланировано, и при этом закроет охват исследования.
Темп — это сигнал
Там, где ответ становится интересным, темп должен меняться. Одинаковый ритм во всех интервью — признак того, что кто-то идёт по списку, а не реагирует на сказанное.
Охват без чек-листа
Охват нужно закрыть, не превращая интервью в марш. Juno закрывает бриф сначала вширь и подстраивает темп, а не идёт по фиксированному списку.
Смещения
Контроль смещений происходит до вопроса
Наводящий вопрос не порождает ложный ответ. Он порождает искренний ответ на вопрос, который уже содержал свой вывод, — и транскрипт после этого читается прекрасно. Никакой анализ не восстановит разговор, которого не было.
Проверено до того, как задано
Спросите, проверяются ли вопросы до того, как дойдут до участника, или только после. Juno сначала прогоняет каждый вопрос через кодифицированный набор проверок качественного исследования.
Что ловят проверки
Наводящие формулировки, встроенные ответы, ложные дилеммы, подсказанные примеры и скрытые допущения — сбои, которые становятся невидимыми в тот момент, когда ответ уже дан.
По одному вопросу за раз
Два вопроса, слепленные в один, возвращают ответ на ту половину, которая участнику больше понравилась. Дисциплина одного вопроса держит их врозь.
Опровержение
Тема, которую ни разу не оспорили, не закончена
Характерный сбой синтеза — подтверждение: как только тема начинает складываться, всё дальнейшее читается как её поддержка. Система, которая собирает только подтверждения, всегда их найдёт и будет звучать уверенно.
Искать то, что это ломает
Полезный вопрос — не что подтверждают доказательства, а что должно быть правдой, чтобы это оказалось неверным. Juno прощупывает границы, ищет исключения и проверяет, что могло бы опровергнуть тему.
Одна история или закономерность
Яркий случай и повторяемая закономерность в отчёте читаются одинаково. Juno разделяет их, вытаскивая условия, которые лежат под ними: что случилось один раз, а что, скорее всего, повторится.
Уверенность — не доказательство
Гладкость речи делает слабый вывод убедительным. Оценивайте систему по тому, говорит ли она, насколько уверена и почему, а не по тому, как хорошо она пишет.
Несогласие
Несогласие — это граница вывода
Консенсус — самый опасный результат качественного исследования, потому что он самый убедительный. Настоящие группы людей расходятся во мнениях, и у тех, кто не согласился, обычно оказывается самая важная для решения информация в исследовании.
Несогласие — это сигнал
Сегмент, который ведёт себя иначе, — не помеха теме. Он отмечает точку, где тема перестаёт быть верной, — и это то, что позволяет действовать по ней, не растягивая её слишком далеко.
Оно должно менять утверждение
Проверка не в том, сообщается ли о несогласии, а в том, сужает ли оно вывод. Juno может сузить или пересмотреть вывод, когда несогласие меняет то, насколько далеко его можно защищать.
Насколько далеко идёт вывод
Вывод должен сам обозначать свои пределы. Juno говорит, насколько далеко идёт вывод и почему, и называет неизвестное и пробелы в доказательствах, а не замазывает их.
Забота
Забота об участнике — это контроль качества данных
Участник, который чувствует давление или незащищённость, даёт не чуть худшие данные. Он даёт наигранные данные — приемлемый ответ, короткий ответ — или уходит. Условия, при которых открыться безопасно, — это те же условия, при которых это делается честно.
Ступенчато, а не грубо
На переживания нужен соразмерный ответ, а не одно правило. Juno относит сигналы о состоянии участника к четырём ступеням, и на каждой определено своё действие.
Границы, которые держатся под брифом
Спросите, чего система не сделает, о чём бы ни просил бриф. Juno исключает обман и принуждение и не выманивает откровения, которые исследованию собирать незачем.
Отказаться можно
Если участник не может или не хочет отвечать, интервьюер должен найти другой путь или пойти дальше, а не давить.
Доказательства
Прослеживаемость — то, что делает остальное проверяемым
Каждый стандарт выше — это утверждение о процессе, которое снаружи не проверить. Прослеживаемость меняет это: если вывод достаёт до участника, цитаты и момента, процесс можно проверить, а не принимать на веру.
От утверждения к моменту
Проследите вывод до участника, цитаты и момента в транскрипте, которые за ним стоят, — вместе с исходным аудио, когда есть сопоставленный отрезок.
Учитывается каждое включённое интервью
Яркая цитата не должна подменять закономерность, которой нет. Juno строит прочтение из всех интервью, вошедших в анализ, и показывает, какие из них стоят за каждой темой.
Слабые интервью остаются на виду
Интервью срываются. Важно, помечаются ли они для проверки или тихо растворяются в наборе данных, где выглядят ровно как хорошие.
Оценка
Шесть вопросов любому поставщику
Ни один из них не про модель. На все может ответить тот, кто построил исследовательскую систему, и ни на один не ответит убедительно тот, кто просто обернул гайд интервью в чат-интерфейс. Задайте их и нам.
Покажите транскрипт, где участник не согласился.
Хороший ответ показывает, что было дальше, и изменился ли из-за этого вывод.
Что прогоняется по вопросу до того, как его зададут?
Слушайте, называют ли конкретные проверки, а не общие заверения о заботе.
Как мне дойти от вывода до момента в интервью?
Вы должны мочь сделать это сами, внутри продукта, никого не спрашивая.
Что происходит с интервью, которое прошло плохо?
Ответ должен описывать пометку, которую вы видите, а не процесс качества, который надо принять на веру.
Когда участнику тяжело, кто решает, что будет дальше?
Ищите ступенчатый ответ и человека, который может вмешаться, пока интервью ещё идёт.
Что заставило бы вас передумать насчёт вывода?
Система, которая не может на это ответить, не проверяла собственные выводы.
Посмотрите стандарты в работе.
Посмотрите, как Juno проводит настоящее интервью, прочитайте обмен репликами и оцените мастерство сами.