Многоступенчатый контроль качества

Прежде чем запустить анкету в тираж, мы обязательно проверяем ее «в деле». Для этого проводятся несколько интервью с реальными респондентами, подходящими под критерии опроса. Так можно выявить «неработающие», неясные и слишком запутанные формулировки вопросов, вводящие в заблуждение / ошибочные инструкции и другие ошибки составления анкеты. Также на данном этапе замеряется реальный хронометраж получившейся анкеты и другие технические моменты (например, удобство расположения вопросов на страницах, удобство используемых кодировок ответов с точки зрения последующего ввода в компьютер и т.д.).

В процессе инструктажа интервьюерам и супервайзерам детально объясняются все значимые моменты, касающиеся анкет, инструкций, карточек и стимульных материалов. Также даются ответы на все интересующие интервьюеров вопросы. Таким образом, к полевым работам допускаются уже полностью подготовленные сотрудники, в точности и детально знающие, как именно следует проводить интервью.

Это весьма важный момент, позволяющий оперативно выявлять и корректировать любой брак в работе интервьюеров, а также контролировать реальные сроки проведения опроса. Промежуточные сдачи назначаются раз в несколько дней (несколько раз за период полевых работ). Интервьюеры приносят супервайзерам все заполненные анкеты (физически). Супервайзер контролирует количество этих анкет, соответствие этого количества тем данным, которые были получены по результатам ежедневных отчетов интервьюеров и т.д.

Эта процедура является, фактически, основной в контроле и проводится при каждой промежуточной сдаче (см. выше). Каждая сданная анкета полностью просматривается супервайзером. Проверяется: заполняемость (все вопросы должны иметь ответы, причем столько, сколько указано в инструкциях); логика заполнения вопросов и правильность соблюдения переходов; соблюдение технических инструкций (количество помарок, аккуратность и проч.). В результате удается выявить и оперативно удалить из выборки некорректно заполненные анкеты. Они не оплачиваются интервьюерам. При этом сам интервьюер может вообще лишиться работы (если будут выявлены грубые и/или неоднократные нарушения).

Забракованные анкеты не вводятся в массив. При выявлении несущественных ошибок (например, в вопросе, где можно указать только один ответ, указано несколько), такая анкета возвращается интервьюеру на исправление (он имеет возможность перезвонить своему респонденту по оставленному им телефону и уточнить ответ). Интервьюер, чаще всего, штрафуется (деньгами). В случае же выявления явного вранья, повторного несоблюдения методики и других грубых ошибок анкеты данного интервьюера в полном объеме не оплачиваются и не вводятся в массив.

Количество интервьюеров, задействованных на проекте в каждом городе, часто бывает достаточно большим. Это делается специально для того, чтобы снизить «урон» для общей выборки и сроков проведения полевых работ в том случае, если какой-то интервьюер окажется неэффективным. Также в ходе опроса, при выявлении плохо работающих интервьюеров, производится их оперативная замена на других.

К случайно выбранным интервьюерам мы посылаем специальных людей, подходящих под критерии опроса и ведущих себя как обычные респонденты. Они проходят интервью и затем докладывают нашим супервайзерам о возможных ошибках в работе интервьюера – для оперативной корректировки с нашей стороны. Анкеты «подставных» респондентов не включаются в общий массив данных.

После того, как все анкеты сданы интервьюерами, производится их ввод в компьютер. Для этого используется специальная программа, которая пишется для каждого проводимого проекта. В этой программе присутствует встроенный контроль заполняемости анкет, соблюдения переходов и базовой логики заполнения. Те анкеты, которые не проходят данную процедуру, возвращаются интервьюерам на исправление (если такая возможность есть), либо отбраковываются и не попадают в базу / массив.

После получения всех заполненных анкет супервайзер производит их выборочный прозвон (по телефонам, оставленным респондентами). Отбор анкет производится случайным образом. Общее количество анкет на прозвон составляет 10% от всей выборки в каждом городе (стандарт международных исследовательских ассоциаций). В ходе прозвона уточняются ответы респондента на ключевые вопросы анкеты (и их сверка с самой заполненной анкетой), а также сам факт проведения интервью и различные технические моменты (например, были ли показаны карточки к вопросам и т.д.). При выявлении ошибок, данный интервьюер приглашается для предметного общения с супервайзером, по результатам которого он либо исправляет ошибки (по всем своим анкетам), либо (при выявлении явного вранья конкретного интервьюера) все его анкеты отбраковываются, не оплачиваются и не попадают в базу, а сам интервьюер увольняется с занесением в «черный список».

После того, как все анкеты введены в компьютер, проводится их окончательная проверка. На данном этапе можно выявить существенные расхождения в данных, полученных от разных интервьюеров, в разных городах и т.д. Это последний этап контроля, после этого вся база передается для дальнейшей обработки и анализа; на основе нее составляется аналитический отчет.