Контроль качества

Настройте систему контроля, чтобы получить надёжный результат

Подписаться на новости Толоки

Подписаться на новости Толоки

Контроль качества — особенно важная часть краудсорсингового проекта. Обычно мы ничего не знаем об исполнителях. Правильно ли они поняли задание? Насколько они внимательны? Среди исполнителей есть боты? Если да — кто именно? С помощью методов контроля качества мы получим ответы на эти вопросы.

Организация контроля качества — это многоуровневый процесс. Для начала грамотно декомпозируйте задание, напишите чёткие инструкции и создайте понятный интерфейс. Всё это поможет исполнителю правильно выполнить задание.Следующие шаги для контроля качества будут такими:

  • отфильтруйте исполнителей, которые вам не подходят;
  • обучите исполнителей, объясните им, что делать;
  • проведите контрольный тест и проверьте, как усвоены инструкции;
  • отследите, как исполнители ведут себя во время работы;
  • проверьте качество ответов;
  • примените методы умной агрегации.

По результатам этих проверок вы узнаете, как ведёт себя каждый исполнитель и насколько качественно он работает.

Image

Отбор исполнителей

Контроль качества начинается с отбора. Это важный этап и выгодное вложение времени и денег. Обучите исполнителей и убедитесь, что они поняли инструкции, — и вы получите более качественные данные. Создайте достаточно понятных обучающих заданий и тестов — и вы при необходимости в любой момент наберёте новых исполнителей и не потратите время на ручной отбор.

Предварительная фильтрация позволяет показывать задание только подходящим исполнителям. На каждой краудсорсинговой платформе свои фильтры. Наиболее популярные — местоположение, возраст, пол, знание языков, устройства. Если вы уверены, что эти признаки способны повлиять на выполнение задания, используйте фильтры. Например, фильтры пригодятся, если задание содержит:

  • работу с контентом на определённом языке (предоставьте доступ пользователям, которые им владеют);
  • UX-тесты для продукта с целевой аудиторией определённого возраста (предлагайте задания исполнителям этого возраста);
  • оценку контента, который может быть недоступен в ряде регионов (закройте пользователям оттуда доступ к заданию).

О фильтрах Толоки и о том, как их настраивать, читайте в руководстве пользователя.

Синхронный контроль качества

Методы контроля качества в основном применяются для того, чтобы как можно оперативнее отслеживать поведение и результативность исполнителей. Важно быстро выявлять тех, кто работает некачественно, чтобы они не наплодили бесполезных данных, а вы не потратили деньги зря. В следующих разделах описаны популярные механизмы контроля, доступные на краудсорсинговых платформах.

Цель таких проверок — выяснить, насколько регулярно исполнитель ведёт себя подозрительно (слишком быстро переключает задания, невнимательно их выполняет). Вот подходы, с помощью которых выявляют ботоподобное поведение:

  • КАПЧА. Хорошо известный инструмент, помогающий отсеять ботов. Изображение с текстом, который нужно распознать и ввести. Капча — отличный базовый механизм фильтрации, но не панацея: помогает отсеять только ботов и тех, кто в принципе не обращает внимания на капчу. Добросовестные исполнители тоже иногда ошибаются при вводе капчи, если она сложная или назойливая. Лучше блокировать пользователей не сразу, а только после нескольких неудачных попыток подряд.
  • Отслеживание скорости. Чтобы понять задание и справиться с ним, необходимо разумное количество времени. Если пользователь регулярно выполняет задания слишком быстро — вероятнее всего, он просто выбирает случайные ответы, не вникая в суть. Подозрительная скорость для каждого проекта своя, но в целом её можно определить так: выше нормальной на 10–20%. Если исполнитель несколько заданий подряд превышает лимит, обратите на это внимание и закройте ему доступ к проекту.
  • Проверка действий. Проверка действий. Интерфейс краудсорсингового задания позволяет реализовать элементы управления или проверки с помощью JavaScript. Если исполнитель должен посмотреть видео, перейти по ссылке, ввести текст — отслеживайте это. Можно заблокировать отправку задания, пока действие не выполнено, или показывать предупреждения. Ещё вариант: учитывать действия и выяснять, какие исполнители самые добросовестные (им можно присвоить высокий навык либо дать особое поощрение).

Асинхронный контроль качества

Синхронные методы контроля качества подходят только для заданий с единственным правильным ответом. Однако некоторые краудсорсинговые задания требуют творческого подхода и переработки контента. Ответы получатся совершенно разными, но при этом правильными. Тогда вам подойдёт отложенная приёмка. Выполненные задания могут проверять:

  • Сотрудники заказчика. Некоторые краудсорсинговые платформы поддерживают такую опцию (Толока — нет). Но она подходит, только если данных немного или если у заказчика неограниченные ресурсы.
  • Другие исполнители. Заведите новый проект, перенесите в него размеченные данные и задайте исполнителям вопрос, насколько правильно выполнено задание. После проверки а) задания с неверными ответами передаются обратно на разметку; б) исполнители получают оплату за правильно выполненные задания; в) рассчитывается уровень качества исполнителей.
Image

О правилах контроля качества и о том, как их настраивать, читайте в руководстве .