Контроль качества — особенно важная часть краудсорсингового проекта. Обычно мы ничего не знаем об исполнителях. Правильно ли они поняли задание? Насколько они внимательны? Среди исполнителей есть боты? Если да — кто именно? С помощью методов контроля качества мы получим ответы на эти вопросы.

Организация контроля качества — это многоуровневый процесс. Для начала грамотно декомпозируйте задание, напишите чёткие инструкции и создайте понятный интерфейс. Всё это поможет исполнителю правильно выполнить задание.

Следующие шаги для контроля качества будут такими:

  • отфильтруйте исполнителей, которые вам не подходят;
  • обучите исполнителей, объясните им, что делать;
  • проведите контрольный тест и проверьте, как усвоены инструкции;
  • отследите, как исполнители ведут себя во время работы;
  • проверьте качество ответов;
  • примените методы умной агрегации.

По результатам этих проверок вы узнаете, как ведёт себя каждый исполнитель и насколько качественно он работает.

Отбор исполнителей

Контроль качества начинается с отбора. Это важный этап и выгодное вложение времени и денег. Обучите исполнителей и убедитесь, что они поняли инструкции, — и вы получите более качественные данные. Создайте достаточно понятных обучающих заданий и тестов — и вы при необходимости в любой момент наберёте новых исполнителей и не потратите время на ручной отбор.
Предварительная фильтрация позволяет показывать задание только подходящим исполнителям. На каждой краудсорсинговой платформе свои фильтры. Наиболее популярные — местоположение, возраст, пол, знание языков, устройства. Если вы уверены, что эти признаки способны повлиять на выполнение задания, используйте фильтры. Например, фильтры пригодятся, если задание содержит:
  • работу с контентом на определённом языке (предоставьте доступ пользователям, которые им владеют);
  • UX-тесты для продукта с целевой аудиторией определённого возраста (предлагайте задания исполнителям этого возраста);
  • оценку контента, который может быть недоступен в ряде регионов (закройте пользователям оттуда доступ к заданию).

О фильтрах Толоки и о том, как их настраивать, читайте в руководстве пользователя.

Отобрав исполнителей, обучите их. Подготовьте набор обучающих заданий с комментариями, объясняющими, как выполнять задание, как оно оценивается и почему. Чтобы создать эффективное обучающее задание:
  • включите в него примеры для каждого правила и принципа инструкции (даже самого простого);
  • не делайте задание слишком длинным, пусть оно показывает только необходимые случаи;
  • в комментариях скажите, какой ответ правильный, а главное — почему. Обязательно объясните причины. Дайте ссылку на инструкцию.
В Толоке существует особый тип пула — тренировка. Его свойства и настройки подробно описаны в руководстве.
Когда исполнитель завершит обучение, предложите ему тест. Тестовый набор состоит из заданий с известными вам ответами. Когда исполнитель пройдёт тест, вы рассчитаете процент правильных ответов и решите, оставлять ли исполнителя в проекте. Вот несколько советов о тесте:
  • тема и сложность обучающих и тестовых заданий должны быть одинаковы;
  • создайте несколько версий теста и меняйте их: тогда исполнителям будет сложнее делиться друг с другом правильными ответами;
  • тестовые задания должны быть качественными, поскольку от них зависят важные решения. Обратите внимание на места, где исполнители много ошибаются: либо с заданием что-то не так, либо вы недостаточно хорошо объяснили, как его выполнять.
Набор для тестирования — пул, состоящий только из контрольных заданий. О добавлении контрольных задач и правилах расчета качества, читайте в руководстве.

Синхронный контроль качества

Методы контроля качества в основном применяются для того, чтобы как можно оперативнее отслеживать поведение и результативность исполнителей. Важно быстро выявлять тех, кто работает некачественно, чтобы они не наплодили бесполезных данных, а вы не потратили деньги зря. В следующих разделах описаны популярные механизмы контроля, доступные на краудсорсинговых платформах.
Цель таких проверок — выяснить, насколько регулярно исполнитель ведёт себя подозрительно (слишком быстро переключает задания, невнимательно их выполняет). Вот подходы, с помощью которых выявляют ботоподобное поведение:
  • КАПЧА. Хорошо известный инструмент, помогающий отсеять ботов. Изображение с текстом, который нужно распознать и ввести. Капча — отличный базовый механизм фильтрации, но не панацея: помогает отсеять только ботов и тех, кто в принципе не обращает внимания на капчу. Добросовестные исполнители тоже иногда ошибаются при вводе капчи, если она сложная или назойливая. Лучше блокировать пользователей не сразу, а только после нескольких неудачных попыток подряд.
  • Отслеживание скорости. Чтобы понять задание и справиться с ним, необходимо разумное количество времени. Если пользователь регулярно выполняет задания слишком быстро — вероятнее всего, он просто выбирает случайные ответы, не вникая в суть. Подозрительная скорость для каждого проекта своя, но в целом её можно определить так: выше нормальной на 10–20%. Если исполнитель несколько заданий подряд превышает лимит, обратите на это внимание и закройте ему доступ к проекту.
  • Проверка действий. Проверка действий. Интерфейс краудсорсингового задания позволяет реализовать элементы управления или проверки с помощью JavaScript. Если исполнитель должен посмотреть видео, перейти по ссылке, ввести текст — отслеживайте это. Можно заблокировать отправку задания, пока действие не выполнено, или показывать предупреждения. Ещё вариант: учитывать действия и выяснять, какие исполнители самые добросовестные (им можно присвоить высокий навык либо дать особое поощрение).
В большинстве случаев недостаточно выявить лишь тех, кто бездумно прокликивает задания. Важно убедиться, что добросовестные исполнители следуют всем правилам и выдают качественные данные. Чтобы проверить качество, потребуется сравнительный эталон. Один из способов получить эталон — это мнение большинства.
  • Мнение большинства устанавливается при помощи перекрытия, когда одно и то же задание выполняют несколько пользователей. Вы проверите, какой ответ выбрало большинство, и примете его за эталон. Сравнение ответов пользователя с эталонами позволит рассчитать долю случаев, когда мнение пользователя отличается от мнения большинства. Так можно найти исполнителей, в качестве ответов которых вы не уверены. Однако механизмы, основанные на мнении большинства: 1) могут отсеять внимательных пользователей, которые дают правильные, но неочевидные ответы; 2) не защищены от спама.
  • Контрольные задания позволяют решить эти две проблемы. Контрольные задания — это задания с заранее известными ответами. Исполнители получают их в общем потоке, не зная об особой процедуре проверки. Добавьте контрольные задания в проект, и вы узнаете долю верных ответов во всём проекте и у конкретных исполнителей.

Толока позволяет настраивать эти и другие методы контроля качества отдельно или пресетами. Настройки можно применять к пулам и проектам.

Какое перекрытие выбрать? 
Оптимально — от трёх до пяти. При более высоком перекрытии качество меняется несущественно, а цена возрастает значительно. Обязательно прочитайте о  динамическом перекрытии: это очень удобный способ контролировать затраты.

Сколько контрольных заданий добавить? 
Если в наборе несколько сотен заданий, сделайте контрольными 10% пула. Если несколько тысяч — достаточно будет 1%.

Как создавать контрольные задания?

  • Отправьте задания доверенным исполнителям. Выберите тех, кто стабильно хорошо работает. Затем, чтобы получить правильные ответы, создайте для исполнителей отдельный проект и запустите его с высоким перекрытием. Для полной уверенности примените дополнительные методы контроля качества.
  • Найдите в своей компании сотрудников, которые хорошо размечают данные. Пусть они подготовят контрольные задания. Иными словами, ваша команда выполнит 10% заданий, а вы используете эти результаты для контроля оставшихся 90% разметки.
Как поддерживать качество контрольных заданий?
Важная подсказка: если исполнители работают медленно или некачественно — сразу проверьте контрольные задания. Возможно, туда попали неверные, устаревшие или непонятные примеры. Контрольным заданиям требуется особое внимание, ведь от них зависит качество проекта и работы исполнителей.

  • Замените старые контрольные задания новыми.
  • Проверьте, нет ли у вас подозрительных контрольных заданий, где исполнители постоянно ошибаются. Либо задание составлено неверно, либо инструкция к нему недостаточно ясная.
Примеры в контрольных заданиях должны быть представлены в них в тех же пропорциях, что и в общем пуле. Предположим, вам нужно определить тип помещения на сайте гостиничного агрегатора. Какой это номер: семейный, деловой, обычный или люксовый? Люксовые номера — это всего 10% основного пула, но они попадаются в каждом втором контрольном задании. В итоге вы не проверите, как исполнители размечают другие типы номеров, и рискуете получить шумные данные с низким качеством.

Асинхронный контроль качества

Синхронные методы контроля качества подходят только для заданий с единственным правильным ответом. Однако некоторые краудсорсинговые задания требуют творческого подхода и переработки контента. Ответы получатся совершенно разными, но при этом правильными. Тогда вам подойдёт отложенная приёмка. Выполненные задания могут проверять:
  • Сотрудники заказчика. Некоторые краудсорсинговые платформы поддерживают такую опцию (Толока — нет). Но она подходит, только если данных немного или если у заказчика неограниченные ресурсы.
  • Другие исполнители. Заведите новый проект, перенесите в него размеченные данные и задайте исполнителям вопрос, насколько правильно выполнено задание. После проверки а) задания с неверными ответами передаются обратно на разметку; б) исполнители получают оплату за правильно выполненные задания; в) рассчитывается уровень качества исполнителей.
О правилах контроля качества и о том, как их настраивать, читайте в руководстве.
Используя данные о качестве работы исполнителей и об их подходах к выполнению заданий, можно применять алгоритмы повышения качества (например, методы агрегации).
Новости Яндекс.Толоки
Получайте информацию об обновлениях платформы, партнёрах, обучающих материалах и другие новости.
Wed Apr 07 2021 16:27:22 GMT+0300 (Moscow Standard Time)