Документация Толоки

Частые ошибки заказчиков

Обратите внимание

Документация на русском языке может быть устаревшей. Самые последние изменения доступны в документации на английском языке.

Работа с краудсорсингом может оказаться непростой задачей. Поэтому сложно избежать ошибок при запуске первого проекта. В этом разделе вы узнаете, какие ошибки чаще всего допускают заказчики, как их избежать или исправить.

В зависимости от этапов работы в Толоке у заказчиков встречаются следующие типы ошибок: в архитектуре проекта, в интерфейсе задания, в загрузке заданий, в настройке контроля качества.

Тем, кто не любит читать, будет полезно посмотреть следующее видео:

Больше советов вы найдете в разделе Советы и рекомендации и в нашем блоге.

Ошибки в архитектуре проекта

  • Отсутствие декомпозиции: заказчик создает большую задачу без разделения на проекты и требует от исполнителя готовых выводов.

  • У проекта длинная и сложная инструкция.

  • Высокий порог входа: в начале проекта строится сложное обучение и строгий отбор исполнителей.

Способы решения

Декомпозируйте задания

  • Вертикальная декомпозиция: разделите задачу на несколько проектов.

  • Горизонтальная декомпозиция: применяйте отложенную приемку с проверкой другими исполнителями.

  • Для большей эффективности комбинируйте оба метода.

    Пример: в первом проекте исполнители определяют класс объектов на изображении, во втором — выделяют области с этими объектами. Правильность их ответов проверяют другие исполнители.

    Подробнее о декомпозиции.

Поработайте над инструкцией

  • Подготовьте простую и короткую инструкцию для исполнителей — не длиннее страницы А4.

  • Предложите исполнителям выполнить простую задачу. Не ждите готовых выводов.

    Плохой пример: «Соответствует ли это изображение инструкции?»

    Хороший пример: «Есть ли на этом изображении люди?»

Подробнее о том, как написать хорошую инструкцию.

Ошибки в интерфейсе задания

  • Задание не работает: не нажимаются кнопки, не отображаются картинки.

  • Неудобный интерфейс: слишком много вопросов или ненужных элементов, пустые места, неочевидное оформление заданий, инструкция внутри интерфейса.

  • Действия исполнителя не проверяются: исполнитель может отправить на проверку некорректно заполненные или пустые поля выходных данных, в заданиях с медиаконтентом может отправить ответ, не включая видео или аудио.

Способы решения

Проверьте задания перед запуском проекта

  • Создайте задания в Песочнице и попробуйте выполнить их самостоятельно.

  • Запустите проект для ограниченной аудитории исполнителей и проведите анализ обратной связи.

Постройте удобный интерфейс

Совет

Попробуйте создать интерфейс с помощью Конструктора шаблонов.

  • Используйте готовые шаблоны проектов.

  • Создавайте задания с простым интерфейсом и рационально используйте пространство. Уберите необязательные и дублирующие элементы.

  • Добавляйте горячие клавиши. Например, горячие клавиши можно назначить для запуска или остановки видео.

  • Если вы запускаете задания, которые понадобится выполнять в мобильных приложениях, адаптируйте интерфейс.

    Подробнее о том, как адаптировать задания для мобильных устройств.

Настройте проверку действий исполнителя и формата данных

  • Чтобы проверять действия исполнителя, используйте валидацию. Например, убедитесь, что исполнитель запустил проигрывание медиаконтента или воспроизвел его полностью.

  • С помощью регулярных выражений убедитесь, что выходные данные имеют нужный формат. Например, проверьте формат ссылки или номера телефона.

  • Сведите к минимуму взаимодействие исполнителя с внешними ресурсами.

    Важно

    Есть ограничения на задания с переходом на внешние сайты.

    Если вы используете ссылки на внешние ресурсы, убедитесь, что исполнитель перешел по ним.

Ошибки в загрузке заданий

  • Неправильный формат, кодировка или структура файла с заданиями.

  • Слишком много заданий на странице, что снижает качество работы исполнителей.

  • Некорректное распределение контрольных заданий.

Способы решения
  • Используйте правильный формат файла.

  • Применяйте готовые шаблоны файлов. Их вы можете найти на странице пула.

  • Размещайте задания таким образом, чтобы выполнение одной страницы заданий занимало не более 5 минут, а лучше 1–2 минуты. Как правило, на одной странице можно размещать 20–40 простых заданий, 5–10 заданий средней сложности или 1–2 сложных задания.

  • Используйте «умное смешивание». Алгоритм сам распределит основные, обучающие и контрольные задания на странице.

  • Проверьте задания в предпросмотре пула. Убедитесь, что они верно отображаются и выполнение одной страницы заданий не занимает много времени.

Ошибки в настройке контроля качества

  • Нет фильтров по исполнителям — задания доступны даже тем, кто не может их выполнить.

  • Правила контроля качества не использованы или настроены неправильно.

Способы решения

Отберите исполнителей

С помощью фильтров можно отсеять тех исполнителей, которым не подходят ваши задания.

  • Используйте таргетинги по языку и региону — в Толоке есть исполнители из разных стран.

  • Отбирайте исполнителей по данным профиля, техническим характеристикам их устройств или навыкам.

Подробнее о фильтрах.

Установите правила контроля качества

  • Учитывайте, какой тип приемки будет использоваться:

    Для заданий с автоприемкой лучшими правилами контроля качества являются контрольные задания, мнение большинства, быстрые ответы, повторное выполнение заданий после блокировки исполнителя.

    Для заданий с отложенной приемкой: быстрые ответы, результаты проверки.

    Подробнее о правилах контроля качества.

  • Выбирайте и комбинируйте правила в зависимости от содержания вашего проекта. Примеры выбора правил приведены в туториалах для популярных задач.

  • Указывайте причину бана (она видна только вам) и причину отклонения заданий (ее увидят исполнители).

Настройте правила контроля качества

  • Избегайте выбора взаимоисключающих настроек.

    Например, в пуле установлено перекрытие 3, а в правиле контроля качества Мнение большинства указано, что считать большинством нужно 5 ответов на задание. Тогда при перекрытии равном 3, не наберется количество ответов, необходимое для расчета мнения большинства.

  • Проверьте, будет ли правило работать так, как вы задумали. Для этого запустите небольшой пул с примером данных или потренируйтесь в Песочнице.

  • Примеры настройки можно посмотреть на страницах из списка правил контроля качества.

Примеры ошибок

Новые исполнители не приходят в проект

Причина ошибки

В проекте открыт пул, для доступа к которому необходимо пройти обучение, при этом само обучение закрыто.

Способы решения
  • Если вы остановили обучение специально или открываете его с перерывами, так как не нуждаетесь в большом потоке исполнителей, то всё в порядке.

  • Когда разметка на проекте остановлена и вы больше не отбираете исполнителей для экзаменационного пула, который остался открытым, просто закройте его.

  • Если вы не нуждаетесь в регулярной разметке и не хотите, чтобы исполнители проходили обучение зря, закройте пул, с которым связано обучение.

  • В случае если вы не планировали закрывать обучение или не знали, что обучение должно быть открыто, внесите нужные изменения в настройки проекта.

Исполнители уходят из проекта

Причины ошибки

  • Задания не соответствуют требованиям, поэтому исполнители отказываются их выполнять.

  • Задания слишком сложные.

  • Инструкция сложная и запутанная.

  • Задания не отображаются или отображаются неверно.

Способы решения
  • Перечитайте Соглашение с заказчиком, чтобы убедиться, что ваш проект соответствует требованиям.

  • Декомпозируйте задание.

  • Перепишите инструкцию, чтобы она стала проще и понятнее.

  • Попробуйте выполнить своё задание в предпросмотре пула, а лучше — в Песочнице. Убедитесь, что все работает правильно.

О работе на всех этапах краудсорсинга смотрите в следующем видео:

Также смотрите:

  • Подробный видео-курс для заказчиков. Полезен тем, кто хочет эффективно использовать Толоку для создания проектов, а также тем, кто хочет стать партнером Толоки.

  • Блог Толоки. В блоге публикуем обучающие статьи и оповещаем о новых возможностях платформы.