Разметка заданий

Ограничение. Разметка заданий доступна только для обучающих пулов и пулов, загруженных при помощи «умного смешивания» .

Разметка позволяет добавлять правильные ответы и подсказки в задания, а также изменять типы заданий. Из основного задания можно сделать контрольное, указав правильный ответ, или обучающее, добавив правильный ответ и подсказку.

Почему это важно

Контрольные задания позволяют следить за качеством работы толокеров: присваивать навыки, отбирать исполнителей для проекта, устанавливать динамическое перекрытие и настраивать ценообразование.

Качество выполнения заданий исполнителями может быть низким, когда в пуле:

  • нет контрольных заданий — в проекте могут участвовать недобросовестные исполнители или исполнители с низким навыком разметки ваших заданий;
  • контрольные задания не обновляются регулярно — исполнители могут угадывать правильные ответы и эффективность контроля качества снизится.

Существует два способа создания контрольных заданий:

Как разметить контрольные задания автоматически

Чтобы сэкономить время, вы можете воспользоваться опцией разметки контрольных заданий с помощью экспертов Толоки. В этом случае разметка будет происходить в рамках одного пула.

Разметка с помощью экспертов Толоки возможна при соблюдении условий:

  • Разметка доступна только для контрольных заданий.
  • Разметка по умолчанию поддерживается в проектах по классификации объектов, созданных с помощью шаблонов:
    • Классификация изображений
    • Классификация жестов рук
    • Кликбейт или нет?
    • Анализ тональности и модерация контента
    • Релевантность поиска товаров
  • Для остальных типов проектов вы можете запросить функцию через службу поддержки.
  • Пул должен содержать более 100 заданий.
  • В интерфейсе задания должно быть настроено хотя бы одно обязательное поле вывода.
  • Вы можете получить контрольные задания только один раз для каждого проекта. Это не относится к случаям, когда процесс разметки заданий завершился неудачей.
  • Разметка заданий с помощью Толоки доступна только через интерфейс, через API доступа к этой функции нет.

Как это работает

Внимание. Не редактируйте проект или пул, пока задания размечаются. Разметка продолжится без учета внесенных изменений, это может привести к расхождениям.
  1. Убедитесь, что пул не запущен.
  2. Проверьте правильность инструкций к заданиям.
  3. Нажмите кнопку Разметить в блоке Задания пула.
  4. Перейдите на вкладку Основные.
  5. В блоке с надписью Мы можем сделать контрольные задания для вас нажмите кнопку Попробовать бесплатно.
  6. Нажмите кнопку Заказать. Данные вашего пула будут отправлены на разметку экспертным исполнителям. Для улучшения качества мы применяем алгоритмы выбора заданий, подходящих в качестве контрольных.
  7. Дождитесь завершения разметки. Обычно процесс занимает около 6 часов. Расчетное время окончания разметки указывается в разделе Разметка заданий.
  8. После завершения разметки результаты будут загружены обратно в пул. Вы увидите сообщение «Контрольные задания готовы» в разделе Разметить задания на вкладке Контрольные. Вы можете редактировать и удалять полученные контрольные задания.
Примечание.

Если по каким-то причинам процесс разметки завершился неудачно, свяжитесь со службой поддержки. Для этого на вкладке контрольных заданий или на странице пула нажмите кнопку Написать в поддержку. После решения проблемы вы сможете заказать разметку контрольных заданий снова.

Решение проблем

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в пул. А для маленьких пулов — 5–10%.

Почему так

Все контрольные задания показываются исполнителю только один раз. Если вы используете умное смешивание, то определяете, сколько контрольных заданий должно быть на каждой странице. Если на странице одно контрольное задание, то максимальное число страниц, которое может выполнить исполнитель, равно количеству контрольных заданий в пуле. Если вы увеличиваете количество контрольных заданий на странице, во столько же раз снижается число доступных исполнителю страниц.

Доступных страниц не должно быть слишком мало. Иначе:

  • правильно оценить качество его ответов не получится;
  • исполнитель не будет заинтересован выполнять такие задания, так как потратит много времени на изучение инструкций, а получит мало заработка.
Пример
Большой пул 1% контрольных заданий (хорошо)

В пуле 10 000 заданий, из них 100 контрольных (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 100 страниц.

Маленький пул 1% контрольных заданий (плохо)

В пуле 100 заданий, из них 1 контрольное (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать только 1 страницу.

Маленький пул 10% контрольных заданий (хорошо)

В пуле 100 заданий, из них 10 контрольных (10%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 10 страниц.

Если в открытом пуле мало контрольных заданий, добавьте новые контрольные задания.

Зачем

Если пул большой, а контрольных заданий мало, может сложиться ситуация, что активным исполнителям, которые сделали много заданий в проекте, перестают показываться новые страницы с заданиями. Это происходит, когда исполнитель выполнил все контрольные задания в пуле.

Примечание.

Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания. Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Сколько времени занимает процесс разметки с помощью экспертов?
Обычно разметка занимает около 6 часов. Расчетное время окончания разметки указывается в разделе Разметка заданий.
Что делать, если процесс разметки завершился неудачно?

Если по каким-то причинам процесс разметки завершился неудачно, свяжитесь со службой поддержки. Для этого на вкладке контрольных заданий или на странице пула нажмите кнопку Написать в поддержку. После решения проблемы вы сможете заказать разметку контрольных заданий снова.