Способы распределения заданий

Примечание.

Опция сохранять порядок заданий, описана в другом разделе. Подробнее.

По пустой строке

Вы самостоятельно разбиваете задания на страницы в TSV-файле. Для этого после каждой страницы заданий в файле добавьте пустую строку. После загрузки файла в пул Толока поместит задания, оказавшиеся между двумя пустыми строками, на одну страницу.

Такой способ подходит для разметки группы данных вокруг одного объекта, например ссылок по поисковым запросам. В этом случае на каждой странице может быть разное количество заданий, сгруппированных по определённым критериям.

Указать вручную

Введите количество заданий на странице. Страницы будут сформированы из заданий в той последовательности, в которой они приведены в TSV-файле.

Этот способ подойдет вам, если для вашего проекта нужно определенное количество страниц в задании и вы не хотите разбивать задания на страницы самостоятельно.

Умное смешивание

Укажите, сколько заданий каждого типа должно быть на странице. Например, 8 основных, 1 обучающее и 1 контрольное. При необходимости в дополнительных настройках укажите минимальное количество для заданий каждого типа.

Когда использовать

Этот способ целесообразно использовать, если в создаваемом пуле:

Пример настройки


Особенности
  • Задания будут разбиты на списки: обычные, контрольные, обучающие.

  • Из каждого списка добавляется то количество заданий указанного типа, которые вы указали в настройках. По умолчанию задания выбираются случайным образом.

  • Если включена опция Сохранять порядок заданий, то задания добавляются в том же порядке, в котором они были в исходном TSV-файле. При этом учитывается перекрытие: задание, которое идет первым, будет выдаваться пока не достигнет нужного перекрытия.

  • Задания на страницах перемешиваются, перед тем, как страница будет выдана исполнителю.

  • Если основных заданий недостаточно и задана опция Отдавать неполную страницу, то исполнителю будет выдана неполная страница. Обратите внимание, что количество контрольных и обучающих заданий в таком случае должно быть полным.

Внимание. Если вы будете загружать файл через «Умное смешивание», то не сможете использовать другие способы распределения заданий по страницам в этом пуле.

После загрузки через Умное смешивание вам будут доступны разметка заданий и выборочная проверка мнением большинства.

Особенности установки перекрытия

При загрузке заданий через интерфейс Толоки автоматически установится бесконечное перекрытие для контрольных и обучающих заданий, чтобы их хватило на разметку всех основных заданий.

Конкретное значение перекрытия можно установить через API Яндекс.Толоки или воспользоваться способами загрузки заданий По пустой строке, Указать вручную.

Важно.

Контрольным заданиям необходимо устанавливать бесконечное перекрытие.

Если было установлено иное значение перекрытия, то в процессе разметки контрольные задания могут закончиться и пул перестанет размечаться.

Умное смешивание и сохранение порядка заданий

Подробнее про сохранение порядка заданий.

Умное смешивание без Сохранять порядок заданий

Если опция сохранить порядок заданий не включена, то страницы заданий не будут формироваться по порядку (сверху вниз) и внутри одинаковых по составу страниц контрольные задания у пользователей будут разные.

Умное смешивание + Сохранять порядок заданий

Если опция сохранить порядок заданий включена, страницы заданий будут формироваться по порядку (сверху вниз) и внутри одинаковых по составу страниц контрольные задания у пользователей будут одинаковые.

Как распределяются задания по страницам
Характеристика/тип загрузки По пустой строке и Указать вручную По пустой строке и Указать вручную (сохранять порядок заданий) Умное смешивание Умное смешивание (сохранять порядок заданий)
Для формирования страниц задания берутся по порядку строк (сверху вниз) в загруженном файле Да Да Нет Да
Внутри страницы задания перемешиваются Нет Нет Да Да
Исполнителям страницы раздаются в одном и том же порядке Нет Да Да Да
Внутри одинаковых по составу страниц контрольные задания одинаковые у всех исполнителей Да Да Нет Да
Как распределяются задания по страницам
Характеристика/тип загрузки По пустой строке и Указать вручную По пустой строке и Указать вручную (сохранять порядок заданий) Умное смешивание Умное смешивание (сохранять порядок заданий)
Для формирования страниц задания берутся по порядку строк (сверху вниз) в загруженном файле Да Да Нет Да
Внутри страницы задания перемешиваются Нет Нет Да Да
Исполнителям страницы раздаются в одном и том же порядке Нет Да Да Да
Внутри одинаковых по составу страниц контрольные задания одинаковые у всех исполнителей Да Да Нет Да

Советы и рекомендации

  • Если вы использовали Умное смешивание, то узнать количество заданий на странице можно в настройках пула. Но некоторые страницы могут быть неполными.

  • Если вы загружали задания другим способом, то в интерфейсе Толоки для заказчика можно проверить, как задания разбиты на страницы. Для этого на странице пула нажмите кнопку файлыскачать все задания одним файлом. Также распределение заданий по страницам можно проверить через API Яндекс.Толоки.

Решение проблем

Как в интерфейсе при загрузке файла указываются настройки умного смешивания?

Настройки умного смешивания указываются для файла — не для пула.

При первой загрузке файла указанные настройки будут применяться для всех файлов, загруженных в дальнейшем в этот пул.

Какое максимальное количество заданий может быть на одной странице?

Зависит от задания. Технически можно много.

Но, во-первых, пользователи неохотно берутся за задания, которые требуют много времени на выполнение. То есть, они скорее сделают 10 заданий по одной минуте, чем одно задание на 10 минут.

Во-вторых, при большом количестве заданий на странице может быть проблема с загрузкой файлов для разметки. Например, картинок.

Третий момент — контроль качества и оценка выполнения всей страницы. Если вы используете дооценку заблокированных пользователей, то лучше дробить задание на более мелкие части, чтобы в переразметку отправлялось меньше заданий. Это позволит уложиться в бюджет.

Одно и то же задание попало на разные страницы

Одно и то же задание может попасть на разные страницы, если:

  • Существует динамическое перекрытие (incremental relabeling, IRL). Например на странице было 5 заданий, по 4-м из них ответы согласовались так, что общий ответ зачелся как верный. Пятое задание будет замешано в другой набор, поскольку оно не попало в финальный ответ и его необходимо «дооценить».
  • У разных заданий существует разное перекрытие. Те задания, у которых перекрытие указано больше, будут дополнительно показываться в наборах с другими оставшимися заданиями в пуле.
  • Если правило контроля качества меняет перекрытие у задания, то оно окажется в другом наборе.
Как загрузить файл с принятыми решениями обратно в Толоку для случая, когда выставлена отложенная приемка? Где описан формат загружаемых данных?

Для загрузки файла используйте кнопку Загрузить результаты. Формат можно посмотреть здесь.

Проверка ответов выполняется в TSV-файле.