Способы распределения заданий

По пустой строке

Вы самостоятельно разбиваете задания на страницы в TSV-файле. Для этого после каждой страницы заданий в файле добавьте пустую строку. После загрузки файла в пул Толока поместит задания, оказавшиеся между двумя пустыми строками, на одну страницу.

Такой способ подходит для разметки группы данных вокруг одного объекта, например ссылок по поисковым запросам. В этом случае на каждой странице может быть разное количество заданий, сгруппированных по определённым критериям.

Указать вручную

Введите количество заданий на странице. Страницы будут сформированы из заданий в той последовательности, в которой они приведены в TSV-файле.

Этот способ подойдет вам, если для вашего Customizable-проекта нужно определенное количество страниц в задании и вы не хотите разбивать задания на страницы самостоятельно.

Умное смешивание

Укажите, сколько заданий каждого типа должно быть на странице. Например, 8 основных, 1 обучающее и 1 контрольное. При необходимости в дополнительных настройках укажите минимальное количество для заданий каждого типа.

Когда использовать

Этот способ целесообразно использовать, если в создаваемом пуле:

• кроме основных, будут контрольные или обучающие задания;
• включено динамическое перекрытие (incremental relabeling, IRL).

Пример настройки

Особенности

• Задания будут разбиты на списки: обычные, контрольные, обучающие.

• Из каждого списка добавляется то количество заданий указанного типа, которые вы указали в настройках. По умолчанию задания выбираются случайным образом.

• Если включена опция Сохранять порядок заданий, то задания добавляются в том же порядке, в котором они были в исходном TSV-файле. При этом учитывается перекрытие: задание, которое идет первым, будет выдаваться пока не достигнет нужного перекрытия.

• Задания на страницах перемешиваются, перед тем, как страница будет выдана исполнителю.

• Если основных заданий недостаточно и задана опция Отдавать неполную страницу, то исполнителю будет выдана неполная страница. Обратите внимание, что количество контрольных и обучающих заданий в таком случае должно быть полным.

После загрузки через Умное смешивание вам будут доступны разметка заданий и выборочная проверка мнением большинства.

Умное смешивание и сохранение порядка заданий

Подробнее про сохранение порядка заданий.

Умное смешивание без Сохранять порядок заданий

Если опция сохранить порядок заданий не включена, то страницы заданий не будут формироваться по порядку (сверху вниз) и внутри одинаковых по составу страниц контрольные задания у пользователей будут разные.

Умное смешивание + Сохранять порядок заданий

Если опция сохранить порядок заданий включена, страницы заданий будут формироваться по порядку (сверху вниз) и внутри одинаковых по составу страниц контрольные задания у пользователей будут одинаковые.

Контрольные задания

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в пул. А для маленьких пулов — 5–10%.

Почему так

Все контрольные задания показываются исполнителю только один раз. Если вы используете умное смешивание, то определяете, сколько контрольных заданий должно быть на каждой странице. Если на странице одно контрольное задание, то максимальное число страниц, которое может выполнить исполнитель, равно количеству контрольных заданий в пуле. Если вы увеличиваете количество контрольных заданий на странице, во столько же раз снижается число доступных пользователю страниц.

Доступных страниц не должно быть слишком мало. Иначе:

• правильно оценить качество его ответов не получится;
• исполнитель не будет заинтересован выполнять такие задания, так как потратит много времени на изучение инструкций, а получит мало заработка.

Пример

Большой пул 1% контрольных заданий (хорошо)

В пуле 10 000 заданий, из них 100 контрольных (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один пользователь может сделать до 100 страниц.

Маленький пул 1% контрольных заданий (плохо)

В пуле 100 заданий, из них 1 контрольное (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один пользователь может сделать только 1 страницу.

Маленький пул 10% контрольных заданий (хорошо)

В пуле 100 заданий, из них 10 контрольных (10%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один пользователь может сделать до 10 страниц.

Если в открытом пуле мало контрольных заданий, добавьте новые контрольные задания.

Зачем

Если пул большой, а контрольных заданий мало, может сложиться ситуация, что активным пользователям, которые сделали много заданий в проекте, перестают показываться новые страницы с заданиями. Это происходит, когда пользователь выполнил все контрольные задания в пуле.

Примечание.

Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания. Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Особенности установки перекрытия

При загрузке заданий через интерфейс Толоки автоматически установится бесконечное перекрытие для контрольных и обучающих заданий, чтобы их хватило на разметку всех основных заданий.

Конкретное значение перекрытия можно установить через API Толоки или воспользоваться способами загрузки заданий По пустой строке, Указать вручную.

Важно.

Контрольным заданиям необходимо устанавливать бесконечное перекрытие.

Если было установлено иное значение перекрытия, то в процессе разметки контрольные задания могут закончиться и пул перестанет размечаться.

Советы и рекомендации

• Если вы использовали Умное смешивание, то узнать количество заданий на странице можно в настройках пула. Но некоторые страницы могут быть неполными.

• Если вы загружали задания другим способом, то в интерфейсе Толоки для заказчика можно проверить, как задания разбиты на страницы. Для этого на странице пула нажмите кнопку файлы → скачать все задания одним файлом. Также распределение заданий по страницам можно проверить через API Толоки.