Способы распределения заданий
Опция сохранять порядок заданий, описана в другом разделе. Подробнее.
По пустой строке
Вы самостоятельно разбиваете задания на страницы в TSV-файле. Для этого после каждой страницы заданий в файле добавьте пустую строку. После загрузки файла в пул Толока поместит задания, оказавшиеся между двумя пустыми строками, на одну страницу.
Такой способ подходит для разметки группы данных вокруг одного объекта, например ссылок по поисковым запросам. В этом случае на каждой странице может быть разное количество заданий, сгруппированных по определённым критериям.
Указать вручную
Введите количество заданий на странице. Страницы будут сформированы из заданий в той последовательности, в которой они приведены в TSV-файле.
Этот способ подойдет вам, если для вашего Customizable-проекта нужно определенное количество страниц в задании и вы не хотите разбивать задания на страницы самостоятельно.
Умное смешивание
Укажите, сколько заданий каждого типа должно быть на странице. Например, 8 основных, 1 обучающее и 1 контрольное. При необходимости в дополнительных настройках укажите минимальное количество для заданий каждого типа.
- Когда использовать
-
Этот способ целесообразно использовать, если в создаваемом пуле:
- включено динамическое перекрытие (incremental relabeling, IRL).
Пример настройки
- Особенности
-
Задания будут разбиты на списки: обычные, контрольные, обучающие.
Из каждого списка добавляется то количество заданий указанного типа, которые вы указали в настройках. По умолчанию задания выбираются случайным образом.
Если включена опция Сохранять порядок заданий, то задания добавляются в том же порядке, в котором они были в исходном TSV-файле. При этом учитывается перекрытие: задание, которое идет первым, будет выдаваться пока не достигнет нужного перекрытия.
Задания на страницах перемешиваются, перед тем, как страница будет выдана исполнителю.
Если основных заданий недостаточно и задана опция Отдавать неполную страницу, то исполнителю будет выдана неполная страница. Обратите внимание, что количество контрольных и обучающих заданий в таком случае должно быть полным.
После загрузки через Умное смешивание вам будут доступны разметка заданий и выборочная проверка мнением большинства.
- Умное смешивание и сохранение порядка заданий
-
Подробнее про сохранение порядка заданий.
Умное смешивание без Сохранять порядок заданийЕсли опция сохранить порядок заданий не включена, то страницы заданий не будут формироваться по порядку (сверху вниз) и внутри одинаковых по составу страниц контрольные задания у пользователей будут разные.
Умное смешивание + Сохранять порядок заданийЕсли опция сохранить порядок заданий включена, страницы заданий будут формироваться по порядку (сверху вниз) и внутри одинаковых по составу страниц контрольные задания у пользователей будут одинаковые.
Характеристика/тип загрузки | По пустой строке и Указать вручную | По пустой строке и Указать вручную (сохранять порядок заданий) | Умное смешивание | Умное смешивание (сохранять порядок заданий) |
---|---|---|---|---|
Для формирования страниц задания берутся по порядку строк (сверху вниз) в загруженном файле | Да | Да | Нет | Да |
Внутри страницы задания перемешиваются | Нет | Нет | Да | Да |
Исполнителям страницы раздаются в одном и том же порядке | Нет | Да | Да | Да |
Внутри одинаковых по составу страниц контрольные задания одинаковые у всех исполнителей | Да | Да | Нет | Да |
Характеристика/тип загрузки | По пустой строке и Указать вручную | По пустой строке и Указать вручную (сохранять порядок заданий) | Умное смешивание | Умное смешивание (сохранять порядок заданий) |
---|---|---|---|---|
Для формирования страниц задания берутся по порядку строк (сверху вниз) в загруженном файле | Да | Да | Нет | Да |
Внутри страницы задания перемешиваются | Нет | Нет | Да | Да |
Исполнителям страницы раздаются в одном и том же порядке | Нет | Да | Да | Да |
Внутри одинаковых по составу страниц контрольные задания одинаковые у всех исполнителей | Да | Да | Нет | Да |
Контрольные задания
- Сколько контрольных заданий нужно добавлять?
-
Рекомендуем добавлять не менее 1% контрольных заданий в пул. А для маленьких пулов — 5–10%.
- правильно оценить качество его ответов не получится;
- исполнитель не будет заинтересован выполнять такие задания, так как потратит много времени на изучение инструкций, а получит мало заработка.
- Большой пул 1% контрольных заданий (хорошо)
-
В пуле 10 000 заданий, из них 100 контрольных (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один пользователь может сделать до 100 страниц.
- Маленький пул 1% контрольных заданий (плохо)
-
В пуле 100 заданий, из них 1 контрольное (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один пользователь может сделать только 1 страницу.
- Маленький пул 10% контрольных заданий (хорошо)
-
В пуле 100 заданий, из них 10 контрольных (10%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один пользователь может сделать до 10 страниц.
Почему такВсе контрольные задания показываются исполнителю только один раз. Если вы используете умное смешивание, то определяете, сколько контрольных заданий должно быть на каждой странице. Если на странице одно контрольное задание, то максимальное число страниц, которое может выполнить исполнитель, равно количеству контрольных заданий в пуле. Если вы увеличиваете количество контрольных заданий на странице, во столько же раз снижается число доступных пользователю страниц.
Доступных страниц не должно быть слишком мало. Иначе:
ПримерЕсли в открытом пуле мало контрольных заданий, добавьте новые контрольные задания.
ЗачемЕсли пул большой, а контрольных заданий мало, может сложиться ситуация, что активным пользователям, которые сделали много заданий в проекте, перестают показываться новые страницы с заданиями. Это происходит, когда пользователь выполнил все контрольные задания в пуле.
Примечание.Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания. Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.
- Особенности установки перекрытия
-
При загрузке заданий через интерфейс Толоки автоматически установится бесконечное перекрытие для контрольных и обучающих заданий, чтобы их хватило на разметку всех основных заданий.
Конкретное значение перекрытия можно установить через API Толоки или воспользоваться способами загрузки заданий По пустой строке, Указать вручную.
Важно.Контрольным заданиям необходимо устанавливать бесконечное перекрытие.
Если было установлено иное значение перекрытия, то в процессе разметки контрольные задания могут закончиться и пул перестанет размечаться.
Советы и рекомендации
Если вы использовали Умное смешивание, то узнать количество заданий на странице можно в настройках пула. Но некоторые страницы могут быть неполными.
Если вы загружали задания другим способом, то в интерфейсе Толоки для заказчика можно проверить, как задания разбиты на страницы. Для этого на странице пула нажмите кнопку файлы → скачать все задания одним файлом. Также распределение заданий по страницам можно проверить через API Толоки.
Решение проблем
- Существует динамическое перекрытие (incremental relabeling, IRL). Например на странице было 5 заданий, по 4-м из них ответы согласовались так, что общий ответ зачелся как верный. Пятое задание будет замешано в другой набор, поскольку оно не попало в финальный ответ и его необходимо «дооценить».
- У разных заданий существует разное перекрытие. Те задания, у которых перекрытие указано больше, будут дополнительно показываться в наборах с другими оставшимися заданиями в пуле.
- Если правило контроля качества меняет перекрытие у задания, то оно окажется в другом наборе.
Настройки умного смешивания указываются для файла — не для пула.
При первой загрузке файла указанные настройки будут применяться для всех файлов, загруженных в дальнейшем в этот пул.
Зависит от задания. Технически можно много.
Но, во-первых, пользователи неохотно берутся за задания, которые требуют много времени на выполнение. То есть, они скорее сделают 10 заданий по одной минуте, чем одно задание на 10 минут.
Во-вторых, при большом количестве заданий на странице может быть проблема с загрузкой файлов для разметки. Например, картинок.
Третий момент — контроль качества и оценка выполнения всей страницы. Если вы используете дооценку заблокированных пользователей, то лучше дробить задание на более мелкие части, чтобы в переразметку отправлялось меньше заданий. Это позволит уложиться в бюджет.
Одно и то же задание может попасть на разные страницы, если:
Для загрузки файла используйте кнопку Загрузить результаты. Формат можно посмотреть здесь.
Проверка ответов выполняется в TSV-файле.