Документация Толоки

Создание пула

Обратите внимание

Документация на русском языке может быть устаревшей. Самые последние изменения доступны в документации на английском языке.

Если у вас уже есть пул и вы хотите создать такой же, клонируйте существующий пул. Если нет, создайте новый пул.

Новый пул

Пул — это настройки блока заданий, которые будут отправлены на выполнение. Интерфейс задания описан в проекте.

Примечание

Вы можете сначала отладить настройки пула в песочнице, а затем перенести в основную версию Толоки вместе с проектом.

Чтобы создать пул, воспользуйтесь инструкцией:

  1. Нажмите кнопку Добавить пул на странице проекта.

  2. Задайте параметры пула, нажмите Сохранить.

Задания в пулах по умолчанию будут доступны для веб-версии Толоки и мобильного приложения. Если вы хотите изменить настройки по умолчанию и ограничить видимость задачи для любой из версий, добавьте фильтр Клиент и выберите нужное значение: Веб-версия Толоки или Мобильная Толока.

Параметры пула

Параметр

Описание

Находится в блоке

Название пула

Название пула, которое будете видеть только вы (как заказчик) на странице проекта.

Общая информация

Публичное описание

Будет отображаться вместо описания проекта в списке заданий для исполнителей и у привязанного обучения.

Общая информация

Приватный комментарий

При желании вы можете добавить приватное описание пула, которое будет доступно только вам.

Общая информация

Цена за страницу заданий, $

Плата за выполнение страницы заданий в долларах США. Для центов используйте точку «.» в качестве разделителя. Если в поле Тип пула выбрано значение Пул с обычными заданиями, то минимальная цена за страницу заданий составляет 0,005 $. Для остальных типов пула вы можете указать цену, равную нулю. Подробнее об управлении ценой вы можете узнать в разделе Настройка ценообразования.

Цена

Перекрытие

Количество исполнителей, которые должны выполнить каждое задание пула.

Настраивайте этот параметр, когда нужно, чтобы ваше задание обязательно выполнило несколько человек. В таких задачах, когда собирается датасет фотографий, необходимы записи аудио или проводятся опросы, это просто необходимо. Иногда это повышает качество результатов.

Чтобы сэкономить, вы можете настроить динамическое перекрытие (incremental relabeling, IRL).

Динамическое перекрытие поможет сэкономить. Подробнее.

Цена

В моих заданиях может содержаться шокирующий или порнографический контент

Наличие шокирующего и порно-контента в заданиях. Задания пула с таким контентом раздаются только исполнителям, которые готовы их выполнять.

Если вы не проверяли задания на наличие шокирующего и порно-контента, включите эту опцию.

Плата за выполнение страницы заданий в долларах США. Для центов используйте точку «.» в качестве разделителя. Если в поле Тип пула выбрано значение Пул с обычными заданиями, то минимальная цена за страницу заданий составляет 0,005 $. Для остальных типов пула вы можете указать цену, равную нулю. Подробнее об управлении ценой вы можете узнать в разделе Настройка ценообразования.

Аудитория

Фильтры

Устанавливая определенные фильтры, вы выбираете для своего задания аудиторию исполнителей, которые соответствуют вашим требованиям. Есть наборы фильтров, фильтры по различным критериям и фильтры по навыкам, которые вы можете создавать самостоятельно.

Если у вас в задании работа с русскоязычными текстами, то вам не нужно, чтобы проект видели не носители русского языка. Вы можете установить фильтр по русскому языку. Аналогично вы можете ограничить исполнителей по месту проживания в конкретной стране или городе и т.д. Подробнее

Если вы дадите исполнителям обучающие задания, то можете добавить в пул навык, чтобы для новых заданий отбирать исполнителей уже с пройденным обучением. Подробнее о навыках

Аудитория

Соотношение скорости и качества

Настройка выбора аудитории исполнителей для своих заданий. Если хотите очень быстро, то качество может быть под сомнением. Если очень качественно, то приготовьтесь дольше ждать. Важно найти баланс, который вас устроит. Подробнее.

Аудитория

Отложенная приемка заданий

Включите опцию, чтобы проверитьвыполненные задания вручную.

Устанавливайте тот срок, в который вы сможете проверить правильность выполнения заданий и отклонить в случае низкого качества результатов.

Подробнее об отложенной приемке вы можете узнать в разделе Отложенная приемка.

Контроль качества

Обучение

Это поле доступно только, если у вас есть обучающие пулы в проекте.

Обучающий пул, который будет привязан к основному.

Контроль качества

Уровень прохождения, %

Это поле доступно только, если вы заполнили поле Обучение.

Процент правильных ответов в обучающих заданиях (от 0 до 100), необходимый для допуска к заданиям в пуле. Для подсчета используются первые ответы исполнителя в заданиях.

Минимальный уровень прохождения, который можно установить, равен 5. Исполнители, прошедшие обучение, но не достигшие заданного уровня, не будут допущены к заданиям.

Контроль качества

Срок проверки в днях

Количество дней на приемку заданий (максимум — 21). Исполнитель увидит срок проверки:

  • в информации о задании на главной странице Толоки;
  • в истории выполненных заданий.

Контроль качества

Динамическое ценообразование

Этот параметр позволяет варьировать стоимость заданий в зависимости от уровня навыка исполнителей. Подробнее

Динамическое ценообразование и перекрытие

Динамическое перекрытие

Этот параметр можно использовать, если вы укажете фиксированные значения для полей входных данных. С ним вы можете экономить свой бюджет без установки фиксированного перекрытия для всех заданий пула.

Вы задаете диапазон, сервис анализирует оценки, их согласованность, уровень навыков исполнителей и при необходимости увеличивает перекрытие, не выходя из границ указанных вами значений.

Динамическое ценообразование и перекрытие

Приоритет пула внутри проекта

Число от 0 до 100. Позволяет ранжировать пул в рамках проекта. Сначала исполнителю будут выданы задания из пула с бóльшим приоритетом.

Дополнительные настройки

Время на страницу заданий, с

Время на выполнение страницы заданий в секундах. Невыполненные задания перераспределяются другим исполнителям.

Рекомендуется выделять на страницу заданий не менее 60 секунд (с учетом времени на загрузку страницы, отправку ответов).

Если вы установите слишком большой интервал, то задания долго не будут закрываться. Если слишком маленький — задания не будут выполнены и оплачены.

Дополнительные настройки

Время ожидания закрытия пула, с

Интервал, в течении которого пул будет оставаться открытым с момента выполнения всех заданий. Минимум — 0 (1 в случае использования динамического перекрытия), максимум — 259 200 секунд (трое суток).

Например, вы можете использовать этот параметр, если вам нужен открытый пул, в который периодически загружаете задания.

Дополнительные настройки

Дата закрытия пула

Дата закрытия пула. Пул закроется автоматически в указанный срок, даже если задания не были размечены.

Дополнительные настройки

Тип пула

Укажите тип пула:

  • Пул с обычными заданиями — основной пул с вашими обычными заданиями;

  • Экзамен — пул, в котором содержатся только контрольные задания;

  • Тренировка — основной пул, который состоит только из обучающих заданий и может иметь нулевую стоимость. Используйте его, чтобы натренировать исполнителей перед выполнением реальных задач, если функциональность обучающего пула вам не подходит;

  • Реабилитация — пул, который поможет исполнителям, допустившим ошибки в разметке, улучшить навык и вернуться к выполнению задания;

  • Другой — если ни один из предыдущих не подошел.

Примечание

Обязательно выберите тип пула, если цена за страницу заданий равна нулю.

Дополнительные настройки

Сохранять порядок заданий

Опция выключена (значение по умолчанию)

Загруженные задания разбиваются на страницы и выдаются исполнителям в случайном порядке. Внутри страницы порядок заданий всегда случайный.

Пример

Если при загрузке в пул файла с заданиями со ссылками на картинки вы указали 2 задания на странице, то система может сформировать их следующим образом:

Задания в файле

Страница 1

Страница 2

Страница 3

Изображение 1

Изображение 2

Изображение 6

Изображение 4

Изображение 2

Изображение 5

Изображение 1

Изображение 3

Изображение 3

Изображение 4

Изображение 5

Изображение 6

Опция включена

Задания будут разбиты на страницы в том порядке, в котором они записаны в файл.

Пример

Если при загрузке в пул файла со ссылками на картинки вы указали 2 задания на странице, то с равной вероятностью вы можете получить страницы, где вначале идет первая ссылка, а затем вторая и наоборот:

Задания в файле

Страница 1

Страница 2

Страница 3

Изображение 1

Изображение 1

Изображение 3

Изображение 5

Изображение 2

Изображение 2

Изображение 4

Изображение 6

Изображение 3

или

или

или

Изображение 4

Изображение 2

Изображение 4

Изображение 6

Изображение 5

Изображение 1

Изображение 3

Изображение 5

Изображение 6

Если в пуле установлено перекрытие, следующее задание выдается только после того, как предыдущее задание выполнено нужным количеством исполнителей.

Используйте параметр Сохранять порядок заданий, чтобы:

  • Ускорить сбор статистики для контроля мнением большинства.

  • Выдавать задания в порядке приоритета.

    Поместите самые важные задание в начале файла. Они выполнятся быстрее и с нужным перекрытием.

Дополнительные настройки

Как исполнители видят пулы

Исполнители не видят пулы внутри проекта и не могут выбирать конкретные задания (кроме полевых, где можно выбрать точки на карте). Они также не видят настройки пулов, количество заданий и прогресс выполнения.

Если хотя бы один пул из проекта доступен исполнителю, то такой проект появится на главной странице в виде карточки с названием, описанием и ценой за задание. Выбрав проект, исполнитель получает одно задание из пула. Когда он его выполнит, получает следующее и так далее.

Исполнители увидят на главной странице одну карточку проекта, если пулы в нем отличаются только названиями, контролем качества или фильтрами. В последнем случае карточка проекта будет состоять из заданий тех пулов, к которым у исполнителя есть доступ.

Исполнители увидят одну карточку проекта

Например, вы создаете «Пул 1» и «Пул 2» с одинаковыми настройками в проекте «Есть ли на фотографии дорожные знаки?». Если исполнитель имеет доступ к обоим пулам, то он увидит их как одну карточку на главной странице.

Исполнители увидят несколько карточек, если пулы отличаются этими настройками:

  • тип приемки;
  • публичное описание;
  • цена задания.

Это пригодится, если вы хотите объединять задания в пулах по тематикам, длительности аудиозаписей или сложности оценки.

Исполнители увидят несколько карточек проекта

В этом примере исполнителю доступны два пула с разной ценой и публичным описанием, поэтому он видит у себя на странице две карточки с заданиями из этого проекта. Исполнитель сможет выбрать любую из них — например, где цена выше.

Клонирование пула

Чтобы клонировать пул, нажмите кнопку → Клонировать вверху страницы пула или в списке пулов на странице проекта.

Если необходимо изменить параметры пула, откройте режим редактирования.

Что дальше

Решение проблем

Какое перекрытие лучше установить?

Перекрытие определяет, сколько исполнителей будут выполнять задание в пуле.

Оптимальное перекрытие — это перекрытие, по результатам которого заказчик получает устраивающее его качество ответов. Для большинства заданий без отложенной приемки достаточно перекрытия от «3» до «5». Если у вас простое задание, скорее всего, вам хватит перекрытия «3». Для заданий с отложенной приемкой установите перекрытие «1».

Можно ли изменить перекрытие после запуска пула?

Да. Откройте режим редактирования пула и установите новое значение перекрытия. Перезапускать пул не требуется. Обновление настроек обычно происходит быстро, но если заданий много, то может занять несколько минут.

Как определить время на выполнение задания?

Попробуйте выполнить задания сами, попросите своих друзей и коллег. Найдите среднее время выполнения и добавьте к нему 50%.

Сколько заданий должно быть на странице?

Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

  • Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

    • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

    • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

    Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Учитывать последних ответов на контрольные и обучающие задания.

  • Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

    Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Учитывать последних ответов на контрольные и обучающие задания в блоках контроля качества в пулах.