Создание пула

Если у вас уже есть пул и вы хотите создать такой же, клонируйте существующий пул. Если нет, создайте новый пул.

Новый пул

Пул — это настройки блока заданий, которые будут отправлены на выполнение. Интерфейс задания описан в проекте.

Совет. Вы можете сначала отладить настройки пула в песочнице, а затем перенести в основную версию Яндекс.Толоки вместе с проектом.

Чтобы создать пул, воспользуйтесь инструкцией или посмотрите обучающее видео:

  1. Нажмите кнопку Добавить пул на странице проекта.

  2. Задайте параметры пула, нажмите Сохранить.

Параметры пула

Параметр

Описание

Название пула

Название пула, которое будете видеть только вы (как заказчик) на странице проекта.

Публичное описание

Будет отображаться вместо описания проекта в списке заданий для исполнителей и у привязанного обучения.

Приватное описание

При желании вы можете добавить приватное описание проекта, которое будет доступно только вам.

Обучение

Это поле доступно только, если у вас есть обучающие пулы в проекте.

Обучающий пул, который будет привязан к основному.

Тип пула

Это поле нужно заполнять, когда вы выставляете задания за 0 центов. Выберите из списка один вариант:

  • экзаменационный — контрольные задания — чтобы оценить, насколько хорошо исполнитель прошел обучение;
  • тренировка — основной пул, который состоит только из обучающих заданий и может иметь нулевую стоимость. Используйте его, чтобы натренировать исполнителей перед выполнением реальных задач, если функциональность обучающего пула вам не подходит;
  • реабилитационный — контрольные задания — чтобы дать второй шанс исполнителям, которые прошли обучение и экзамен, но много ошибались, выполняя основные задания;
  • другой — если ни один из предыдущих не подошел.
Уровень прохождения

Это поле доступно только, если вы заполнили поле Обучение.

Процент правильных ответов в обучающих заданиях (от 0 до 100), необходимый для допуска к заданиям в пуле. Для подсчета используются первые ответы исполнителя в заданиях.

Минимальный уровень прохождения, который можно установить, равен 5. Исполнители, прошедшие обучение, но не достигшие заданного уровня, не будут допущены к заданиям.

Цена в долларах США

Плата за выполнение страницы заданий в долларах США. Для центов используйте точку «.» в качестве разделителя. Минимальная цена составляет $0.01. Подробнее в разделе Настройка ценообразования.

Примеры стоимости различных типов заданий смотрите здесь.

Динамическое ценообразование

Этот параметр позволяет варьировать стоимость заданий в зависимости от уровня навыка исполнителей. Подробнее

Примеры стоимости различных типов заданий смотрите здесь

Контент для взрослых

Наличие порно-контента в заданиях. Задания пула с порно-контентом раздаются только исполнителям, которые готовы их выполнять.

Если вы не проверяли задания на наличие порно-контента, выберите значение «Есть».

Фильтры

Устанавливая определенные фильтры, вы выбираете для своего задания аудиторию исполнителей, которые соответствуют вашим требованиям. Есть наборы фильтров, фильтры по различным критериям и фильтры по навыкам, которые вы можете создавать самостоятельно.

Если у вас в задании работа с русскоязычными текстами, то вам не нужно, чтобы проект видели не носители русского языка. Вы можете установить фильтр по русскому языку. Аналогично вы можете ограничить исполнителей по месту проживания в конкретной стране или городе и т.д. Подробнее

Если вы дадите исполнителям обучающие задания, то можете добавить в пул навык, чтобы для новых заданий отбирать исполнителей уже с пройденным обучением. Подробнее о навыках

Отложенная приемка

Включите опцию, чтобы проверить выполненные задания вручную.

Устанавливайте тот срок, в который вы сможете проверить правильность выполнения заданий и отклонить в случае низкого качества результатов.

Подробнее об отложенной приемке можно почитать тут и вот тут.

Частота показа капчи

Частота показа капчи:

  • «Нет» — не показывать капчу.

  • «Низкая» — показывать капчу каждые 20 страниц заданий.

  • «Средняя»/ «Высокая» — показывать капчу каждые 10 страниц заданий.

Чтобы показывать капчу исполнителям, настройте блок контроля качества.

Срок проверки

Количество дней на приемку заданий (максимум — 21). Исполнитель увидит срок проверки:

  • в информации о задании на главной странице Яндекс.Толоки;

  • в истории выполненных заданий.

Перекрытие

Количество исполнителей, которые должны выполнить каждое задание пула.

Настраивайте этот параметр, когда нужно, чтобы ваше задание обязательно выполнило несколько человек. В таких задачах, когда собирается датасет фотографий, необходимы записи аудио или проводятся опросы, это просто необходимо. Иногда это повышает качество результатов.

Чтобы сэкономить, вы можете настроить динамическое перекрытие (incremental relabeling, IRL).

Динамическое перекрытие поможет сэкономить. Подробнее.

Динамическое перекрытие

Этот параметр можно использовать, если вы укажете фиксированные значения для полей входных данных. С ним вы можете экономить свой бюджет без установки фиксированного перекрытия для всех заданий пула.

Вы задаете диапазон, сервис анализирует оценки, их согласованность, уровень навыков исполнителей и при необходимости увеличивает перекрытие, не выходя из границ указанных вами значений.

Соотношение скорость/качество

Настройка для отбора лучших по рейтингу активных исполнителей или установка срока выполнения всего пула.

Так вы можете выбирать аудиторию исполнителей для своих заданий. Если хотите очень быстро, то качество может быть под сомнением. Если очень качественно, то приготовьтесь дольше ждать. Важно найти баланс, который вас устроит. Подробнее.

Время на страницу заданий в секундах

Время на выполнение страницы заданий в секундах. Невыполненные задания перераспределяются другим исполнителям.

Рекомендуется выделять на задание не менее 60 секунд (с учетом времени на загрузку страницы, отправку ответов).

Если вы установите слишком большой интервал, то задания долго не будут закрываться. Если слишком маленький — задания не будут выполнены и оплачены.

Сохранять порядок заданий

Опция выключена (значение по умолчанию)

Загруженные задания разбиваются на страницы и выдаются исполнителям в случайном порядке. Внутри страницы порядок заданий всегда случайный.

Пример

Если при загрузке в пул TSV-файла со ссылками на картинки вы указали 2 задания на странице, то система может сформировать их следующим образом:

Задания в файле Страница 1 Страница 2 Страница 3
Изображение 1 Изображение 2 Изображение 6 Изображение 4
Изображение 2 Изображение 5 Изображение 1 Изображение 3
Изображение 3
Изображение 4
Изображение 5
Изображение 6
Задания в файле Страница 1 Страница 2 Страница 3
Изображение 1 Изображение 2 Изображение 6 Изображение 4
Изображение 2 Изображение 5 Изображение 1 Изображение 3
Изображение 3
Изображение 4
Изображение 5
Изображение 6

Опция включена

Задания будут разбиты на страницы в том порядке, в котором они записаны в TSV-файл.
Пример

Если при загрузке в пул TSV-файла со ссылками на картинки вы указали 2 задания на странице, то с равной вероятностью вы можете получить страницы, где вначале идет первая ссылка, а затем вторая и наоборот:

Задания в файле Страница 1 Страница 2 Страница 3
Изображение 1 Изображение 1 Изображение 3 Изображение 4
Изображение 2 Изображение 2 Изображение 4 Изображение 3
Изображение 3 или или или
Изображение 4 Изображение 2 Изображение 4 Изображение 5
Изображение 5 Изображение 1 Изображение 3 Изображение6
Изображение 6
Задания в файле Страница 1 Страница 2 Страница 3
Изображение 1 Изображение 1 Изображение 3 Изображение 4
Изображение 2 Изображение 2 Изображение 4 Изображение 3
Изображение 3 или или или
Изображение 4 Изображение 2 Изображение 4 Изображение 5
Изображение 5 Изображение 1 Изображение 3 Изображение6
Изображение 6

Если в пуле установлено перекрытие, следующее задание выдается только после того, как предыдущее задание выполнено нужным количеством исполнителей.

Используйте параметр Сохранять порядок заданий, чтобы:

  • Ускорить сбор статистики для контроля мнением большинства.

  • Выдавать задания в порядке приоритета.

    Поместите самые важные задание в начале файла. Они выполнятся быстрее и с нужным перекрытием.

Дата закрытия пула

Дата закрытия пула. Пул закроется автоматически в указанный срок, даже если задания не были размечены.

Время ожидания закрытия пула в секундах

Интервал, в течении которого пул будет оставаться открытым с момента выполнения всех заданий. Минимум — 0, максимум — 259 200 секунд (трое суток).

Например, вы можете использовать этот параметр, если вам нужен открытый пул, в который периодически загружаете задания.

Приоритет пула внутри проекта Число от 0 до 100. Позволяет ранжировать пул в рамках проекта. Сначала исполнителю будут выданы задания из пула с бóльшим приоритетом.

Параметр

Описание

Название пула

Название пула, которое будете видеть только вы (как заказчик) на странице проекта.

Публичное описание

Будет отображаться вместо описания проекта в списке заданий для исполнителей и у привязанного обучения.

Приватное описание

При желании вы можете добавить приватное описание проекта, которое будет доступно только вам.

Обучение

Это поле доступно только, если у вас есть обучающие пулы в проекте.

Обучающий пул, который будет привязан к основному.

Тип пула

Это поле нужно заполнять, когда вы выставляете задания за 0 центов. Выберите из списка один вариант:

  • экзаменационный — контрольные задания — чтобы оценить, насколько хорошо исполнитель прошел обучение;
  • тренировка — основной пул, который состоит только из обучающих заданий и может иметь нулевую стоимость. Используйте его, чтобы натренировать исполнителей перед выполнением реальных задач, если функциональность обучающего пула вам не подходит;
  • реабилитационный — контрольные задания — чтобы дать второй шанс исполнителям, которые прошли обучение и экзамен, но много ошибались, выполняя основные задания;
  • другой — если ни один из предыдущих не подошел.
Уровень прохождения

Это поле доступно только, если вы заполнили поле Обучение.

Процент правильных ответов в обучающих заданиях (от 0 до 100), необходимый для допуска к заданиям в пуле. Для подсчета используются первые ответы исполнителя в заданиях.

Минимальный уровень прохождения, который можно установить, равен 5. Исполнители, прошедшие обучение, но не достигшие заданного уровня, не будут допущены к заданиям.

Цена в долларах США

Плата за выполнение страницы заданий в долларах США. Для центов используйте точку «.» в качестве разделителя. Минимальная цена составляет $0.01. Подробнее в разделе Настройка ценообразования.

Примеры стоимости различных типов заданий смотрите здесь.

Динамическое ценообразование

Этот параметр позволяет варьировать стоимость заданий в зависимости от уровня навыка исполнителей. Подробнее

Примеры стоимости различных типов заданий смотрите здесь

Контент для взрослых

Наличие порно-контента в заданиях. Задания пула с порно-контентом раздаются только исполнителям, которые готовы их выполнять.

Если вы не проверяли задания на наличие порно-контента, выберите значение «Есть».

Фильтры

Устанавливая определенные фильтры, вы выбираете для своего задания аудиторию исполнителей, которые соответствуют вашим требованиям. Есть наборы фильтров, фильтры по различным критериям и фильтры по навыкам, которые вы можете создавать самостоятельно.

Если у вас в задании работа с русскоязычными текстами, то вам не нужно, чтобы проект видели не носители русского языка. Вы можете установить фильтр по русскому языку. Аналогично вы можете ограничить исполнителей по месту проживания в конкретной стране или городе и т.д. Подробнее

Если вы дадите исполнителям обучающие задания, то можете добавить в пул навык, чтобы для новых заданий отбирать исполнителей уже с пройденным обучением. Подробнее о навыках

Отложенная приемка

Включите опцию, чтобы проверить выполненные задания вручную.

Устанавливайте тот срок, в который вы сможете проверить правильность выполнения заданий и отклонить в случае низкого качества результатов.

Подробнее об отложенной приемке можно почитать тут и вот тут.

Частота показа капчи

Частота показа капчи:

  • «Нет» — не показывать капчу.

  • «Низкая» — показывать капчу каждые 20 страниц заданий.

  • «Средняя»/ «Высокая» — показывать капчу каждые 10 страниц заданий.

Чтобы показывать капчу исполнителям, настройте блок контроля качества.

Срок проверки

Количество дней на приемку заданий (максимум — 21). Исполнитель увидит срок проверки:

  • в информации о задании на главной странице Яндекс.Толоки;

  • в истории выполненных заданий.

Перекрытие

Количество исполнителей, которые должны выполнить каждое задание пула.

Настраивайте этот параметр, когда нужно, чтобы ваше задание обязательно выполнило несколько человек. В таких задачах, когда собирается датасет фотографий, необходимы записи аудио или проводятся опросы, это просто необходимо. Иногда это повышает качество результатов.

Чтобы сэкономить, вы можете настроить динамическое перекрытие (incremental relabeling, IRL).

Динамическое перекрытие поможет сэкономить. Подробнее.

Динамическое перекрытие

Этот параметр можно использовать, если вы укажете фиксированные значения для полей входных данных. С ним вы можете экономить свой бюджет без установки фиксированного перекрытия для всех заданий пула.

Вы задаете диапазон, сервис анализирует оценки, их согласованность, уровень навыков исполнителей и при необходимости увеличивает перекрытие, не выходя из границ указанных вами значений.

Соотношение скорость/качество

Настройка для отбора лучших по рейтингу активных исполнителей или установка срока выполнения всего пула.

Так вы можете выбирать аудиторию исполнителей для своих заданий. Если хотите очень быстро, то качество может быть под сомнением. Если очень качественно, то приготовьтесь дольше ждать. Важно найти баланс, который вас устроит. Подробнее.

Время на страницу заданий в секундах

Время на выполнение страницы заданий в секундах. Невыполненные задания перераспределяются другим исполнителям.

Рекомендуется выделять на задание не менее 60 секунд (с учетом времени на загрузку страницы, отправку ответов).

Если вы установите слишком большой интервал, то задания долго не будут закрываться. Если слишком маленький — задания не будут выполнены и оплачены.

Сохранять порядок заданий

Опция выключена (значение по умолчанию)

Загруженные задания разбиваются на страницы и выдаются исполнителям в случайном порядке. Внутри страницы порядок заданий всегда случайный.

Пример

Если при загрузке в пул TSV-файла со ссылками на картинки вы указали 2 задания на странице, то система может сформировать их следующим образом:

Задания в файле Страница 1 Страница 2 Страница 3
Изображение 1 Изображение 2 Изображение 6 Изображение 4
Изображение 2 Изображение 5 Изображение 1 Изображение 3
Изображение 3
Изображение 4
Изображение 5
Изображение 6
Задания в файле Страница 1 Страница 2 Страница 3
Изображение 1 Изображение 2 Изображение 6 Изображение 4
Изображение 2 Изображение 5 Изображение 1 Изображение 3
Изображение 3
Изображение 4
Изображение 5
Изображение 6

Опция включена

Задания будут разбиты на страницы в том порядке, в котором они записаны в TSV-файл.
Пример

Если при загрузке в пул TSV-файла со ссылками на картинки вы указали 2 задания на странице, то с равной вероятностью вы можете получить страницы, где вначале идет первая ссылка, а затем вторая и наоборот:

Задания в файле Страница 1 Страница 2 Страница 3
Изображение 1 Изображение 1 Изображение 3 Изображение 4
Изображение 2 Изображение 2 Изображение 4 Изображение 3
Изображение 3 или или или
Изображение 4 Изображение 2 Изображение 4 Изображение 5
Изображение 5 Изображение 1 Изображение 3 Изображение6
Изображение 6
Задания в файле Страница 1 Страница 2 Страница 3
Изображение 1 Изображение 1 Изображение 3 Изображение 4
Изображение 2 Изображение 2 Изображение 4 Изображение 3
Изображение 3 или или или
Изображение 4 Изображение 2 Изображение 4 Изображение 5
Изображение 5 Изображение 1 Изображение 3 Изображение6
Изображение 6

Если в пуле установлено перекрытие, следующее задание выдается только после того, как предыдущее задание выполнено нужным количеством исполнителей.

Используйте параметр Сохранять порядок заданий, чтобы:

  • Ускорить сбор статистики для контроля мнением большинства.

  • Выдавать задания в порядке приоритета.

    Поместите самые важные задание в начале файла. Они выполнятся быстрее и с нужным перекрытием.

Дата закрытия пула

Дата закрытия пула. Пул закроется автоматически в указанный срок, даже если задания не были размечены.

Время ожидания закрытия пула в секундах

Интервал, в течении которого пул будет оставаться открытым с момента выполнения всех заданий. Минимум — 0, максимум — 259 200 секунд (трое суток).

Например, вы можете использовать этот параметр, если вам нужен открытый пул, в который периодически загружаете задания.

Приоритет пула внутри проекта Число от 0 до 100. Позволяет ранжировать пул в рамках проекта. Сначала исполнителю будут выданы задания из пула с бóльшим приоритетом.

Как исполнители видят пулы

Исполнители не видят пулы внутри проекта и не могут выбирать конкретные задания (кроме полевых, где можно выбрать точки на карте). Они также не видят настройки пулов, количество заданий и прогресс выполнения.

Если хотя бы один пул из проекта доступен исполнителю, то такой проект появится на главной странице в виде карточки с названием, описанием и ценой за задание. Выбрав проект, исполнитель получает одно задание из пула. Когда он его выполнит, получает следующее и так далее.

Исполнители увидят на главной странице одну карточку проекта, если пулы в нем отличаются только названиями, контролем качества или фильтрами. В последнем случае карточка проекта будет состоять из заданий тех пулов, к которым у исполнителя есть доступ.

Исполнители увидят одну карточку проекта
Например, вы создаете «Пул 1» и «Пул 2» с одинаковыми настройками в проекте «Есть ли на фотографии дорожные знаки?». Если исполнитель имеет доступ к обоим пулам, то он увидит их как одну карточку на главной странице.

Исполнители увидят несколько карточек, если пулы отличаются этими настройками:

  • тип приемки;
  • публичное описание;
  • цена задания.

Это пригодится, если вы хотите объединять задания в пулах по тематикам, длительности аудиозаписей или сложности оценки.

Исполнители увидят несколько карточек проекта
В этом примере исполнителю доступны два пула с разной ценой и публичным описанием, поэтому он видит у себя на странице две карточки с заданиями из этого проекта. Исполнитель сможет выбрать любую из них — например, где цена выше.

Клонирование пула

Чтобы клонировать пул, нажмите кнопку  → Клонировать вверху страницы пула или в списке пулов на странице проекта.

Если необходимо изменить параметры пула, откройте режим редактирования.

Что дальше

Решение проблем

Какое перекрытие лучше установить?

Перекрытие определяет, сколько исполнителей будут выполнять задание в пуле.

Оптимальное перекрытие — это перекрытие, по результатам которого заказчик получает устраивающее его качество ответов. Для большинства заданий без отложенной приемки достаточно перекрытия от «3» до «5». Если у вас простое задание, скорее всего, вам хватит перекрытия «3». Для заданий с отложенной приемкой установите перекрытие «1».

Можно ли изменить перекрытие после запуска пула?

Да. Откройте режим редактирования пула и установите новое значение перекрытия. Перезапускать пул не требуется. Обновление настроек обычно происходит быстро, но если заданий много, то может занять несколько минут.

Как определить время на выполнение задания?
Попробуйте выполнить задания сами, попросите своих друзей и коллег. Найдите среднее время выполнения и добавьте к нему 50%.
Сколько заданий должно быть на странице?

Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

  • Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

    • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

    • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

    Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Сколько последних значений учитывать.

  • Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

    Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Сколько последних значений учитывать в блоках контроля качества в пулах.