Настройка пула

  1. Фильтры
  2. Контроль качества
  3. Перекрытие
Совет. Если вы ищете ответ на конкретный вопрос, используйте комбинацию клавиш Ctrl + F для поиска по странице (в macOS — Cmd + F).

Фильтры

Есть ли возможность отбирать исполнителей по конкретному городу проживания, а не только использовать«Регион по IP»?

Да, можно. В фильтрах выберите Профиль → Город. Обратите внимание, что данные профиля вводит сам пользователь при регистрации в Толоке. Рекомендуем использовать фильтры Регион по номеру телефона и Регион по IP.

Можно ли использовать навык не только в пуле или в одном проекте, но и в разных проектах?

Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.

Я хочу, чтобы навык подсчитывался по нескольким проектам. Это возможно? Если да, то я могу использовать «Агрегацию результатов по навыку»?

Если речь идет о нескольких проектах, то так сделать не получится.

Вы можете перенести все в один проект и в блоках контроля качества использовать параметр Помнить значения. Примеры вы можете посмотреть в статье Контрольные задания.

Использовать Агрегацию результатов по навыку можно, но вам придется перечислить все возможные значения, что, вероятно, будет не очень удобно делать. Возможно, подойдет другой способ агрегации.

Я создал проект и пул, но не нажимается кнопка Далее или в предпросмотре белый экран.
Так Яндекс.Толока подает сигнал, что с проектом что-то не в порядке. Белый экран часто появляется при ошибках в интерфейсе задания, в том числе JavaScript-коде. Кнопка Далее может не реагировать, если в выходной спецификации не хватает какого-то поля, если в ней указаны недопустимые значения или, например, если у вас в JavaScript настроена валидация по несуществующему полю.
Есть ли какие-нибудь простые способы присвоить определенному пользователю Толоки навык, как это делается в песочнице, даже если тот не делал ни одно задание?

Назначить навык в основной версии Толоки можно только для пользователей, которые выполнили хотя бы одно ваше задание. Любому пользователю назначить навык возможности нет. Чтобы ограничить поток пользователей, которые увидят ваш проект, можно воспользоваться фильтрами. Например, указать город, дату рождения, пол или какие-то другие параметры, которые есть у нужных вам исполнителей.

Можно ли как-то ограничить количество пользователей, которые одновременно берутся выполнять задание из пула?

Задания из открытого пула доступны всем пользователям, которые подходят под фильтры в пуле. Вы можете ограничивать доступ, например по навыку.

Исполнители прошли обучение по первому пулу и получили навык. Спустя неделю мы склонировали пул, однако у всех пользователей навык пропал. Какой параметр влияет на истечение срока навыка? Им всем придется перепройти обучение?
За количество дней, в течение которых сохраняется тренировочный навык, отвечает параметр Повторное прохождение. Навык будет удален через количество дней, указанное в поле Повторное прохождение, если исполнитель:
  • получил значение навыка ниже значения в поле Уровень прохождения;
  • не выполнил ни одного задания, к которому привязано обучение, в течение этого срока.

Вашим пользователям будет нужно пройти обучение заново.

Почему мой проект не доступен в мобильной версии Толоки?

Чтобы задание было доступно в мобильном приложении, поставьте в пуле фильтр: клиент = мобильная Толока.

Можно ли добавить в исполнители произвольного пользователя, если у него не хватает рейтинга?

Если пользователь не проходит по фильтру или по рейтингу, увидеть задание у него не получится. Можно только убрать такой блокирующий фильтр из пула. Протестировать задание можно в Песочнице, добавив нужного пользователя в список доверенных.

Можно ли настроить показ задания пользователям по демографическим и гео-параметрам? Например, «только Москва, 30-45 лет».

Можно, чтобы отобрать исполнителей для пула используйте фильтры.

Как сделать так, чтобы задание было доступно не только с компьютера, но и с мобильных устройств?
Чтобы задание было доступно также в мобильном приложении, поставьте в пуле фильтр:
Клиент = веб-версия
или
       = мобильная Толока
Скопировано
Можно ли выбрать для выполнения заданий конкретных исполнителей, которые понравились по предыдущим пулам?

Вы можете назначить им навык по результатам выполнения заданий в предыдущих пулах. Этот навык укажите в качестве фильтра в новом пуле.

Как поставить фильтр так, чтобы пул был доступен пользователям, у которых нет определенного навыка (например, «спамер»)?

Укажите этот навык в качестве фильтра и в качестве значения установите пустое поле (это равносильно тому, что навык отсутствует).

Как я могу поднять пользователю значение навыка, если навык у него уже есть?

Если у пользователя уже есть навык, то добавить ему этот же навык из интерфейса проверки задания нельзя. Можно зайти в профиль пользователя и отредактировать значение навыка.

Видят ли пользователи Толоки, что им назначен навык?

Если навык публичный или обучающий, то видят — им приходит сообщение об этом.

Можно ли в интерфейсе задания показать навык?

Такой возможности нет. Если навык публичный, то исполнитель видит его в своем профиле.

Почему в информации о пользователе нет данных о поле исполнителей, хотя в настройках пула можно отфильтровать людей по этому признаку?

Заказчику не доступна полная информация о каждом конкретном исполнителе. Например, заказчик не видит дату рождения, пол, фамилию и имя. При этом фильтры по дате рождения и полу в настройках пула ему доступны, поскольку они позволяют отобрать группу исполнителей, не получая информации о каждом в отдельности. Это уменьшает риск деанонимизации пользователей.

Как можно автоматизировать присвоение навыков в зависимости от ответов пользователей на вопросы анкеты?
Это можно сделать с помощью правила Контрольные задания .
  1. Загрузите файл с заданиями при помощи Умного смешивания.
  2. Укажите student в качестве правильного ответа на вопрос. Остальные вопросы не учитывайте (оставьте поля пустыми или не ставьте галочку).
  3. Добавьте в пул правило Контрольные задания : если процент правильных контрольных ответов = 100, то установить значение навыка Студент = 1.
Смотреть скриншот

Другой вопрос

Контроль качества

Как правильно настроить контроль качества в пуле?

Настройка блоков контроля качества зависит от типа заданий. Ниже приводятся общие рекомендации:

  • Обязательно используйте один или несколько способов контроля качества.

  • Подсчет быстрых ответов имеет смысл для большинства заданий.

  • Если в задании нужно выбрать вариант ответа (например, в флажка), его лучше проверить с помощью мнения большинства или контрольных заданий.

  • Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.

  • Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. Составьте контрольные задания с искусственно созданными примерами, где выбор более очевиден.

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в пул. Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания . Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Как засчитываются правильные ответы на контрольные вопросы?

Правило контрольных заданий начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Сколько последних значений учитывать. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

  • Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

    • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

    • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

    Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Сколько последних значений учитывать.

  • Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

    Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Сколько последних значений учитывать в блоках контроля качества в пулах.

Можно ли сделать так, чтобы обучающие или контрольные задания были бы совсем другого рода, нежели основные задания?

Обучающие и контрольные задания будут иметь спецификацию проекта. Но вы можете сделать отдельный проект и разместить в нем необходимые задания, а потом по ответам из них назначить навык, по которому вы будете допускать исполнителей к основному проекту.

Экзамен — это простой пул, который я оплачиваю? Чем он отличается об обычного пула?

Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Он обычно делается небольшим и служит для проверки того, как пользователи научились выполнять задание после чтения инструкции и прохождения обучения. В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой.

По результатам ответов на контрольные задания вы можете назначить пользователям навык и далее указать его в основном пуле в качестве фильтра. Например, МойНавык = 80 или = отсутствует. Составление экзамена не обязательно — в простых заданиях достаточно тренировки, но многие заказчики используют также и экзамен.

В быстрых ответах время указывается за одну страницу заданий?

Да, в настройках быстрых ответов указывается время за выполнение 1 страницы с заданиями.

Настраивал контроль качества, затем скопировал требования к пользователям, и все мои настройки контроля качества удалились, а вместо них появились скопированные. Так и должно быть?

Действительно, при копировании настроек фильтров и контроля качества уже добавленные вручную настройки заменяются. Мы предупреждаем об этом в окне копирования настроек.

Я настроил правило отправления в бан при первой же неправильно введенной капче, чтобы максимально исключить ботов. Такое правило не слишком строгое? Как бывает на практике?

Действительно, такое правило выглядит слишком строго. Даже самый внимательный пользователь может ошибиться — правило лучше сделать менее строгим. Помимо блокировки у отдельных заказчиков, у нас есть системные процессы, которые блокируют в Толоке пользователей, которые систематически проваливают проверку капчей.

В пуле установлено перекрытие и настроено мнение большинства, и какой-то нехороший исполнитель открывает страницу с заданиями, ничего не делает и отправляет их. Может ли он получить еще задания из пула до того, как у этих же заданий будут известные результаты от других исполнителей,и быстро скликать много страниц заданий, пока неизвестно мнение большинства, которое приведет его к блокировке?

К сожалению, да, может. Поэтому мы рекомендуем перед боевым заданием делать обучение или экзамен, чтобы до боевого пула добирались только те, кто хорошо прошел предыдущий этап отбора.

Как настроить экзамен, чтобы его могли проходить разные люди, а задания в нем не кончались?

При загрузке заданий используйте умное смешивание, тогда экзамен будет с бесконечным перекрытием.

Однако это чревато тем, что вы будете тратить на экзамен много денег. Возможно, его стоит открывать тогда, когда открывается боевой пул, и закрывать, когда разметка боевого пула завершается.

Как можно протестировать пользователей, чтобы определить, какие задачи они выполняют лучше, и на основе этого выдавать им подходящие задачи? Не хотелось бы, чтобы тестирование как-то негативно влияло на рейтинг.

Вы можете добавить обучающий пул, чтобы протестировать исполнителей. По результатам прохождения тестирования выдавайте навыки исполнителям в соответствии с тем, что они хорошо выполняют.

Затем откройте пулы только для пользователей, имеющих определенный навык — для этого используйте фильтры.

Рейтинг исполнителей не ухудшится: даже если вы будете устанавливать блокировку пользователей на проекте по результатам тестирования, это не повлияет на рейтинг толокера.

Если мы загружаем задания через Умное смешивание, то в одном файле должны быть и контрольные, и обычные задания, или мы можем загрузить их отдельно?

Умное смешивание задается при загрузке заданий в пул. После создания пула нажмите Загрузить и выбираете соответствующий способ формирования страниц с заданиями. При этом вы можете загрузить их отдельными файлами, либо одним файлом, расположив в любом порядке.

Если недобросовестный исполнитель дает много неправильных ответов, а спустя время система его блокирует за ошибки в контрольных заданиях, деньги за уже данные ответы все равно снимаются?

Если пользователю уже начислены деньги за задания, то обратно их не вернуть.

Частоту выдачи капчи работникам можно как-то регулировать? Некоторых работников это несколько демотивирует.
Частота показа капчи настраивается в пуле.
Нет
Не показывать капчу.
Низкая
Показывать капчу каждые 20 страниц заданий.
Средняя / Высокая
Показывать капчу каждые 10 страниц заданий.
Может ли один работник попасть в два пула одного проекта? Можно ли этого избежать?

Да, может, если оба пула ему доступны. Чтобы ограничить доступ исполнителя к следующим заданиям, используйте правило Выполненные задания — выберите блокировку на проекте.

Если мы блокируем исполнителя за то, что он выполняет задания слишком быстро, удалятся ли все его ответы, и будут ли они отданы на разметку другим исполнителям?

Нет, ответы такого исполнителя автоматически не исключаются из итогового файла.

Но вы можете это сделать самостоятельно. Для этого при скачивании результатов выберите опцию Не учитывать ответы заблокированных пользователей — из результатов удалятся ответы заблокированных в момент выгрузки исполнителей. Также вы можете отправить все ответы заблокированных пользователей на повторное выполнение другим толокерам — для этого используйте Повторное выполнение заданий после блокировки исполнителя.

Можно ли сделать 2 активных обучающих пула: один будет для тренировки, а по прохождению второго уже будет определяться доступ к рабочему пулу? То есть, условно говоря, один пул учит, другой пул экзаменует.

Да, можно. В этом случае первый пул сделайте на базе обучающего. А второй — экзамен — на базе основного пула. Если в нем будут только контрольные и/или обучающие задания, такой пул может иметь нулевую стоимость.

В экзаменационном пуле можно назначить навык, который будет определять результат сдачи экзамена и служить допуском в основной пул. Например: если количество ответов ≥ 10, то установить навык из поля <экзаменационный навык> % правильных ответов. В требованиях к пользователям экзаменационного пула укажите: <экзаменационный навык> < 80 или = отсутствует>. Установите в основном пуле фильтр: <экзаменационный навык> >= 80 и (<основной навык> >= 70 или = отсутствует). Значения навыка вы сможете подобрать в зависимости от того, насколько хорошо пользователи справляются с вашим заданием.

Есть ли какое-то подробное описание, как лучше использовать капчу: для какого типа проектов ее лучше использовать и насколько интенсивно?

Капча используется обычно в простых проектах с автоприемкой: классификация, категоризация, поиск информации; то есть там, где мало вариантов ответов, не нужно загружать файлы или писать тексты. Она позволяет отсеивать ботов и исполнителей, которые размечают очень небрежно.

Частота показа капчи настраивается в пуле.
Нет
Не показывать капчу.
Низкая
Показывать капчу каждые 20 страниц заданий.
Средняя / Высокая
Показывать капчу каждые 10 страниц заданий.
В справке есть понятия для капчи: «Доля правильных ответов» и «Доля неправильных ответов» — они определяются из контрольной выборки?

Процент правильных ответов определяется исходя из общего количества обработанных исполнителем капч в пределах «окна», указанного в поле Сколько последних значений учитывать. Если значение в поле не указано, то в расчет попадают все капчи, которые появляются при выполнении заданий пула, использующего данное правило.

В задании нужно заполнить форму из нескольких полей. В случае перекрытия и настройки контроля качества «Мнение большинства» учитывается каждое поле или если в одном из полей значение указано неверно по мнению большинства, то задание считается неправильно выполненным?

Считаются все ответы в задании. Если на какой-то вопрос ответ отличается, результат всего задания засчитывается как несовпадающий с ответами других исполнителей.

Правильно ли я понимаю, что если настроить установку значения навыка = 1, когда процент принятых ответов >= 75 и учитываются 10 последних значений, то пользователю на каждые 8 правильно выполненных заданий из 10 будет прибавляться 1 очко навыка?

Нет, при такой настройке каждый раз, когда будет выполняться условие правила, исполнителю будет устанавливаться навык = 1. Чтобы изменять значения по мере проверки заданий, понадобится «ступенчатое» правило (несколько одинаковых правил) с разным значением параметра Количество проверенных ответов.

Я создал обучение, в котором одно задание с подсказкой. Пользователю не удается выполнить задание с первой попытки, но в итоге он его выполняет. Он получает навык 0. Как мне сделать так, чтобы он был допущен к заданиям? Минимальный уровень прохождения, который можно установить, равен 10.

Технически с одним заданием в обучении — никак. Навык будет или 0, или 100. Рекомендуем добавить несколько задний, хотя бы 2: на первом исполнитель потренируется, а второе сможет уже выполнить верно. Тогда можно начать допускать к основному пулу со значением навыка 50.

Также вы можете создать обучающий пул на основе обычного. Назначайте навык правилом Контрольные задания — тогда к основному пулу вы можете допустить пользователей с любым уровнем навыка, даже нулевым. Но мы бы не советовали допускать к разметке тех, кто не справился с обучением.

В обучающем пуле возможна отложенная приемка?

Нет. Но вы можете создать пул на базе основного с типом Тренировка с обучающими заданиями и в нем выставить отложенную приемку.

Толокеры видят, что какой-то вопрос является контрольным?

Нет, не видят.

У меня есть два варианта текста, который мне надо показывать респондентам: половине один вариант, половине другой (типа A/B-тестирования). Это возможно сделать в Толоке или надо создавать два отдельных проекта?

Если вы передаете тексты во входные данные, то достаточно загрузить в пул 2 разных задания: в одном из них в поле INPUT:<имя входного поля> вы передадите текст № 1, в другом — текст № 2. А если текст в самом шаблоне задания в блоке HTML, то да, нужно клонировать проект. Чтобы исполнитель мог сделать только одно задание в вашем проекте, используйте правило Выполненные задания . Можно назначить навык или заблокировать исполнителя после того, как он отправит один ответ.

Если я блокирую пользователей на проекте, чтобы каждый мог выполнить максимум одно задание, то сообщают ли пользователям о блокировке?

Нет, пользователи не знают о блокировке.

Так и задумано, что при экспорте проекта из Песочницы файлы с заданиями не переносятся? Я неожиданно потерял разметку контрольных заданий, которые сделал в песочнице.

Сами задания не переносятся, только конфигурация проекта и настройки выбранного пула. Но вы можете скачать размеченные задания из пула в Песочнице и загрузить их в созданный пул. Чтобы скачать только контрольные задания (если вы размечали их в интерфейсе), зайдите в Разметчик, затем во вкладку Контрольные задания и нажмите Скачать.

Я хочу сделать экзамен размером в три задания. Если человек выполняет два из трех правильно, то получает навык. Для этого в поле «Сколько последних значений учитывать» я хочу поставить 3, но система ругается, что значение слишком маленькое. Можно ли это побороть, не увеличивая количества заданий до пяти?

В поле Сколько последних значений учитывать указывается количество последних ответов исполнителя. Если у вас задание с отложенной приемкой, то, чтобы настроить правило по вашей логике, необходимо указать 3 в параметре Количество проверенных ответов.

В каком формате нужно подавать результаты обработки, чтобы отфильтровать лишних пользователей по «Мнению большинства»?

Чтобы выполнять действия с пользователями (назначение навыка, блокировка), основываясь на мнении большинства, нужно добавить в пул соответствующее правило.

Не забудьте включить опцию Сохранять порядок заданий в параметрах пула. Мнение большинства применяется на проектах с заданными значениями (с радиобаттонами или чекбоксами). Для полей со свободным вводом или файлов это правило работать не будет.

Я хочу сделать тренировку и экзамен, где бы проверялось равенство вводимого текста с эталоном, но они не всегда правильно сравниваются. Как это можно реализовать?

Чтобы ответ на контрольное или обучающее задание был засчитан как верный, он должен полностью совпасть с эталоном. Для этого текст нужно нормализовать с помощью JavaScript: удалить пробелы, знаки препинания, специальные символы и заглавные буквы, а результат записать в отдельное выходное поле. Такой обработанный ответ можно уже сравнивать с контрольным.

Другой вариант отбора исполнителей для проекта такого типа - отложенная приемка.

В разделе условий на контрольные вопросы Количество контрольных ответов - это количество ответов на контрольные вопросы (даже если отвечено неверно) или количество верных ответов на контрольные вопросы?

Это количество любых ответов на контрольные вопросы.

Как прямо в процессе выполнения заданий разделять исполнителей на тех, кто справляется хорошо, и тех, кто справляется плохо, и остановить работу плохих исполнителей, не влияя на их рейтинг?

Вы можете создать пул заданий для всех исполнителей и выделить в нем навыки, присвоенные исполнителям. Тогда вы сможете открывать задания только для тех исполнителей, которые имеют нужные навыки. Это не должно повлиять на их рейтинг.

Даже если вы остановите работу исполнителя, наложив запрет на проект, это также не отразится на его рейтинге.

Почему упала скорость выполнения пула?
Возможные причины:
  • Вы остановили обучающий пул, и тем самым ограничили количество исполнителей имеющих доступ к заданиям. Запустите обучающий пул снова. Исполнителей, которым доступны задания, станет больше.

  • Установлены слишком жесткие фильтры, например строгое ограничение по навыку, которого нет у большинства пользователей.
  • Слишком много пользователей заблокированы. Сделайте правила контроля качества мягче.
Как ускорить выполнение заданий пула?

Другой вопрос

Перекрытие

Какое перекрытие лучше установить?

Перекрытие определяет, сколько исполнителей будут выполнять задание в пуле.

Оптимальное перекрытие — это перекрытие, по результатам которого заказчик получает устраивающее его качество ответов. Для большинства заданий без отложенной приемки достаточно перекрытия от «3» до «5». Если у вас простое задание, скорее всего, вам хватит перекрытия «3». Для заданий с отложенной приемкой установите перекрытие «1».

Можно ли изменить перекрытие после запуска пула?

Да. Откройте режим редактирования пула и установите новое значение перекрытия. Перезапускать пул не требуется. Обновление настроек обычно происходит быстро, но если заданий много, то может занять несколько минут.

Может ли быть такое, что при динамическом перекрытии пул закрывается раньше времени, когда закончились задания для минимального перекрытия? Перекрытие увеличилось, а пул закрылся, и надо его запускать вручную.

Да, такое может произойти. Необходимо установить достаточный интервал закрытия пула.

Как будет работает подсчет, если в пуле я поставлю перекрытие = 3, а во мнении большинства — порог ответов = 3?

В этом случае, если у вас не наберется 3 одинаковых ответа для задания (порог ответов), то ни один из пользователей не будет считаться ни плохим, ни хорошим, потому что система не будет знать, кто из этих пользователей ошибся.

А если вы установите порог ответов = 2 при перекрытии = 3, то два пользователя, у которых совпали ответы, будут считаться хорошими, а третий пользователь, ответ которого отличается, будет плохим.

Можно ли сделать так: установить базовое перекрытие в 2 человека, и если оба исполнителя выбрали один ответ, то закрыть пул, а если разные, то показать задание еще одному?

Да, можно. Настройте динамическое перекрытие (incremental relabeling, IRL).

Есть ли функция функция Cross-check для заданий?

Чтобы одно и то же задание выполнило несколько разных исполнителей, используется перекрытие. Его значение устанавливается в настройках пула.

Почему в прогресс-баре максимум выполненных заданий меньше, чем общее загруженное количество?

В прогресс-баре указано количество страниц заданий с учетом перекрытия. Если перекрытие больше единицы, то количество страниц заданий будет отличаться от общего количества заданий.

Другой вопрос