Использование экзаменов

Экзамен — пул, в котором содержатся только контрольные задания. Сочетание тренировки, экзамена и основного пула обеспечивает требуемый уровень качества. В зависимости от результатов экзамена назначайте навыки исполнителям.

Когда использовать

  • Если задания сложные и вам нужен дополнительный отбор исполнителей.
  • Если в основном пуле небольшое количество заданий. В этом случае сложно отсеять недобросовестных исполнителей с помощью обычных правил контроля качества.
  • Если вы хотите проверить, как исполнители справляются с заданием после чтения инструкции и прохождения обучения.

Особенности

  • Количество заданий в экзамене должно обязательно быть кратным количеству заданий на странице, иначе исполнители не получат последнюю страницу и не смогут завершить экзамен.
    Пример
    Если экзамен состоял из двух страниц по 10 заданий, и вы увеличили количество заданий на странице до 12, то заданий не хватит на две полные страницы. Исполнители не получат вторую страницу и не смогут завершить экзамен.
  • Устанавливайте одинаковую цену за страницу заданий в экзамене и основном пуле. Если цена не совпадает, то после экзамена исполнители не смогут сразу приступить к основному заданию.

Как настроить

  1. Откройте проект и нажмите Добавить пул.
  2. В блоке Дополнительные настройки выберите тип пула — Экзамен.
  3. В блоке Контроль качества добавьте правило Результаты проверки, чтобы присвоить навык по проценту принятых ответов.
  4. Нажмите Создать пул.
  5. Поставьте в основном пуле фильтр по навыку, чтобы отсеять недобросовестных исполнителей.

Решение проблем

Получить первичную консультацию
Чем экзаменационный пул, который я оплачиваю, отличается от обычного пула?

Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Обычно он делается небольшим и служит для проверки того, как пользователи научились выполнять задание после чтения инструкции и прохождения обучения.

В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой. По результатам ответов на контрольные задания вы можете назначить пользователям навык и далее указать его в основном пуле в качестве фильтра. Например, ≥ 80 или ≠ Отсутствует. Составление экзамена не обязательно, в простых заданиях достаточно тренировки. Но многие заказчики используют также и экзамен.

Как настроить экзамен, чтобы его могли проходить разные люди, а задания в нем не кончались?

При загрузке заданий используйте умное смешивание, тогда экзамен будет с бесконечным перекрытием.

Однако это чревато тем, что вы будете тратить на экзамен много денег. Возможно, его стоит открывать тогда, когда открывается боевой пул, и закрывать, когда разметка боевого пула завершается.

Заявка на обучение краудсорсингу и работе с Толокой