Документация Толоки

Обработка отклоненных и принятых заданий

Описание

С помощью этого правила вы сможете:

  • Отправлять отклоненные страницы заданий на повторное выполнение другим исполнителям.

    Если вы отклонили страницу заданий, вы можете захотеть, чтобы ее выполнил другой исполнитель вместо того, чей ответ вы отклонили. Для этого вы можете увеличить

    Количество исполнителей, которые выполняют одно и то же задание (перекрытие используется для обеспечения достоверности результата).

    только для этой страницы. Это особенно полезно, когда у вас стоит перекрытие равное единице.

  • Сэкономить на повторном выполнении уже принятых страниц заданий.

    Если вы проверили и приняли страницу заданий, то возможно нет смысла, чтобы ее выполняли и другие исполнители. Для этого вы можете уменьшать перекрытие только для принятых страниц.

Тело запроса

Отправлять на повторное выполнение страницы заданий, которые не прошли отложенную приемку

{
  "configs": [{
    "collector_config": {
      "type": "ASSIGNMENTS_ASSESSMENT"
    },
    "rules": [{
      "conditions": [{
          "key": "rejected_assignments_count",
          "operator": "GTE",
          "value": "1"
        },
        {
          "key": "assessment_event",
          "operator": "EQ",
          "value": "REJECT"
        }
      ],
      "action": {
        "type": "CHANGE_OVERLAP",
        "parameters": {
          "delta": 1,
          "open_pool": true,
        }
      }
    }]
  }]
}

Параметр

Описание

configs[]

array of objects | обязательный

Массив настроек контроля качества.

configs.collector_config

object | обязательный

Параметры для сбора статистики (например, количество пропусков заданий в пуле).

configs.collector_config.type

string | обязательный

Критерий, на котором основан блок качества:

  • GOLDEN_SET — количество правильных и неправильных ответов в контрольных заданиях.
  • MAJORITY_VOTE — доля ответов, которые совпали с мнением большинства.
  • CAPTCHA — количество успешно и неуспешно введенных капч.
  • INCOME — плата за задания, выполненные исполнителем за последние 24 часа.
  • SKIPPED_IN_ROW_ASSIGNMENTS — количество пропущенных подряд страниц заданий.
  • ANSWER_COUNT — количество страниц заданий, выполненных исполнителем в пуле.
  • ASSIGNMENT_SUBMIT_TIME — количество «быстрых» ответов (минимальная скорость ответа задается в параметрах).
  • ACCEPTANCE_RATE — доля ответов исполнителя, которые были отклонены при отложенной приемке заданий.
  • ASSIGNMENTS_ASSESSMENT — количество принятых или отклоненных заданий при включенной отложенной приемке заданий.
  • USERS_ASSESSMENT — значение навыка исполнителя и его блокировка.

configs.collector_config. parameters.history_size

integer | обязательный

Максимальное количество последних ответов исполнителя в рамках проекта, которое нужно учитывать при подсчете доли правильных ответов.

Если поле отсутствует, в расчете учитываются все ответы исполнителя в рамках пула.

configs.rules.conditions

object | обязательный

Условия (например, пропуск 10 страниц заданий подряд). Несколько условий объединяются с помощью оператора «или».

configs.rules.conditions.key

string | обязательный

Значения, которые проверяются в условии:

  • pending_assignments_count — количество страниц заданий, которые выполнены и ожидают проверки;
  • accepted_assignments_count — количество страниц заданий, принятых в результате отложенной приемки;
  • rejected_assignments_count — количество страниц заданий, отклоненных в результате отложенной приемки.

configs.rules.conditions. operator

string | обязательный

Оператор сравнения (данные key сравниваются с пороговым значением из value):

  • EQ («Equal») — равно.
  • NE («Not equal to») — не равно.
  • GT («Greater than») — больше чем.
  • LT («Less than») — меньше чем.
  • GTE («Greater than equal to») — больше или равно.
  • LTE («Less than equal to») — меньше или равно.

configs.rules.conditions. value

string | обязательный

Количество страниц заданий в определенном статусе.

configs.rules.action

object | обязательный

Действие в случае выполнения условий (например, закрыть доступ к проекту).

configs.rules.action.type

string | обязательный

CHANGE_OVERLAP — изменить перекрытие. Например, чтобы повторно отправить страницу заданий на выполнение другим исполнителям или отменить повторное выполнение уже принятых страниц.

configs.rules.action. parameters

object | обязательный

Параметры действия.

configs.rules.action. parameters.scope

string | обязательный

Уровень ограничения:

  • POOL — пул. Не влияет на рейтинг исполнителя.
  • PROJECT — проект. Влияет на рейтинг исполнителя.
  • ALL_PROJECTS — все проекты заказчика.

configs.collector_config. parameters

object | обязательный при условии

Обязательный, если configs.collector_config.type=``GOLDEN_SET, MAJORITY_VOTE, CAPTCHA, ASSIGNMENT_SUBMIT_TIME.

Параметры для сбора данных (зависят от блока контроля качества, указанного в ключе type).

configs.rules.action. parameters.skill_id

string | обязательный при условии Обязателен, если type=SET_SKILL_FROM_OUTPUT_FIELD.

Идентификатор навыка, который необходимо обновлять по мере выполнения заданий.

configs.rules.action. parameters.from_field

string | обязательный при условии

Обязателен, если type=SET_SKILL_FROM_OUTPUT_FIELD.

Значение, которое нужно присвоить навыку:

  • correct_answers_rate — доля правильных ответов;
  • wrong_answers_rate — доля неправильных ответов.

configs.rules.action. parameters.skill_value

integer | обязательный при условии

Обязателен, если type=SET_SKILL_FROM_OUTPUT_FIELD.

Фиксированное значение, которое нужно присвоить навыку (число от 0 до 100).

configs.rules.action. parameters.delta

integer | обязательный при условии

Обязателен, если type=CHANGE_OVERLAP.

Значение определяет, на сколько изменить перекрытие.

configs.rules.action. parameters.public_comment

string | обязательный при условии

Обязателен, если type=REJECT_ALL_ASSIGNMENTS.

Комментарий (причина отклонения ответов). Доступен заказчику и исполнителю.

configs.rules.conditions.key

string

Изменение статуса приемки страницы заданий.

configs.rules.conditions. value

string

Может принимать значения ACCEPT, ACCEPT_AFTER_REJECT или REJECT (страницы заданий становятся принятыми, принятыми после отклонения или отклоненными соответственно).

configs.rules.action. parameters.duration_unit

string

Единица измерения длительности блокировки:

  • MINUTES — минуты;
  • HOURS — часы;
  • DAYS — дни;
  • PERMANENT — навсегда.

configs.rules.action. parameters.duration

integer

Длительность блокировки.

configs.rules. action.parameters. private_comment

string

Комментарий (причина блокировки). Доступен только заказчику.

configs.rules.action. parameters.open_pool

boolean

Определяет, нужно ли открыть закрытый пул:

  • true — открыть пул после изменения, если он закрыт.
  • false — не открывать пул после изменения, если он закрыт.