Документация Толоки

Обзор

Описание

Агрегируйте принятые ответы для заданий с перекрытием в пуле 2 и больше, чтобы получить итоговый ответ со степенью его достоверности.

  • Перекрытие — количество исполнителей, которые выполняют одно и то же задание (перекрытие используется для обеспечения достоверности результата).

  • Пул — страницы заданий, которые объединены общими свойствами (например, настройки отбора исполнителей, плата за страницу заданий) и отправляются на выполнение единовременно.

Вы можете агрегировать ответы двумя способами:

  • да — агрегируйте по навыку (WEIGHTED_DYNAMIC_OVERLAP);

  • нет — агрегируйте методом Дэвида — Скина (DAWID_SKENE).

    Агрегация Дэвида — Скина работает с контрольными и обучающими заданиями так же, как и с основными. Существует вероятность того, что заданные для контрольных заданий ответы не совпадут с реальными ответами на это задание, если исполнители будут часто давать на него неверный ответ.

    Агрегация Дэвида — Скина автоматически оценивает для каждого исполнителя |L|² параметров, где L — множество возможных различных значений для агрегации. Обратите внимание, что эти параметры создаются автоматически и участвуют только в расчетах.

    Поскольку этот метод оценивает для каждого исполнителя |L|² параметров, мы не рекомендуем использовать агрегацию Дэвида — Скина в тех случаях, когда исполнитель размечает количество заданий < |L|². В противном случае вы можете получить низкое качество агрегации.

    Агрегация через интерфейс и через API работает по-разному. При агрегации Дэвида — Скина через API нельзя агрегировать больше одного поля. Это можно сделать только через интерфейс.

    • Контрольные задания — задания с правильными ответами. Используются для контроля качества ответов.

    • Обучающие задания — задания для обучения исполнителей.

Методы

Метод

Эндпоинт

Описание

POST

/aggregated-solutions/aggregate-by-pool

Запускает агрегацию ответов на все выполненные задания в пуле.

POST

/aggregated-solutions/aggregate-by-task

Запускает агрегацию ответов на одно задание.

GET

/aggregated-solutions/<operation_id>

Получает агрегированные ответы.