Динамическое перекрытие
Теория
- насколько хорошо исполнители справляются с заданием;
- насколько согласованы ответы исполнителей.
Сначала задание будет выдано с минимальным перекрытием. Когда исполнители размечают задание, их ответам присваивается уверенность. Если она окажется меньше, чем указано в поле уверенность в агрегированном ответе, механизм будет повышать перекрытие, пока уверенность не достигнет установленного значения, либо пока перекрытие не достигнет максимального.
Перекрытие — минимальное количество исполнителей, которые должны выполнить каждое задание пула.
Максимальное перекрытие — максимальное количество исполнителей, которые должны выполнить каждое задание пула.
Уверенность в агрегированном ответе — процент уверенности, после которого мы перестаем показывать задание исполнителям.
Когда уверенность достигает необходимого уровня, механизм считает ответ на задание верным и перестает собирать ответы других исполнителей.
Навык — определяет уровень доверия к ответам исполнителя.
Выходные поля для агрегации — поля выходных данных, по которым рассчитывается уверенность в ответе.
- — точность исполнителя;
- — константа для сглаживания;
- — наиболее популярный ответ;
- — вероятность того, что оценка правильная.
— уверенность в агрегированном ответе.
Термины
Точность исполнителя считаем как:
Где:
— константа для сглаживания (начиная от 0,5) при недостаточном количестве ответов на контрольные задания.
При наличии нескольких оценок для задания высчитывается наиболее популярный ответ — для каждого варианта ответа суммируем исполнителей, выбравших его. Ответ с большей суммой считаем более правильным. Назовем эту оценку .
По теореме Байеса считаем апостериорную вероятность того, что оценка — правильная.
В качестве априорного распределения оценок будет считать равномерное. Для оценки априорная вероятность —
где:
— количество вариантов ответов.
Далее считаем вероятность того, что, оценка — правильная.
Если исполнитель ответил , то вероятность этого равна точности исполнителя . Если ответил иначе, то вероятность этого равна:
Где:
— оставшаяся вероятность;
— количество оставшихся ответов.
Таким образом рассчитывается то, что вероятности ошибок равномерно распределены по оставшимся оценкам.
Взяв все ответы исполнителей и, например, вариант