Работа с результатами

Оцените итоги разметки, чтобы лучше настроить следующий проект.

Подписаться на новости Толоки

Статистика и способы агрегации

Чтобы эффективнее использовать возможности краудсорсинга, проанализируйте результаты — обратите внимание на затраченное время, бюджет и качество. Изучите статистику проекта и пула и сделайте выводы, как лучше настроить ваш следующий проект.

Обработка результатов

Есть два способа агрегировать результаты:

1. По методу Дэвида — Скина :
Толока рассчитывает статистическую значимость каждого ответа — в процентах оценивает, насколько этот ответ достоверен. Способ хорошо работает, если задания выдавались с перекрытием больше 1 и предполагали ограниченный набор возможных ответов.
2. По навыкам:
Толока агрегирует результаты в зависимости от уровня доверия к исполнителям. Этот способ хорошо работает: в пулах с динамическим перекрытием, а также в пулах, где вы настроили навык для оценки качества ответов, а выходные поля имеют ограниченный набор допустимых значений.

Существуют и другие методы агрегации результатов. Подробнее об их применении, читайте в методах агрегации.