Работа с результатами

В способе вычисления. В обоих агрегациях уверенность означает то же самое.

Модель агрегации Dawid-Skene анализирует ответы исполнителей и создает матрицу ошибок каждого толокера. Так вычисляется статистическая значимость толокера для каждого ответа. Подробнее о модели.

Метод не гарантирует, что для агрегации результата будут использоваться исходные ответы исполнителей. Алгоритм учитывает параметры качества исполнителей и закономерности в ответах. Соответственно, он может выдать результат, которого нет в ответах исполнителей на это задание.

На странице пула есть кнопка К списку операций.

Невозможно агрегировать поля проекта, которые не имеют допустимых значений. Необходимо указывать возможные значения для всех полей всех типов.

Необходимо использовать «умное смешивание».

Да. Настройте оповещения в аккаунте через Подробнее о настройке оповещений.

При загрузке строк в файле двойные кавычки обозначают область, внутри которой можно использовать спецсимволы: табы или переносы строк. Толока заключает все, что находится между кавычками в одну строку и получается одно задание. Чтобы использовать кавычки внутри такой области, нужно их экранировать еще одной кавычкой. Подробнее здесь.

Если толокер написал и стер информацию, то будет null, иначе — undefined.

Можно только принять или отклонить это задание.

Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.

Нет, в самом задании ничего исправить нельзя. Но это можно сделать вручную при обработке файла с результатами.

Просто начислите толокеру бонус без изменения статуса задания. Изменить статус задания в пуле в этой ситуации уже невозможно.

Примите задание и скорректируйте инструкцию. Иначе вы нарушаете Соглашение с заказчиком, согласно которому нужно четко прописывать требования к выполнению задания и ожидаемым от исполнителя результатам.

Нет. Например, на странице 10 заданий стоимостью 0,1 $, а исполнитель сделал только 2 из них неправильно.

Вы не можете принять правильные ответы и заплатить ему часть стоимости - 0,08 $. Страницы с ответами принимаются либо отклоняются только целиком.

Добавьте уведомление в описание проекта (например: «Внимание! В инструкции произошли изменения») и напишите сообщение всем исполнителям, которые выполняли ваши задания. Для этого:

• Назначьте им скрытый навык или воспользуйтесь уже имеющимся навыком по пулу.

• Перейдите в Сообщения, нажмите Написать → Группе → Добавить фильтр → Выбрать свой навык → <название навыка>.

• Если вы создали новый навык, то укажите то значение, которое присвоили выбранной группе, например 1. Если вы используете существующий навык, то укажите минимально допустимое значение.

Рейтинг проекта — это средняя оценка по всем категориям. Обращайте особое внимание на категории, по которым вы набрали наименьшее количество баллов.

Возможно, ваши задания показались сложными исполнителям. Попробуйте упростить их.

Сократите инструкцию и перепишите более простым языком, добавьте картинки и примеры.

Сделайте интерфейс более удобным и интуитивно понятным, не заставляйте исполнителя совершать дополнительные ненужные действия, используйте горячие клавиши.

С 15 декабря 2021 года задания в пулах по умолчанию доступны для веб-версии Толоки и мобильного приложения. Если ваше задание не подходит для мобильных устройств, возможно вы забыли добавить фильтр Клиент.

Регулярно отвечайте на сообщения исполнителей. Постарайтесь обеспечить максимально быструю обратную связь. Своевременно исправляйте ошибки и уведомляйте исполнителей об изменениях с помощью рассылок. Если вы не понимаете, в чем проблема, запустите мини-опросник и поинтересуйтесь у исполнителей, выполнявших ваши задания, что именно им нравится и не нравится.

Процент рассчитывается исходя из количества страниц, с учетом перекрытия. Если в пуле используется умное смешивание с контрольными заданиями, то максимальное значение прогресс-бара и текущий процент выполнения будут рассчитаны приблизительно.

Они возвращаются в пул, пока не будет набрано полное перекрытие.

«Качество обучения» относится только к обучающим пулам, которые привязываются к основным, а контрольные и обучающие задания, которые залиты в основные пулы, учитываются в показателе «Качество контрольных».

Когда скачиваете файл с результатами, поставьте галочки Время старта и Время отправки. В файле будут точные дата и время, когда исполнитель взял страницу заданий на выполнение и отправил ее в формате UTC.