Работа с результатами
Агрегация
В способе вычисления. В обоих агрегациях уверенность означает то же самое.
Метод не гарантирует, что для агрегации результата будут использоваться исходные ответы исполнителей. Алгоритм учитывает параметры качества исполнителей и закономерности в ответах. Соответственно, он может выдать результат, которого нет в ответах исполнителей на это задание.
На странице пула есть кнопка К списку операций .
Невозможно агрегировать поля проекта, которые не имеют допустимых значений. Необходимо указывать возможные значения для всех полей всех типов.
Необходимо использовать «умное смешивание» .
Обработка файла с результатами
При загрузке строк в файле двойные кавычки обозначают область, внутри которой можно использовать спецсимволы: табы или переносы строк. Толока заключает все, что находится между кавычками в одну строку и получается одно задание. Чтобы использовать кавычки внутри такой области, нужно их экранировать еще одной кавычкой. Подробнее здесь.
null
, иначе — undefined
.Проверка ответов
- Назначьте им скрытый навык или воспользуйтесь уже имеющимся навыком по пулу.
- Перейдите в Сообщения, нажмите Написать → Группе → Добавить фильтр → Выбрать свой навык → <название навыка>.
- Если вы создали новый навык, то укажите то значение, которое присвоили выбранной группе, например 1. Если вы используете существующий навык, то укажите минимально допустимое значение.
Можно только принять или отклонить это задание.
Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.
Нет, в самом задании ничего исправить нельзя. Но это можно сделать вручную при обработке файла с результатами.
Просто начислите толокеру бонус без изменения статуса задания. Изменить статус задания в пуле в этой ситуации уже невозможно.
Примите задание и скорректируйте инструкцию. Иначе вы нарушаете Соглашение с заказчиком , согласно которому нужно четко прописывать требования к выполнению задания и ожидаемым от пользователя результатам.
Нет. Например, на странице 10 заданий стоимостью 0.1$, а исполнитель сделал только 2 из них неправильно.
Вы не можете принять правильные ответы и заплатить ему часть стоимости - 0.08$. Страницы с ответами принимаются либо отклоняются только целиком.
Возможно, ваши задания показались сложными исполнителям. Попробуйте упростить их.
Сократите инструкцию и перепишите более простым языком, добавьте картинки и примеры.
Сделайте интерфейс более удобным и интуитивно понятным, не заставляйте исполнителя совершать дополнительные ненужные действия, используйте горячие клавиши.
С 15 декабря 2021 года задания в пулах по умолчанию доступны для веб версии Толоки и мобильного приложения. Если ваше задание не подходит для мобильных устройств, возможно вы забыли добавить фильтр Клиент.
Регулярно отвечайте на сообщения исполнителей. Постарайтесь обеспечить максимально быструю обратную связь. Своевременно исправляйте ошибки и уведомляйте исполнителей об изменениях с помощью рассылок.
Статистика
Процент рассчитывается исходя из количества страниц, с учетом перекрытия. Если в пуле используется умное смешивание с контрольными заданиями, то максимальное значение прогресс-бара и текущий процент выполнения будут рассчитаны приблизительно.
«Качество обучения» относится только к обучающим пулам, которые привязываются к основным, а контрольные и обучающие задания, которые залиты в основные пулы, учитываются в показателе «Качество контрольных».
Когда скачиваете файл с результатами, поставьте галочки Время старта и Время отправки. В файле будут точные дата и время, когда исполнитель взял страницу заданий на выполнение и отправил ее в формате UTC.