Работа с результатами

Чем отличается уверенность в агрегированном ответе в агрегации по Дэвиду - Скину от уверенности в агрегации по навыку?

В способе вычисления. В обоих агрегациях уверенность означает то же самое.

Как работает агрегация результатов по методу Дэвида — Скина?

Модель агрегации Dawid-Skene анализирует ответы исполнителей и создает матрицу ошибок каждого толокера. Так вычисляется статистическая значимость толокера для каждого ответа. Подробнее о модели.

Почему агрегация по методу Дэвида — Скина выдает ответ, который исполнители не выбирали?

Метод не гарантирует, что для агрегации результата будут использоваться исходные ответы исполнителей. Алгоритм учитывает параметры качества исполнителей и закономерности в ответах. Соответственно, он может выдать результат, которого нет в ответах исполнителей на это задание.

Где можно увидеть ход агрегации?

На странице пула есть кнопка К списку операций .

Почему может быть недоступна агрегация по навыку исполнителя?

Невозможно агрегировать поля проекта, которые не имеют допустимых значений. Необходимо указывать возможные значения для всех полей всех типов.

Агрегация по навыку недоступна. При запуске по API, код ошибки — ONLY_FOR_POOL_WITH_MIXER. Почему?

Необходимо использовать «умное смешивание» .

Можно ли получать уведомления о завершении агрегации результатов?

Да. Настройте оповещения в аккаунте через Профиль → Уведомления → Выполнение пула или агрегации. Подробнее о настройке оповещений.

Другой вопрос

Почему возникают пустые области внутри TSV-файла?

При загрузке строк в файле двойные кавычки обозначают область, внутри которой можно использовать спецсимволы: табы или переносы строк. Толока заключает все, что находится между кавычками в одну строку и получается одно задание. Чтобы использовать кавычки внутри такой области, нужно их экранировать еще одной кавычкой. Подробнее здесь.

Какой результат обработки пустого текстового поля?

Если толокер написал и стер информацию, то будет null, иначе — undefined.

Другой вопрос

Как отправить задание исполнителю на доработку?

Можно только принять или отклонить это задание.

Можно ли отключать задания для исполнителей, которые выполняют его некачественно?

Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.

Могу ли я самостоятельно исправить что-то в выполненном задании?

Нет, в самом задании ничего исправить нельзя. Но это можно сделать вручную при обработке файла с результатами.

Что делать, если я хочу принять задание, а пул уже заархивирован или исполнитель написал мне позже допускаемого срока?

Просто начислите толокеру бонус без изменения статуса задания. Изменить статус задания в пуле в этой ситуации уже невозможно.

Что делать, если я не указал в инструкции того, за что отклонил задание?

Примите задание и скорректируйте инструкцию. Иначе вы нарушаете Соглашение с заказчиком , согласно которому нужно четко прописывать требования к выполнению задания и ожидаемым от пользователя результатам.

Могу ли я отклонить часть ответов на странице, а часть принять?

Нет. Например, на странице 10 заданий стоимостью 0.1$, а исполнитель сделал только 2 из них неправильно.

Вы не можете принять правильные ответы и заплатить ему часть стоимости - 0.08$. Страницы с ответами принимаются либо отклоняются только целиком.

Как уведомить исполнителя об изменениях в инструкции?

Добавьте уведомление в описание проекта (например: «Внимание! В инструкции произошли изменения») и напишите сообщение всем исполнителям, которые выполняли ваши задания. Для этого:

• Назначьте им скрытый навык или воспользуйтесь уже имеющимся навыком по пулу.
• Перейдите в Сообщения, нажмите Написать → Группе → Добавить фильтр → Выбрать свой навык → <название навыка>.
• Если вы создали новый навык, то укажите то значение, которое присвоили выбранной группе, например 1. Если вы используете существующий навык, то укажите минимально допустимое значение.

Как повысить рейтинг проекта?

Рейтинг проекта — это средняя оценка по всем категориям. Обращайте особое внимание на категории, по которым вы набрали наименьшее количество баллов.

Низкая оценка «Выполнили бы ещё такое же»

Возможно, ваши задания показались сложными исполнителям. Попробуйте упростить их.

Низкая оценка «Понятность инструкции»

Сократите инструкцию и перепишите более простым языком, добавьте картинки и примеры.

Низкая оценка «Удобство интерфейса задания»

Сделайте интерфейс более удобным и интуитивно понятным, не заставляйте исполнителя совершать дополнительные ненужные действия, используйте горячие клавиши.

С 15 декабря 2021 года задания в пулах по умолчанию доступны для веб версии Толоки и мобильного приложения. Если ваше задание не подходит для мобильных устройств, возможно вы забыли добавить фильтр Клиент.

Низкая оценка «Общение с заказчиком»

Регулярно отвечайте на сообщения исполнителей. Постарайтесь обеспечить максимально быструю обратную связь. Своевременно исправляйте ошибки и уведомляйте исполнителей об изменениях с помощью рассылок.

Если вы не понимаете, в чем проблема, запустите мини-опросник и поинтересуйтесь у исполнителей, выполнявших ваши задания, что именно им нравится и не нравится.

Другой вопрос

Какова формула расчета процента выполнения пула?

Процент рассчитывается исходя из количества страниц, с учетом перекрытия. Если в пуле используется умное смешивание с контрольными заданиями, то максимальное значение прогресс-бара и текущий процент выполнения будут рассчитаны приблизительно.

Что происходит с заданиями имеющими статус expired или skipped?

Они возвращаются в пул, пока не будет набрано полное перекрытие.

Как считается статистика «Качество обучения» и «Качество контрольных» на проекте. Учитываются ли в них обучающие задания, загруженные в основной пул?

«Качество обучения» относится только к обучающим пулам, которые привязываются к основным, а контрольные и обучающие задания, которые залиты в основные пулы, учитываются в показателе «Качество контрольных».

Есть ли возможность получить от пользователя вместе с результатами выполнения задания точное время начала и конца выполнения?

Когда скачиваете файл с результатами, поставьте галочки Время старта и Время отправки. В файле будут точные дата и время, когда исполнитель взял страницу заданий на выполнение и отправил ее в формате UTC.

Другой вопрос