Получение результатов

Чтобы получить TSV-файл с ответами всех исполнителей, нажмите кнопку Скачать результаты на странице пула.

Поля в TSV-файле с ответами

• INPUT:<название поля входных данных> — входные данные заданий.

• OUTPUT:<название поля выходных данных> — ответы исполнителей. Для обучающих заданий приводятся ответы, которые были даны при первой попытке выполнить задание.

• GOLDEN:<название поля выходных данных> — ответы для контрольных заданий.

• HINT:text — подсказки для обучающих заданий.

• Информация о выполнении задания (дублируется для всех заданий на странице):

  • ASSIGNMENT:link — ссылка на просмотр страницы заданий.

  • ASSIGNMENT:assignment_id — идентификатор выданной страницы заданий.

  • ASSIGNMENT:worker_id — идентификатор исполнителя, который выполнил задание.

  • ASSIGNMENT:started — дата и время выдачи страницы задания.

  • ASSIGNMENT:status — статус задания: SUBMITTED — выполнено, APPROVED — принято, REJECTED — отклонено.

Пример TSV-файла

Если в заданиях требовалось отправить файл, TSV-файл с ответами будет содержать идентификаторы файлов, полученных от исполнителей. Чтобы скачать файлы на свой компьютер, нажмите кнопку Скачать результаты → Скачать вложения на странице пула.

В пуле можно скачать все файлы одним архивом не больше 4 ГБ. Если архив слишком большой и превышает 4 ГБ, то используйте следующие рекомендации:

• Выберите только один статус или укажите меньший период.

  Например, если нужно проверить задания, то не скачивайте принятые и отклоненные, а скачайте только непроверенные.

  Если файл все равно превышает допустимый размер, уменьшите период и скачайте архивы несколькими партиями. Период можно уменьшить до 1 дня.

• На странице пула нажмите кнопку Проверить задания (или Просмотреть задания, если задания уже приняты), чтобы перейти на страницу с ответами исполнителей. Каждая строка содержит ответ исполнителя на одну страницу заданий.

  Выделите нужные ответы и нажмите Действия → Скачать вложения. Скачайте архивы несколькими партиями. За один раз можно выделить и скачать не более 100 ответов.

  
• Используйте API Толоки для скачивания файлов с ответами.

Можно ли попросить исполнителя переделать задание, если он допустил в нем ошибки?

Нет, после отправки задания исполнитель уже не может внести в него изменения. Неверно выполненные задания можно добавить в новый пул.

Могу ли я самостоятельно исправить что-то в выполненном задании?

Нет, в самом задании ничего исправить нельзя. Но это можно сделать вручную при обработке файла с результатами.

Как отправить задание исполнителю на доработку?

Можно только принять или отклонить это задание.

Можно ли отключать задания для исполнителей, которые выполняют его некачественно?

Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.

Что делать, если я хочу принять задание, а пул уже заархивирован или исполнитель написал мне позже допускаемого срока?

Просто начислите толокеру бонус без изменения статуса задания. Изменить статус задания в пуле в этой ситуации уже невозможно.

Что делать, если я не указал в инструкции того, за что отклонил задание?

Примите задание и скорректируйте инструкцию. Иначе вы нарушаете Соглашение с заказчиком , согласно которому нужно четко прописывать требования к выполнению задания и ожидаемым от пользователя результатам.

Могу ли я отклонить часть ответов на странице, а часть принять?

Нет. Например, на странице 10 заданий стоимостью 0.1$, а исполнитель сделал только 2 из них неправильно.

Вы не можете принять правильные ответы и заплатить ему часть стоимости - 0.08$. Страницы с ответами принимаются либо отклоняются только целиком.

Как уведомить исполнителя об изменениях в инструкции?

Добавьте уведомление в описание проекта (например: «Внимание! В инструкции произошли изменения») и напишите сообщение всем исполнителям, которые выполняли ваши задания. Для этого:

• Назначьте им скрытый навык или воспользуйтесь уже имеющимся навыком по пулу.
• Перейдите в Сообщения, нажмите Написать → Группе → Добавить фильтр → Выбрать свой навык → <название навыка>.
• Если вы создали новый навык, то укажите то значение, которое присвоили выбранной группе, например 1. Если вы используете существующий навык, то укажите минимально допустимое значение.

Как повысить рейтинг проекта?

Рейтинг проекта — это средняя оценка по всем категориям. Обращайте особое внимание на категории, по которым вы набрали наименьшее количество баллов.

Низкая оценка «Выполнили бы ещё такое же»

Возможно, ваши задания показались сложными исполнителям. Попробуйте упростить их.

Низкая оценка «Понятность инструкции»

Сократите инструкцию и перепишите более простым языком, добавьте картинки и примеры.

Низкая оценка «Удобство интерфейса задания»

Сделайте интерфейс более удобным и интуитивно понятным, не заставляйте исполнителя совершать дополнительные ненужные действия, используйте горячие клавиши.

С 15 декабря 2021 года задания в пулах по умолчанию доступны для веб версии Толоки и мобильного приложения. Если ваше задание не подходит для мобильных устройств, возможно вы забыли добавить фильтр Клиент.

Низкая оценка «Общение с заказчиком»

Регулярно отвечайте на сообщения исполнителей. Постарайтесь обеспечить максимально быструю обратную связь. Своевременно исправляйте ошибки и уведомляйте исполнителей об изменениях с помощью рассылок.

Если вы не понимаете, в чем проблема, запустите мини-опросник и поинтересуйтесь у исполнителей, выполнявших ваши задания, что именно им нравится и не нравится.

Почему возникают пустые области внутри TSV-файла?

При загрузке строк в файле двойные кавычки обозначают область, внутри которой можно использовать спецсимволы: табы или переносы строк. Толока заключает все, что находится между кавычками в одну строку и получается одно задание. Чтобы использовать кавычки внутри такой области, нужно их экранировать еще одной кавычкой. Подробнее здесь.

Какой результат обработки пустого текстового поля?

Если толокер написал и стер информацию, то будет null, иначе — undefined.

В результаты попали ответы пользователей, которых я заблокировал

В результатах отображаются ответы всех пользователей, в том числе и заблокированных. Чтобы исключить их ответы из результатов, выберите опцию Не учитывать ответы заблокированных пользователей. Убраны будут ответы тех исполнителей, кто заблокирован на момент выгрузки результатов, а не на момент разметки пула.

Есть ли возможность получить от пользователя вместе с результатами выполнения задания точное время начала и конца выполнения?

Когда скачиваете файл с результатами, поставьте галочки Время старта и Время отправки. В файле будут точные дата и время, когда исполнитель взял страницу заданий на выполнение и отправил ее в формате UTC.

Написать в службу поддержки