Проверка ответов исполнителей
Обратите внимание
Документация на русском языке может быть устаревшей. Самые последние изменения доступны в документации на английском языке.
Вы запустили пул с отложенной приемкой, а исполнители завершили все ваши задания. Что теперь?
-
Проверяйте ответы исполнителей до указанного вами Срока проверки. По его окончанию непроверенные ответы принимаются автоматически.
-
Если исполнитель плохо выполнил задание — отклоните его ответ.
-
Исполнитель может оспорить ваше решение, подав апелляцию.
Как проверить задания
Чтобы принять или отклонить ответы:
Если в настройках пула вы указали отложенную приемку, то вам нужно проверить ответы исполнителей в течение срока, установленного в поле Срок проверки. Исполнитель может оспорить отклонение своего ответа, подав апелляцию.
Вы можете проверить задания онлайн или загрузить результаты проверки в виде файла.
Примечание
Учтите, нельзя изменить статус задания, если пул заданий был отправлен в архив.
Чтобы принять или отклонить одно задание:
-
Нажмите кнопку Проверить задания на странице пула.
-
Выберите задание.
Если в ответах содержатся файлы, отправленные исполнителями, нажмите Действия → Скачать вложения, чтобы скачать их. Чтобы скачать все файлы из непроверенных ответов в ZIP-архиве, нажмите Скачать результаты → Скачать вложения на странице проверки заданий.
-
Проверьте ответы, нажмите Принять или Отказать. Для отклоненных ответов введите комментарий (укажите причину).
Примечание
Ещё этот способ проверки подойдет, когда результат не отображается в интерфейсе.
Пример 1: в задании используется JS-код, а ответ вводится в изначально скрытые поля.
Пример 2: задание, где для проверки ответов нужно скачать файлы, приложенные толокером (например, записи видео или аудио).
Чтобы принять или отклонить ответы:
-
Нажмите кнопку Проверить задания на странице пула.
-
Чтобы скачать ответы, которые вы еще не проверяли: на странице пула нажмите кнопку Скачать результаты. В открывшемся окне:
-
В блоке Статус оставьте включенной только опцию Не проверенные.
-
В блоке Поля оставьте включенной только опцию id ответа.
-
Отключите опцию Разделять ответы пустой строкой.
-
Нажмите кнопку Скачать результаты.
-
-
Если по условию задания толокеры должны были отправить вам картинки/видео/аудио, скачайте их для проверки отдельным архивом следующим образом.
Нажмите Скачать результаты → Скачать вложения.
Примечание
Что содержит архив с ответами?
Система автоматически присваивает имена файлам в процессе их загрузки исполнителем. Вы можете переименовывать файлы вручную или скриптом, если нужно.
-
Архив с ответами
-
Папка1_ID_ответов
-
Файл1_ID_вложения
-
Файл2_ID_вложения
-
-
Папка2_ID_ответов
-
По ID ответа и ID вложения можно понять, что к чему относится в результатах. ID вложения содержится в столбце с выходным полем, куда был загружен файл.
-
Файл
-
Столбец1_с_выходным_полем
ID_вложения
-
Столбец2_с_выходным_полем
ID_вложения
-
-
-
Откройте файл с ответами.
Для одного ID ответа вердикт и комментарий надо заполнять только по одному разу. Остальные следует оставлять пустыми или удалять.
- Если на странице одно задание, то к каждому ID ответа добавляйте вердикт и комментарий (если есть отклонение).
- Если на странице больше одного задания, то у разных заданий на странице будет один и тот же ID ответа.
Расшифровка
-
ASSIGNMENT:assignment_id
— идентификатор выданной страницы заданий. -
ACCEPT:verdict
— результат проверки: -
«+», если ответы приняты;
-
«-», если ответы отклонены.
-
ACCEPT:comment
— комментарий для исполнителя в случае отклонения ответов (например, укажите несоблюденный пункт инструкции).
-
Загрузите отредактированный файл в Толоку (Импорт/ Экспорт → Загрузить результаты).
Разместите отдельное задание с проверкой ответов исполнителей. Чтобы научиться этому, пройдите туториал Выделение области на изображении — в нем в последнем проекте выполняется проверка ответов с помощью исполнителей.
Примечание
Учтите, нельзя изменить статус задания, если пул заданий был отправлен в архив.
Апелляция
В течение 7 дней проверки исполнитель имеет возможность оспорить результат — подать апелляцию.
Вы получите от него сообщение, в котором будут:
-
Идентификатор толокера (
assignment_id
) в теме. -
Объяснение, почему ответы нужно принять (опционально).
Для того, чтобы рассмотреть апелляцию, вам понадобится ID ответа. Если исполнитель написал вам со страницы отклоненного ответа, ID ответа автоматически прикрепляется к сообщению толокера в виде ссылки. Если ID нет, запросите его у толокера.
Что вам нужно делать:
-
Если ответы были ошибочно отклонены, примите их.
-
Рассматривайте все обращения и отвечайте в срок — в течение 9 дней (с момента отклонения задания).
Порядок приемки
1.1. Заказчик принимает Услуги посредством Личного кабинета Заказчика либо API. Возможны два вида приёмки: автоматическая и отложенная. Вид приёмки определяется Заказчиком при размещении Задания посредством Личного кабинета Заказчика или API.
1.2. В случае, если Заказчиком при размещении Задания выбрана автоматическая приёмка, все Задания, выполненные в течение срока, указанного в Заданиях, считаются принятыми Заказчиком автоматически с момента завершения каждого отдельного Задания Пользователем, а Услуги — оказанными Исполнителем надлежащим образом и подлежащими оплате вне зависимости от каких-либо иных условий. Несоответствие результатов выполнения Задания требованиям, установленным Исполнителем в Инструкции, не является основанием для отказа в приёмке соответствующих Услуг, если Заказчиком была выбрана автоматическая приёмка.
1.3. В случае если Заказчиком при размещении Задания выбрана отложенная приёмка, Заказчик обязан выбрать срок, который отсчитывается с момента завершения выполнения Задания Пользователем и может составлять от 1 до 21 календарных дней, в течение которого Заказчик вправе осуществить проверку результатов Заданий и приёмку Услуг (далее — «Срок отложенной приёмки») посредством Личного кабинета Заказчика либо API. В случае, если Заказчик не осуществил приёмку Услуг в течение Срока отложенной приёмки, Услуги считаются принятыми в последний день Срока отложенной приёмки, оказанными надлежащим образом и подлежащими оплате.
1.4. Заказчик вправе отказаться от приёмки Услуг исключительно в случаях, когда в совокупности выполняются следующие условия:
а) Заказчиком при размещении соответствующего Задания была выбрана отложенная приёмка;
б) не истёк Срок отложенной приёмки;
в) Заказчиком разместил инструкцию по выполнению Задания, содержащую алгоритм действий, который надлежит совершить для получения надлежащего результата выполнения Задания и исчерпывающие требования к такому результату (далее — «Инструкция»);
г) результат выполнения Задания не соответствует Инструкции.
1.5. В случае, если Заказчик в соответствии с п. 1.4. Руководства отказывается от приёмки Услуг, в т.ч. с учетом порядка рассмотрения возражений, предусмотренного п. 1.7., Заказчик вправе использовать сумму, внесённую в качестве предварительной оплаты соответствующих Услуг по Договору, для оплаты Услуг при последующем размещении Заданий Заказчиком в течение срока действия Договора.
1.6. В случае, если Заказчик в соответствии с п. 1.4. Руководства отказывается от приёмки Услуг, Заказчик обязан указать, какие именно положения Инструкции были нарушены при выполнении Задания, с помощью Интерфейсов Сайта «Толока» (в том числе API).
1.7. В случае, если Заказчик в соответствии с п. 1.4. Руководства отказывается от приёмки Услуг, Исполнитель вправе направить Заказчику возражения с помощью Интерфейсов Сайта «Толока» в течение семи (7) календарных дней со дня, когда было отказано в приёмке соответствующего Задания. Стороны обязуются урегулировать спор не позднее, чем в течение девяти (9) календарных дней со дня, когда было отказано в приёмке соответствующего Задания. По итогам рассмотрения возражений Заказчиком может быть принято решение о приёмке Услуг либо о повторном отказе в приёмке Услуг. В случае, если Заказчиком было принято решение принять Услуги по результатам рассмотрения возражений, Услуги считаются принятыми в день, когда Заказчиком было совершено соответствующее действие в Личном кабинете Заказчика или посредством API.
Решение проблем
Нет, после отправки задания исполнитель уже не может внести в него изменения. Неверно выполненные задания можно добавить в новый пул.
Нет, в самом задании ничего исправить нельзя. Но это можно сделать вручную при обработке файла с результатами.
Просто начислите толокеру бонус без изменения статуса задания. Изменить статус задания в пуле в этой ситуации уже невозможно.
Примите задание и скорректируйте инструкцию. Иначе вы нарушаете Соглашение с заказчиком, согласно которому нужно четко прописывать требования к выполнению задания и ожидаемым от исполнителя результатам.
Нет. Например, на странице 10 заданий стоимостью 0,1 $, а исполнитель сделал только 2 из них неправильно.
Вы не можете принять правильные ответы и заплатить ему часть стоимости - 0,08 $. Страницы с ответами принимаются либо отклоняются только целиком.