Документация Толоки

Проект 3. Верно ли выделены объекты на изображении

Обратите внимание

Документация на русском языке может быть устаревшей. Самые последние изменения доступны в документации на английском языке.

В этом проекте исполнители будут определять, верно ли на изображениях из первого проекта были выделены дорожные знаки во втором проекте.

Создайте проект

В интерфейсе:

  1. Выберите шаблон:

    1. Нажмите кнопку Создать проект.
    2. Выберите шаблон Распознавание объектов и выделение областей.
    3. Нажмите Использовать решение.
  2. Заполните общую информацию:

    1. В поле Название для исполнителей проекта введите Верно ли выделены дорожные знаки.
    2. В поле Описание для исполнителей введите Посмотрите на изображение и решите, верно ли выделены дорожные знаки.
    3. По желанию добавьте Приватный комментарий.
  3. Отредактируйте интерфейс задания. От редактора интерфейса зависит формат выходных данных, поэтому выберите тот же редактор, что и в Проекте 2.

    1. Создайте шаблон на основе примера Проверка выделенной области, в котором используется Компонент для разметки изображений.

    2. Чтобы увидеть поля входных и выходных данных, в разделе Спецификация данных нажмите Показать спецификации.

      Поля входных данных, которые используются в проекте:

      • image — адрес картинки;
      • result — массив с координатами выделенной области;
      • assignment_id — идентификатор задания.

      В поле выходных данных verdict будет записан ответ исполнителя.

    3. Включите опцию Настроить спецификацию вручную.

    4. Нажмите кнопку , чтобы переключить графический режим на формат JSON.

    5. Удалите шаблонный код из поля Входные данные и введите следующий код:

      {
      "image": {
      "type": "url",
      "hidden": false,
      "required": true
      },
      "result": {
      "type": "array_json",
      "hidden": false,
      "required": false
      },
      "assignment_id": {
      "type": "string",
      "hidden": true,
      "required": true
      }
      }
      
    6. Удалите шаблонный код из поля Выходные данные и введите следующий код:

      {
      "verdict": {
      "type": "string",
      "hidden": false,
      "required": true,
      "allowed_values": [
      "OK",
      "BAD"
      ]
      }
      }
      
    1. Подготовьте Интерфейс задания:

    2. Подключите библиотеку $TOLOKA_ASSETS/js/image-annotation.js (нажмите в блоке Интерфейс задания на странице проекта).

    3. В блоке HTML замените текущий код на следующий:

      <!-- редактор для выделения областей с возможностью заранее добавить область -->
      {{field type="image-annotation" name="object" src=image annotations=selection}}
      
      <!-- кнопки для ответов -->
      {{field type="radio" name="result" value="OK" label="Верно" hotkey="1"}}
      {{field type="radio" name="result" value="BAD" label="Неверно" hotkey="2"}}
      
    4. В блоке CSS замените текущий код на следующий:

      /* скрыть кнопку для выделения полигоном */
      .image-annotation-editor__shape-polygon {
      display: none;
      }
      
      /* настроить высоту интерфейса */
      .image-annotation-editor__annotation-layer {
      height: max-content;
      }
      
    5. Настройте раздел Спецификация данных:

    6. Нажмите кнопку , чтобы переключить графический режим на формат JSON.

    7. Удалите шаблонный код из поля Входные данные и введите следующий код:

      {
      "image": {
      "type": "url",
      "hidden": false,
      "required": true
      },
      "selection": {
      "type": "array_json",
      "hidden": false,
      "required": false
      },
      "assignment_id": {
      "type": "string",
      "hidden": true,
      "required": true
      }
      }
      
    8. Удалите шаблонный код из поля Выходные данные и введите следующий код:

      {
      "result": {
      "type": "string",
      "hidden": false,
      "required": true,
      "allowed_values": [
      "OK",
      "BAD"
      ]
      }
      }
      

      Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.

    9. Нажмите кнопку Предпросмотр задания, чтобы увидеть получившееся задание.

      Совет

      В предварительном просмотре проекта отображается одно задание со стандартными данными. Количество заданий на странице вы сможете настроить далее.

    10. Нажмите Изменить входные данные.

    11. В поле selection добавьте пример входных данных:

      [{"data":{"p1":{"x":0.472,"y":0.413},"p2":{"x":0.932,"y":0.877}},"type":"rectangle"},
      {"data":[{"x":0.143,"y":0.807},{"x":0.317,"y":0.87},{"x":0.511,"y":0.145},{"x":0.328,"y":0.096},{"x":0.096,"y":0.554}], "type":"polygon"}]
      
    12. Если все в порядке, закройте вкладку с предпросмотром. Если нет — проверьте данные, которые вы вставляли в блоки кода.

  4. Напишите инструкцию для исполнителей:

    Текст инструкции:

    Посмотрите на изображение и ответьте на вопрос: **Все ли дорожные знаки выделены верно?**
    Если да, нажмите **Да**.
    Если нет, нажмите **Нет**.
    Например, дорожные знаки выделены верно, поэтому правильный ответ **Да**.
    

    Совет

    Если вы хотите добавить в инструкцию примеры выполнения задания, выполните его самостоятельно в режиме предпросмотра. Сделайте скриншоты, загрузите их на фотохостинг, ваш Яндекс Диск или в облачное хранилище и вставьте ссылки на изображения в инструкцию, нажав кнопку на панели инструментов.

  5. Нажмите кнопку Создать проект.

Создайте пул

  1. Откройте страницу проекта с именем Верно ли выделены дорожные знаки?.

  2. Нажмите кнопку Добавить пул.

  3. Укажите Название пула.

  4. (опционально) Укажите Приватный комментарий. Эта информация доступна только вам.

  5. В блоке Аудитория в разделе Исполнители отфильтруйте исполнителей:

    1. Нажмите Добавить фильтр.

    2. Добавьте фильтры Регион по номеру телефона и Языки: выберите исполнителей из России, Украины, Казахстана и Беларуси, которые в своем профиле отметили знание русского языка.

    3. Добавьте еще один фильтр. Нажмите Добавить фильтр.

    4. Найдите в списке блок Навыки и выберите навык Выбрать свой навык.

    5. В поле Навыки выберите Выделение областей.

    6. В поле ? укажите =.

    7. Поле Отсутствует оставьте пустым.

    Задания в пулах по умолчанию будут доступны для веб-версии Толоки и мобильного приложения. Если вы хотите изменить настройки по умолчанию и ограничить видимость задачи для любой из версий, добавьте фильтр Клиент и выберите нужное значение: Веб-версия Толоки или Мобильная Толока.

  6. (опционально) В разделе Соотношение скорости и качества укажите желаемый уровень качества. Повышение уровня качества может снизить скорость выполнения заданий, так как пул будет доступен меньшему числу исполнителей. Подробнее об этом читайте в разделе Соотношение скорости и качества.

  7. В блоке Цена в поле Цена за страницу заданий укажите цену. Например, 0.01.

  8. В блоке Контроль качества задайте настройки контроля качества для пула:

    1. Нажмите Добавить правило контроля качества.

    2. Найдите в списке блок Правила и выберите пункт Мнение большинства.

    3. В поле Считать большинством укажите 2.

    4. Задайте правило: если количество ответов ≥ 10 и процент правильных ответов < 50, то заблокировать исполнителя на проекте на 10 дней. В качестве причины укажите Не совпадает с большинством.

    Примечание

    Правило начинает действовать, когда количество ответов на задание равно перекрытию.

    Подробнее о контроле качества читайте в разделе Контроль качества.

  9. В разделе Перекрытие задания в поле **Количество исполнителей, которые должны выполнить каждое задание ** укажите 3.

  10. В блоке Дополнительные настройки:

    1. В поле Время на страницу заданий укажите 600.

    2. Включите опцию Сохранять порядок заданий.

  11. Нажмите кнопку Создать пул.

Подготовьте и загрузите файл с результатами

  1. Подготовьте файл с заданиями:

    1. Откройте в редакторе текста или электронных таблиц файл, полученный после агрегации результатов во втором проекте.

    2. Столбец INPUT:image оставьте без изменений.

    3. Измените имя столбца OUTPUT:result на INPUT:selection.

    4. Измените имя столбца ASSIGNMENT:assignment_id на INPUT:assignment_id.

    5. Удалите столбцы ACCEPT:verdict и ACCEPT:comment.

    6. Добавьте входные данные, например:

      [{""type"":""rectangle"",""data"":{""p1"":{""x"":0.2421,""y"":0.98871},""p2"":{""x"":0.93663,""y"":0.8776}}}]
      

    и сохраните файл в формате tsv.

    Совет

    Вы можете подготовить файл в программе Блокнот. Чтобы перенести данные в Microsoft Excel, используйте Мастер импорта текста, отключив опцию Ограничитель текста.

  2. Загрузите получившийся файл в пул Верно ли выделены дорожные знаки? :

    1. Откройте пул Верно ли выделены дорожные знаки?

    2. Нажмите кнопку Загрузить. В открывшемся окне настройте параметры загрузки файла.

    3. Выберите Указать вручную.

    4. В поле Заданий на странице укажите 10.

    5. Нажмите кнопку Загрузить.

    6. В открывшемся окне выберите файл с заданиями для загрузки и нажмите кнопку Открыть.

    7. В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.

    8. На странице пула нажмите кнопку Предпросмотр. Убедитесь, что в задании отображаются изображения с выделенными объектами.

    Совет

    Если выделенных объектов нет, проверьте, правильно ли выставлены кавычки в файле в столбце INPUT:selection. Убедитесь, что параметры интерфейса заданы верно.

  3. Нажмите кнопку , чтобы запустить пул.

    Внимание

    Поставленные задачи выполнят настоящие исполнители Толоки. Перепроверьте конфигурацию вашего проекта перед запуском пула.

Скачайте проверенные результаты

  1. Рядом с кнопкой Скачать результаты нажмите кнопку .

  2. Выберите из списка пункт Агрегация результатов по методу Дэвида — Скина. Подробнее об Агрегации результатов по методу Дэвида — Скина.

  3. В открывшемся окне нажмите Да.

  4. Наверху страницы нажмите Перейти к списку операций.

    Примечание

    Отслеживайте прогресс операции, периодически обновляя страницу. Агрегация занимает от 5 до 20 минут, в это время вы можете приступить к оформлению другого проекта.

  5. Когда операция завершится, скачайте файл с результатами. Для этого в столбце Файлы нажмите Скачать.

  6. Используйте файл с результатами во втором проекте.

Проверьте выполненные задания

Так как в настройках пула во втором проекте включена опция Отложенная приёмка, вы должны проверить ответы исполнителей в течение срока, установленного в поле Срок проверки.

Вы можете проверить результаты двумя способами:

  • В файле с результатами.
  • В интерфейсе пула.
  1. Откройте в редакторе текста или электронных таблиц файл, полученный после агрегации результатов.

    Совет

    Вы можете воспользоваться онлайн-редактором электронных таблиц. Перейдите на Яндекс Диск, подключенный к вашему аккаунту заказчика. Нажмите Создать → Таблицу. Скопируйте в таблицу агрегированные данные из файла.

  2. Подготовьте файл:

    1. Добавьте столбец ACCEPT:verdict — результат проверки.

    2. Добавьте столбец ACCEPT:comment — комментарий для исполнителя, если ответ был отклонен. Например, какая часть инструкций не была выполнена.

    3. Измените имя столбца INPUT:assignment_id на ASSIGNMENT:assignment_id.

  3. Заполните столбцы ACCEPT:verdict: и ACCEPT:comment::

    • Если агрегированный результат задания правильный, поставьте +, и задание будет принято.
    • Если агрегированный результат задания неправильный или не открывается, поставьте -, и задание будет отклонено. Введите причину отклонения задания в поле ACCEPT:comment:, например, Объект не выделен или выделен неверно.

    Совет

    Для отбора изображений на устройствах с Linux и MacOS вы можете воспользоваться командами awk:

    awk 'BEGIN {FS=OFS="\t";} NR>1 {if($4~"OK"){ print $1, "+", ""; }else{ print $1, "-", "Объект не выделен или выделен неверно.";}}' <post_accept_res>.tsv > <review_res>.tsv
    
  4. Удалите все остальные столбцы.

  5. Сохраните файл в формате tsv.

  6. Откройте страницу пула во втором проекте.

  7. Нажмите кнопку Проверить задания.

  8. Нажмите кнопку Загрузить результаты.

  9. В открывшемся окне выберите файл с результатами для загрузки и нажмите кнопку Открыть.

  10. В открывшемся окне сравните количество заданий в поле Успешно обработано с полем Всего выполненных заданий на странице пула.

  11. Нажмите кнопку Добавить.

  12. В открывшемся окне нажмите кнопку Закрыть.

  13. При настройке пула во втором проекте вы включили опцию Повторное выполнение отклонённых заданий.

При повторном выполнении задания пул автоматически открывается снова, и задания передаются другим исполнителям. Когда задания будут выполнены, отправьте результаты на проверку. Затем скачайте результаты, проверьте их и загрузите проверенные результаты. Вы можете отклонять задания столько раз, сколько захотите, чтобы получить более точные результаты.

  1. Откройте страницу пула во втором проекте.

  2. Нажмите кнопку Просмотреть задания.

  3. Наведите курсор на строку с заданием, которое хотите проверить.

  4. В столбце Статус появятся кнопки, чтобы принять (кнопка ) или отклонить (кнопка ) выполненное задание. Если вы отклоняете задание, в открывшемся окне введите комментарий и нажмите кнопку Готово.

Что дальше