Проект 3. Верно ли выделены объекты на изображении

В этом проекте исполнители будут определять, верно ли на изображениях из первого проекта были выделены дорожные знаки во втором проекте.

  1. Создайте проект
  2. Создайте пул
  3. Подготовьте и загрузите TSV-файл с результатами
  4. Скачайте проверенные результаты
  5. Проверьте выполненные задания

Создайте проект

  1. Выберите шаблон:

    1. Нажмите кнопку + Создать проект.

    2. Выберите шаблон Выделение областей на изображении.
  2. Заполните общую информацию:

    1. В поле Название для исполнителей проекта введите Верно ли выделены дорожные знаки.
    2. В поле Описание для исполнителей введите Посмотрите на изображение и решите, верно ли выделены дорожные знаки.
    3. По желанию добавьте Приватный комментарий.
    4. Нажмите кнопку Сохранить.
  3. Отредактируйте интерфейс задания:

    1. Подготовьте Интерфейс задания:

      1. Подключите библиотеку $TOLOKA_ASSETS/js/image-annotation.js (нажмите в блоке Интерфейс задания на странице проекта).

      2. В блоке HTML замените текущий код на следующий:

        <!-- редактор для выделения областей с возможностью заранее добавить область -->
        {{field type="image-annotation" name="object" src=image annotations=selection}}
        
        <!-- кнопки для ответов -->
        {{field type="radio" name="result" value="OK" label="Верно" hotkey="1"}}
        {{field type="radio" name="result" value="BAD" label="Неверно" hotkey="2"}}
        Скопировано
      3. В блоке CSS замените текущий код на следующий:

        /* скрыть кнопку для выделения полигоном */
        .image-annotation-editor__shape-polygon {
          display: none;
        }
        
        /* настроить высоту интерфейса */
        .image-annotation-editor__annotation-layer {
          height: max-content;
        }
        Скопировано
    2. Настройте раздел Спецификация данных:

      1. Нажмите кнопку , чтобы переключить графический режим на формат JSON.

      2. Удалите шаблонный код из поля Входные данные и введите следующий код:

        {
          "image": {
            "type": "url",
            "hidden": false,
            "required": true
          },
          "selection": {
            "type": "json",
            "hidden": false,
            "required": false
          },
          "assignment_id": {
            "type": "string",
            "hidden": true,
            "required": true
          }
        }
        Скопировано
      3. Удалите шаблонный код из поля Выходные данные и введите следующий код:

        {
          "result": {
            "type": "string",
            "hidden": false,
            "required": true
          }
        }
        Скопировано

      Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.

  4. Чтобы проверить работу интерфейса:

    1. Нажмите кнопку , чтобы увидеть получившееся задание.

      Примечание. В предварительном просмотре проекта отображается одно задание со стандартными данными. Количество заданий на странице вы сможете настроить далее.
    2. Нажмите Изменить входные данные.
    3. В поле selection добавьте пример входных данных:
      [{"data":{"p1":{"x":0.472,"y":0.413},"p2":{"x":0.932,"y":0.877}},"type":"rectangle"},
      {"data":[{"x":0.143,"y":0.807},{"x":0.317,"y":0.87},{"x":0.511,"y":0.145},{"x":0.328,"y":0.096},{"x":0.096,"y":0.554}],"type":"polygon"}] 
      Скопировано
    4. Если все в порядке, закройте вкладку с предпросмотром. Если нет — проверьте данные, которые вы вставляли в блоки кода.

    Примечание. Вы не сможете создать интерфейс этого проекта в Конструкторе шаблонов.
  5. Сохраните изменения.

  6. Напишите инструкцию для исполнителей:

    Текст инструкции:

    Посмотрите на изображение и ответьте на вопрос: Все ли дорожные знаки выделены верно?
    Если да, нажмите Да.
    Если нет, нажмите Нет.
    Например, дорожные знаки выделены верно, поэтому правильный ответ Да.
    Скопировано
    Совет. Если вы хотите добавить в инструкцию примеры выполнения задания, выполните его самостоятельно в режиме предпросмотра. Сделайте скриншоты, загрузите их на фотохостинг, ваш Яндекс.Диск или в облачное хранилище и вставьте ссылки на изображения в инструкцию, нажав кнопку на панели инструментов.
  7. Нажмите кнопку Завершить.

Создайте пул

  1. Откройте страницу проекта с именем Верно ли выделены дорожные знаки?.

  2. Нажмите кнопку Добавить пул.

  3. Укажите Название пула.

  4. (опционально) Укажите Приватный комментарий. Эта информация доступна только вам.

  5. В блоке Аудитория в разделе Исполнители отфильтруйте исполнителей:

    1. Нажмите Добавить фильтр.

    2. Найдите в списке блок Готовые наборы аудиторий и выберите навык Русскоязычные исполнители.

    3. Добавьте еще один фильтр. Нажмите Добавить фильтр.

    4. Найдите в списке блок Навыки и выберите навык Выбрать свой навык.

    5. В поле Навыки выберите Выделение областей.

    6. В поле ? укажите =.

    7. Поле Отсутствует оставьте пустым.

  6. (опционально) В разделе Соотношение скорости и качества укажите, какому проценту пользователей с лучшим рейтингом будет доступен указанный пул. Подробнее об этом читайте в разделе Соотношение скорости и качества.

  7. В блоке Цена в поле Цена за страницу заданий укажите цену. Например, 0.01. Больше примеров ценообразования можно посмотреть здесь.

  8. В блоке Контроль качества задайте настройки контроля качества для пула:

    1. Нажмите Добавить правило контроля качества.

    2. Найдите в списке блок Правила и выберите пункт Мнение большинства.

    3. В поле Считать большинством укажите 2.

    4. Задайте правило: если количество ответов ≥ 10 и процент правильных ответов < 50, то заблокировать исполнителя на проекте на 10 дней. В качестве причины укажите Не совпадает с большинством.

      Примечание.

      Правило начинает действовать, когда количество ответов на задание равно перекрытию.

    Подробнее о контроле качества читайте в разделе Контроль качества.

  9. В разделе Перекрытие задания в поле Количество исполнителей, которые должны выполнить каждое задание укажите 3.

  10. В блоке Дополнительные настройки:

    1. В поле Время на страницу заданий укажите 600.

    2. Включите опцию Сохранять порядок заданий.

  11. Нажмите кнопку Создать пул.

Подготовьте и загрузите TSV-файл с результатами

  1. Подготовьте TSV-файл с заданиями:

    1. Откройте в редакторе текста или электронных таблиц файл, полученный после агрегации результатов во втором проекте.
    2. Столбец INPUT:image оставьте без изменений.

    3. Измените имя столбца OUTPUT:result на INPUT:selection.

    4. Измените имя столбца ASSIGNMENT:assignment_id на INPUT:assignment_id.

    5. Удалите столбцы ACCEPT:verdict и ACCEPT:comment.

    6. Добавьте входные данные, например:
      [{""type"":""rectangle"",""data"":{""p1"":{""x"":0.2421,""y"":0.98871},""p2"":{""x"":0.93663,""y"":0.8776}}}]
      Скопировано
      и сохраните файл в формате tsv.
    Совет.

    Вы можете подготовить TSV-файл в программе Блокнот. Чтобы перенести данные в Microsoft Excel, используйте Мастер импорта текста, отключив опцию Ограничитель текста.

  2. Загрузите получившийся TSV-файл в пул Верно ли выделены дорожные знаки? :

    1. Откройте пул Верно ли выделены дорожные знаки?

    2. Нажмите кнопку Загрузить. В открывшемся окне настройте параметры загрузки файла.

    3. Выберите Указать вручную.

    4. В поле Заданий на странице укажите 10.

    5. Нажмите кнопку Загрузить.

    6. В открывшемся окне выберите TSV-файл с заданиями для загрузки и нажмите кнопку Открыть.

    7. В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.

    8. На странице пула нажмите кнопку Предпросмотр. Убедитесь, что в задании отображаются изображения с выделенными объектами.
      Совет.

      Если выделенных объектов нет, проверьте, правильно ли выставлены кавычки в TSV-файле в столбце INPUT:selection. Убедитесь, что параметры интерфейса заданы верно.

  3. Нажмите кнопку , чтобы запустить пул.

    Внимание.

    Поставленные задачи выполнят настоящие исполнители Толоки. Перепроверьте конфигурацию вашего проекта перед запуском пула.

Скачайте проверенные результаты

  1. Рядом с кнопкой Скачать результаты нажмите кнопку .

  2. Выберите из списка пункт Агрегация результатов по методу Дэвида — Скина. Подробнее об Агрегации результатов по методу Дэвида — Скина.

  3. В открывшемся окне нажмите Да.

  4. Наверху страницы нажмите Перейти к списку операций.

    Примечание.

    Отслеживайте прогресс операции, периодически обновляя страницу. Агрегация занимает от 5 до 20 минут, в это время вы можете приступить к оформлению другого проекта.

  5. Когда операция завершится, скачайте TSV-файл с результатами. Для этого в столбце Файлы нажмите Скачать.

  6. Используйте TSV-файл с результатами во втором проекте.

Проверьте выполненные задания

Так как в настройках пула во втором проекте включена опция Отложенная приёмка, вы должны проверить ответы исполнителей в течение срока, установленного в поле Срок проверки.

Вы можете проверить результаты двумя способами:

  • В TSV-файле с результатами.
  • В интерфейсе пула.
  1. Откройте в редакторе текста или электронных таблиц TSV-файл, полученный после агрегации результатов.

    Совет. Вы можете воспользоваться онлайн-редактором электронных таблиц. Перейдите на Яндекс.Диск, подключенный к вашему аккаунту заказчика. Нажмите Создать → Таблицу. Скопируйте в таблицу агрегированные данные из TSV-файла.
  2. Подготовьте TSV-файл:

    1. Добавьте столбец ACCEPT:verdict — результат проверки.

    2. Добавьте столбец ACCEPT:comment — комментарий для исполнителя, если ответ был отклонен. Например, какая часть инструкций не была выполнена.

    3. Измените имя столбца INPUT:assignment_id на ASSIGNMENT:assignment_id.

  3. Заполните столбцы ACCEPT:verdict: и ACCEPT:comment::

    • Если агрегированный результат задания правильный, поставьте +, и задание будет принято.
    • Если агрегированный результат задания неправильный или не открывается, поставьте -, и задание будет отклонено. Введите причину отклонения задания в поле ACCEPT:comment:, например, Объект не выделен или выделен неверно.
    Совет. Для отбора изображений на устройствах с Linux и MacOS вы можете воспользоваться командами awk:
    awk 'BEGIN {FS=OFS="\t";} NR>1 {if($4~"OK"){ print $1, "+", ""; }else{ print $1, "-", "Объект не выделен или выделен неверно.";}}' <post_accept_res>.tsv > <review_res>.tsv
    Скопировано
  4. Удалите все остальные столбцы.

  5. Сохраните файл в формате tsv.

  6. Откройте страницу пула во втором проекте.

  7. Нажмите кнопку Проверить задания.

  8. Нажмите кнопку Загрузить результаты.

  9. В открывшемся окне выберите TSV-файл с результатами для загрузки и нажмите кнопку Открыть.

  10. В открывшемся окне сравните количество заданий в поле Успешно обработано с полем Всего выполненных заданий на странице пула.

  11. Нажмите кнопку Добавить.

  12. В открывшемся окне нажмите кнопку Закрыть.

  13. При настройке пула во втором проекте вы включили опцию Повторное выполнение отклонённых заданий.

    При повторном выполнении задания пул автоматически открывается снова, и задания передаются другим исполнителям. Когда задания будут выполнены, отправьте результаты на проверку. Затем скачайте результаты, проверьте их и загрузите проверенные результаты. Вы можете отклонять задания столько раз, сколько захотите, чтобы получить более точные результаты.