Проект 3. Верно ли выделены объекты на изображении

Выберите шаблон:

1. Нажмите кнопку + Создать проект.

2. Выберите шаблон Выделение областей на изображении.

Заполните общую информацию:

1. В поле Название для исполнителей проекта введите Верно ли выделены дорожные знаки.
2. В поле Описание для исполнителей введите Посмотрите на изображение и решите, верно ли выделены дорожные знаки.
3. По желанию добавьте Приватный комментарий.
4. Нажмите кнопку Сохранить.

Отредактируйте интерфейс задания:

1. Подготовьте Интерфейс задания:

   1. Подключите библиотеку $TOLOKA_ASSETS/js/image-annotation.js (нажмите в блоке Интерфейс задания на странице проекта).

   2. В блоке HTML замените текущий код на следующий:

      <!-- редактор для выделения областей с возможностью заранее добавить область -->
      {{field type="image-annotation" name="object" src=image annotations=selection}}
      
      <!-- кнопки для ответов -->
      {{field type="radio" name="result" value="OK" label="Верно" hotkey="1"}}
      {{field type="radio" name="result" value="BAD" label="Неверно" hotkey="2"}}
      Скопировано

   3. В блоке CSS замените текущий код на следующий:

      /* скрыть кнопку для выделения полигоном */
      .image-annotation-editor__shape-polygon {
        display: none;
      }
      
      /* настроить высоту интерфейса */
      .image-annotation-editor__annotation-layer {
        height: max-content;
      }
      Скопировано

2. Настройте раздел Спецификация данных:

   1. Нажмите кнопку , чтобы переключить графический режим на формат JSON.

   2. Удалите шаблонный код из поля Входные данные и введите следующий код:

      {
        "image": {
          "type": "url",
          "hidden": false,
          "required": true
        },
        "selection": {
          "type": "json",
          "hidden": false,
          "required": false
        },
        "assignment_id": {
          "type": "string",
          "hidden": true,
          "required": true
        }
      }
      Скопировано

   3. Удалите шаблонный код из поля Выходные данные и введите следующий код:

      {
        "result": {
          "type": "string",
          "hidden": false,
          "required": true
        }
      }
      Скопировано

   Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.

Чтобы проверить работу интерфейса:

1. Нажмите кнопку , чтобы увидеть получившееся задание.

   Примечание. В предварительном просмотре проекта отображается одно задание со стандартными данными. Количество заданий на странице вы сможете настроить далее.
2. Нажмите Изменить входные данные.
3. В поле selection добавьте пример входных данных:

   [{"data":{"p1":{"x":0.472,"y":0.413},"p2":{"x":0.932,"y":0.877}},"type":"rectangle"},
   {"data":[{"x":0.143,"y":0.807},{"x":0.317,"y":0.87},{"x":0.511,"y":0.145},{"x":0.328,"y":0.096},{"x":0.096,"y":0.554}],"type":"polygon"}] 
   Скопировано

4. Если все в порядке, закройте вкладку с предпросмотром. Если нет — проверьте данные, которые вы вставляли в блоки кода.

Сохраните изменения.

Напишите инструкцию для исполнителей:

Текст инструкции:

Посмотрите на изображение и ответьте на вопрос: Все ли дорожные знаки выделены верно?
Если да, нажмите Да.
Если нет, нажмите Нет.
Например, дорожные знаки выделены верно, поэтому правильный ответ Да.
Скопировано

Совет. Если вы хотите добавить в инструкцию примеры выполнения задания, выполните его самостоятельно в режиме предпросмотра. Сделайте скриншоты, загрузите их на фотохостинг, ваш Яндекс.Диск или в облачное хранилище и вставьте ссылки на изображения в инструкцию, нажав кнопку на панели инструментов.

Нажмите кнопку Завершить.

Откройте в редакторе текста или электронных таблиц TSV-файл, полученный после агрегации результатов.

Подготовьте TSV-файл:

1. Добавьте столбец ACCEPT:verdict — результат проверки.

2. Добавьте столбец ACCEPT:comment — комментарий для исполнителя, если ответ был отклонен. Например, какая часть инструкций не была выполнена.

3. Измените имя столбца INPUT:assignment_id на ASSIGNMENT:assignment_id.

Заполните столбцы ACCEPT:verdict: и ACCEPT:comment::

• Если агрегированный результат задания правильный, поставьте +, и задание будет принято.
• Если агрегированный результат задания неправильный или не открывается, поставьте -, и задание будет отклонено. Введите причину отклонения задания в поле ACCEPT:comment:, например, Объект не выделен или выделен неверно.

awk 'BEGIN {FS=OFS="\t";} NR>1 {if($4~"OK"){ print $1, "+", ""; }else{ print $1, "-", "Объект не выделен или выделен неверно.";}}' <post_accept_res>.tsv > <review_res>.tsv
Скопировано

Удалите все остальные столбцы.

Сохраните файл в формате tsv.

Откройте страницу пула во втором проекте.

Нажмите кнопку Проверить задания.

Нажмите кнопку Загрузить результаты.

В открывшемся окне выберите TSV-файл с результатами для загрузки и нажмите кнопку Открыть.

В открывшемся окне сравните количество заданий в поле Успешно обработано с полем Всего выполненных заданий на странице пула.

Нажмите кнопку Добавить.

В открывшемся окне нажмите кнопку Закрыть.

При настройке пула во втором проекте вы включили опцию Повторное выполнение отклонённых заданий.

При повторном выполнении задания пул автоматически открывается снова, и задания передаются другим исполнителям. Когда задания будут выполнены, отправьте результаты на проверку. Затем скачайте результаты, проверьте их и загрузите проверенные результаты. Вы можете отклонять задания столько раз, сколько захотите, чтобы получить более точные результаты.