Проект 3. Верно ли выделены объекты на изображении

Создайте проект

В интерфейсе:

1. Выберите шаблон:

   1. Нажмите кнопку Создать проект.
   2. Выберите шаблон Распознавание объектов и выделение областей.
   3. Нажмите Использовать решение.
2. Заполните общую информацию:

   1. В поле Название для исполнителей проекта введите Верно ли выделены дорожные знаки.
   2. В поле Описание для исполнителей введите Посмотрите на изображение и решите, верно ли выделены дорожные знаки.
   3. По желанию добавьте Приватный комментарий.
3. Отредактируйте интерфейс задания. От редактора интерфейса зависит формат выходных данных, поэтому выберите тот же редактор, что и в Проекте 2.

   Выбрать

   Конструктор шаблонов

   Редактор HTML/CSS/JS

   1. Создайте шаблон на основе примера Проверка выделенной области, в котором используется Компонент для разметки изображений.

   2. Чтобы увидеть поля входных и выходных данных, в разделе Спецификация данных нажмите Показать спецификации.

      Поля входных данных, которые используются в проекте:

      • image — адрес картинки;
      • result — массив с координатами выделенной области;
      • assignment_id — идентификатор задания.

      В поле выходных данных verdict будет записан ответ исполнителя.

   3. Включите опцию Настроить спецификацию вручную.

   4. Нажмите кнопку , чтобы переключить графический режим на формат JSON.

   5. Удалите шаблонный код из поля Входные данные и введите следующий код:

      {
        "image": {
          "type": "url",
          "hidden": false,
          "required": true
        },
        "result": {
          "type": "array_json",
          "hidden": false,
          "required": false
        },
        "assignment_id": {
          "type": "string",
          "hidden": true,
          "required": true
        }
      }
      Скопировано

   6. Удалите шаблонный код из поля Выходные данные и введите следующий код:

      {
        "verdict": {
          "type": "string",
          "hidden": false,
          "required": true,
          "allowed_values": [
            "OK",
            "BAD"
          ]
        }
      }
      Скопировано

   1. Подготовьте Интерфейс задания:

      1. Подключите библиотеку $TOLOKA_ASSETS/js/image-annotation.js (нажмите в блоке Интерфейс задания на странице проекта).

      2. В блоке HTML замените текущий код на следующий:

         <!-- редактор для выделения областей с возможностью заранее добавить область -->
         {{field type="image-annotation" name="object" src=image annotations=selection}}
         
         <!-- кнопки для ответов -->
         {{field type="radio" name="result" value="OK" label="Верно" hotkey="1"}}
         {{field type="radio" name="result" value="BAD" label="Неверно" hotkey="2"}}
         Скопировано

      3. В блоке CSS замените текущий код на следующий:

         /* скрыть кнопку для выделения полигоном */
         .image-annotation-editor__shape-polygon {
           display: none;
         }
         
         /* настроить высоту интерфейса */
         .image-annotation-editor__annotation-layer {
           height: max-content;
         }
         Скопировано

   2. Настройте раздел Спецификация данных:

      1. Нажмите кнопку , чтобы переключить графический режим на формат JSON.

      2. Удалите шаблонный код из поля Входные данные и введите следующий код:

         {
           "image": {
             "type": "url",
             "hidden": false,
             "required": true
           },
           "selection": {
             "type": "array_json",
             "hidden": false,
             "required": false
           },
           "assignment_id": {
             "type": "string",
             "hidden": true,
             "required": true
           }
         }
         Скопировано

      3. Удалите шаблонный код из поля Выходные данные и введите следующий код:

         {
           "result": {
             "type": "string",
             "hidden": false,
             "required": true,
             "allowed_values": [
               "OK",
               "BAD"
             ]
           }
         }
         Скопировано

      Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.

   3. Нажмите кнопку Предпросмотр задания, чтобы увидеть получившееся задание.

      Примечание. В предварительном просмотре проекта отображается одно задание со стандартными данными. Количество заданий на странице вы сможете настроить далее.
   4. Нажмите Изменить входные данные.
   5. В поле selection добавьте пример входных данных:

      [{"data":{"p1":{"x":0.472,"y":0.413},"p2":{"x":0.932,"y":0.877}},"type":"rectangle"},
      {"data":[{"x":0.143,"y":0.807},{"x":0.317,"y":0.87},{"x":0.511,"y":0.145},{"x":0.328,"y":0.096},{"x":0.096,"y":0.554}],"type":"polygon"}] 
      Скопировано

   6. Если все в порядке, закройте вкладку с предпросмотром. Если нет — проверьте данные, которые вы вставляли в блоки кода.

4. Напишите инструкцию для исполнителей:

   Текст инструкции:

   Посмотрите на изображение и ответьте на вопрос: Все ли дорожные знаки выделены верно?
   Если да, нажмите Да.
   Если нет, нажмите Нет.
   Например, дорожные знаки выделены верно, поэтому правильный ответ Да.
   Скопировано

   Совет. Если вы хотите добавить в инструкцию примеры выполнения задания, выполните его самостоятельно в режиме предпросмотра. Сделайте скриншоты, загрузите их на фотохостинг, ваш Яндекс Диск или в облачное хранилище и вставьте ссылки на изображения в инструкцию, нажав кнопку на панели инструментов.
5. Нажмите кнопку Создать проект.

Создайте пул

1. Откройте страницу проекта с именем Верно ли выделены дорожные знаки?.

2. Нажмите кнопку Добавить пул.

3. Укажите Название пула.

4. (опционально) Укажите Приватный комментарий. Эта информация доступна только вам.

5. В блоке Аудитория в разделе Исполнители отфильтруйте исполнителей:

   1. Нажмите Добавить фильтр.

   2. Добавьте фильтры Регион по номеру телефона и Языки: выберите исполнителей из России, Украины, Казахстана и Беларуси, которые в своем профиле отметили знание русского языка.

   3. Добавьте еще один фильтр. Нажмите Добавить фильтр.

   4. Найдите в списке блок Навыки и выберите навык Выбрать свой навык.

   5. В поле Навыки выберите Выделение областей.

   6. В поле ? укажите =.

   7. Поле Отсутствует оставьте пустым.

   Задания в пулах по умолчанию будут доступны для веб-версии Толоки и мобильного приложения. Если вы хотите изменить настройки по умолчанию и ограничить видимость задачи для любой из версий, добавьте фильтр Клиент и выберите нужное значение: Веб-версия Толоки или Мобильная Толока.

6. (опционально) В разделе Соотношение скорости и качества укажите желаемый уровень качества. Повышение уровня качества может снизить скорость выполнения заданий, так как пул будет доступен меньшему числу исполнителей. Подробнее об этом читайте в разделе Соотношение скорости и качества.

7. В блоке Цена в поле Цена за страницу заданий укажите цену. Например, 0.01.

8. В блоке Контроль качества задайте настройки контроля качества для пула:

   1. Нажмите Добавить правило контроля качества.

   2. Найдите в списке блок Правила и выберите пункт Мнение большинства.

   3. В поле Считать большинством укажите 2.

   4. Задайте правило: если количество ответов ≥ 10 и процент правильных ответов < 50, то заблокировать исполнителя на проекте на 10 дней. В качестве причины укажите Не совпадает с большинством.

      

      Примечание.

      Правило начинает действовать, когда количество ответов на задание равно перекрытию.

   Подробнее о контроле качества читайте в разделе Контроль качества.

9. В разделе Перекрытие задания в поле Количество исполнителей, которые должны выполнить каждое задание укажите 3.

10. В блоке Дополнительные настройки:

    1. В поле Время на страницу заданий укажите 600.

    2. Включите опцию Сохранять порядок заданий.

11. Нажмите кнопку Создать пул.

Подготовьте и загрузите файл с результатами

1. Подготовьте файл с заданиями:

   1. Откройте в редакторе текста или электронных таблиц файл, полученный после агрегации результатов во втором проекте.
   2. Столбец INPUT:image оставьте без изменений.

   3. Измените имя столбца OUTPUT:result на INPUT:selection.

   4. Измените имя столбца ASSIGNMENT:assignment_id на INPUT:assignment_id.

   5. Удалите столбцы ACCEPT:verdict и ACCEPT:comment.

   6. Добавьте входные данные, например:

      [{""type"":""rectangle"",""data"":{""p1"":{""x"":0.2421,""y"":0.98871},""p2"":{""x"":0.93663,""y"":0.8776}}}]
      Скопировано

      и сохраните файл в формате tsv.

   Совет.

   Вы можете подготовить файл в программе Блокнот. Чтобы перенести данные в Microsoft Excel, используйте Мастер импорта текста, отключив опцию Ограничитель текста.

2. Загрузите получившийся файл в пул Верно ли выделены дорожные знаки? :

   1. Откройте пул Верно ли выделены дорожные знаки?

   2. Нажмите кнопку Загрузить. В открывшемся окне настройте параметры загрузки файла.

   3. Выберите Указать вручную.

   4. В поле Заданий на странице укажите 10.

   5. Нажмите кнопку Загрузить.

   6. В открывшемся окне выберите файл с заданиями для загрузки и нажмите кнопку Открыть.

   7. В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.

   8. На странице пула нажмите кнопку Предпросмотр. Убедитесь, что в задании отображаются изображения с выделенными объектами.

      Совет.

      Если выделенных объектов нет, проверьте, правильно ли выставлены кавычки в файле в столбце INPUT:selection. Убедитесь, что параметры интерфейса заданы верно.

3. Нажмите кнопку , чтобы запустить пул.

   Внимание.

   Поставленные задачи выполнят настоящие исполнители Толоки. Перепроверьте конфигурацию вашего проекта перед запуском пула.

Скачайте проверенные результаты

1. Рядом с кнопкой Скачать результаты нажмите кнопку .

2. Выберите из списка пункт Агрегация результатов по методу Дэвида — Скина. Подробнее об Агрегации результатов по методу Дэвида — Скина.

3. В открывшемся окне нажмите Да.

4. Наверху страницы нажмите Перейти к списку операций.

   Примечание.

   Отслеживайте прогресс операции, периодически обновляя страницу. Агрегация занимает от 5 до 20 минут, в это время вы можете приступить к оформлению другого проекта.

5. Когда операция завершится, скачайте файл с результатами. Для этого в столбце Файлы нажмите Скачать.

6. Используйте файл с результатами во втором проекте.

Проверьте выполненные задания

Так как в настройках пула во втором проекте включена опция Отложенная приёмка, вы должны проверить ответы исполнителей в течение срока, установленного в поле Срок проверки.

Вы можете проверить результаты двумя способами:

• В файле с результатами.
• В интерфейсе пула.