Проект 2. Выделить объект на изображении

В этом проекте исполнители будут выделять области изображений, содержащие дорожный знак. В качестве исходных изображений используйте результаты из первого проекта.

  1. Создайте проект
  2. Создайте пул
  3. Подготовьте и загрузите TSV-файл с заданиями
  4. Получите результаты

Создайте проект

  1. Выберите шаблон:

    1. Нажмите кнопку + Создать проект.

    2. Выберите шаблон Выделение областей на изображении.
  2. Заполните общую информацию:

    1. В поле Название для исполнителей проекта введите Обведите дорожные знаки на изображении.
    2. В поле Описание для исполнителей введите Обведите прямоугольником все дорожные знаки на изображении.
    3. По желанию добавьте Приватный комментарий.
    4. Нажмите кнопку Сохранить.
  3. Отредактируйте интерфейс задания в выбранном редакторе:

    Конструктор шабонов
    Редактор HTML/CSS/JS
    1. Вы можете воспользоваться готовым кодом для этого проекта, где уже настроена валидация и внешний вид задания.

      Исполнитель не сможет отправить задание, если не выделит области изображений.

      Подробнее в Справке конструктора о шаблоне Выделение объектов на картинке и о его настройках.

    2. Чтобы увидеть поля входных и выходных данных, в разделе Спецификация данных нажмите Показать спецификации.

      • Поле входных данных: image — строка для загрузки картинки.

      • Поле выходных данных: result — поле, в которое будет занесена информация о разметке загруженного изображения.
    1. В блоке Интерфейс задания оставьте без изменений блок HTML.

    2. Отредактируйте блок CSS:

      1. Настройте инструменты выделения области. В этом шаблоне используется Редактор для выделения области. Для него доступны инструменты прямоугольник и многоугольник (по умолчанию).

        Чтобы настроить выделение прямоугольником, замените код в блоке CSS на указанный:
        .image-annotation-editor__shape-polygon {
        display: none;
        }
        Скопировано
      2. Введите код для настройки высоты интерфейса по размеру изображения:

        .image-annotation-editor__annotation-layer {
        height: max-content;
        }
        Скопировано
      3. (опционально) Вы можете попросить исполнителей ввести аннотацию к выделенной области или выбрать ее из списка. Для этого в блоке JS добавьте элемент интерфейса. Например, текстовое поле или выпадающий список.

        Подробнее об аннотации.

    3. Нажмите кнопку , чтобы увидеть получившееся задание.

      Примечание. В предварительном просмотре проекта отображается одно задание со стандартными данными. Количество заданий на странице вы сможете настроить далее.
    4. В открывшемся окне проверьте работу опций задания. И в правом нижнем углу нажмите кнопку Отправить.

    5. Выйдите из режима предпросмотра. В нижнем левом углу нажмите кнопку Выйти → Выйти . Если при тестировании задания были ошибки — проверьте блоки кода, которые вы вводили.

  4. Сохраните изменения.

  5. Напишите инструкцию для исполнителей:

    Текст инструкции
    Нажмите кнопку и обведите прямоугольником все дорожные знаки на изображении.
    Совет.

    Если вы хотите добавить в инструкцию примеры выполнения задания, выполните его самостоятельно в режиме предпросмотра. Сделайте скриншоты, загрузите их на фотохостинг, ваш Яндекс.Диск или в облачное хранилище и вставьте ссылки на изображения в инструкцию, нажав кнопку на панели инструментов.

    Нажмите кнопку Завершить.

Создайте пул

Пул — это набор оплачиваемых заданий, которые одновременно выдаются исполнителям.

  1. Откройте страницу проекта Обведите все дорожные знаки на картинке.

  2. Нажмите кнопку Добавить пул.

  3. Укажите Название пула.

  4. (опционально) Укажите Приватный комментарий. Эта информация доступна только вам.

  5. В блоке Аудитория в разделе Исполнители отфильтруйте исполнителей:

    1. Нажмите Добавить фильтр.

    2. Найдите в списке блок Готовые наборы аудиторий и выберите навык Русскоязычные исполнители.

    3. Добавьте новый навык. Нажмите кнопку Добавить навык.

    4. В открывшемся окне в поле Название введите Выделение областей.

    5. Нажмите кнопку Добавить.

  6. (опционально) В разделе Соотношение скорости и качества укажите, какому проценту пользователей с лучшим рейтингом будет доступен указанный пул. Подробнее об этом читайте в разделе Соотношение скорости и качества.

  7. В блоке Цена в поле Цена за страницу заданий укажите цену. Например, 0.01. Больше примеров ценообразования можно посмотреть здесь.

    Что такое страница заданий?

    На одной странице может отображаться одно или несколько заданий. Если задания простые, то можно добавлять 10–20 заданий на одну страницу. Не рекомендуем создавать длинные страницы, поскольку это снизит скорость загрузки данных у исполнителя.

    Исполнитель получит оплату, только если выполнил все задания на странице.

    Количество заданий на странице вы определите при загрузке заданий.

    Как определить справедливую цену?

    Общее правило формирования цены — чем больше времени исполнитель тратит на выполнение, тем выше цена.

    Вы можете зарегистрироваться в Яндекс.Толоке как исполнитель и узнать, сколько платят другие заказчики за задания, а также посмотреть примеры стоимости различных типов задач.

  8. Правила контроля качества позволяют отсеивать невнимательных исполнителей. В блоке Контроль качества задайте правила для пула:

    1. Включите опцию Отложенная приёмка.

      Что такое отложенная приемка?

      Отложенная приемка позволяет вам просматривать выполненные страницы заданий перед тем, как принять их и заплатить исполнителю. Задания, выполненные в несоответствии с инструкцией, можно отклонять. Максимальный срок проверки устанавливается в поле Срок проверки.

      В поле Срок проверки в днях укажите количество дней на проверку задания.

    2. Добавьте следующие правила контроля качества:
      • Обработка отклоненных и принятых заданий — отправляет отклоненные вами задания другим исполнителям по заданным правилам.

        1. Нажмите Добавить правило контроля качества.

        2. Найдите в списке блок Правила и выберите пункт Обработка отклоненных и принятых заданий.

        3. Задайте правило для отклоненного задания: если задание становится отклоненным, то увеличить перекрытие на 1. А также включите опцию Открыть пул, если закрыт.

          Это означает, что отклоненное задание будет возвращено в пул и показано еще одному исполнителю.

      • Выполненные задания — позволяет ограничить количество заданий, которое доступно исполнителю в пуле за сутки.

        1. Нажмите Добавить правило контроля качества.

        2. Найдите в списке блок Правила и выберите пункт Выполненные задания.

        3. Задайте правило для выполненного задания: если отправленных страниц заданий ≥ 1, то установить значение навыка Выделение областей равным 1.

          Такие параметры позволят отметить исполнителя, выполнившего хотя бы одно задание в пуле.

          Совет.

          Если навык Выделение областей не отображается в списке, сохраните пул и откройте его заново для редактирования.

      • Быстрые ответы — отсеивает исполнителей, которые отвечают слишком быстро.

        1. Нажмите Добавить правило контроля качества.

        2. Найдите в списке блок Правила и выберите пункт Быстрые ответы.

        3. В поле Учитывать последних страниц заданий введите количество последних страниц заданий, выполненных исполнителем. Например, 5.
        4. В поле Минимальное время на страницу заданий укажите время в секундах. Например, 20.
        5. Задайте правило для быстрого ответа: если количество быстрых ответов≥ 1, то заблокировать у меня на 10 дней. В поле Причина введите Быстрые ответы.

          Это означает, что если исполнитель выполнит хотя бы одну страницу заданий быстрее чем за 20 секунд, он будет заблокирован и не сможет больше выполнять ваши задания 10 дней.

      • Результаты проверки — ограничивает доступ к пулу исполнителей, которые часто ошибаются.

        1. Нажмите Добавить правило контроля качества.

        2. Найдите в списке блок Правила и выберите пункт Результаты проверки.

        3. Задайте правило для отклоненного задания: если количество проверенных ответов ≥ 3 и процент отклоненных ответов > 35 то заблокировать у меня на 15 дней.

          Это означает, что если 35% и более ответов исполнителя будут отклонены, он будет заблокирован и не сможет больше выполнять ваши задания 15 дней. Правило начинает действовать после проверки 3 ответов исполнителя.

    Контрольные задания и мнение большинства не используются для такого типа проектов, так как разметка областей, предоставленная исполнителями, должна совпадать (что практически невозможно). Подробнее о контроле качества читайте в разделе Контроль качества.

    Примечание.

    Вы можете скопировать настройки контроля качества из другого пула. Для этого в блоке Аудитория в разделе Исполнители нажмите кнопку перенесите их из другого пула.

  9. В разделе Перекрытие задания в поле Количество исполнителей, которые должны выполнить каждое задание установите перекрытие — количество исполнителей, которые должны выполнить задание. Для заданий выделения области на картинках, как правило, 1.

  10. В блоке Дополнительные настройки укажите значение поля Время на страницу заданий. Времени должно быть достаточно, в том числе для чтения инструкции и загрузки задания. Например, 1200 секунд.
  11. Нажмите кнопку Создать пул.

Подготовьте и загрузите TSV-файл с заданиями

Что такое TSV?
TSV-файл — это представление электронной таблицы в виде текстового файла, в котором столбцы разделены знаком табуляции.
Вы можете работать с ним как в редакторе электронных таблиц, так и в текстовом редакторе, а затем сохранить в нужный формат. Подробнее о работе с TSV-файлом. Существует формат CSV, схожий с TSV, но при загрузке необходимо использовать TSV-файл.
Примечание. Перед загрузкой файла убедитесь, что он сохранен в кодировке UTF-8.
  1. Подготовьте TSV-файл с заданиями.

    1. Откройте в редакторе текста или электронных таблиц файл, полученный после агрегации результатов в первом проекте.

    2. Выберите изображения, подходящие для текущего проекта (значение OK).

      Совет. Для отбора изображений на устройствах с Linux и MacOS вы можете воспользоваться командами awk:
      awk 'BEGIN {OFS = FS = "\t";} $2=/OK/ {print $1}' <aggregated_res>.tsv > <filtered_res>.tsv
      Скопировано
    3. Скопируйте столбец с выделенными ссылками на новый лист или в новый документ.

    4. Задайте имя столбца INPUT:image. Если вы хотите задать другое имя, переименуйте столбец и в исходном файле с результатами.

    5. Сохраните файл в формате tsv.

  2. Загрузите получившийся TSV-файл:

    1. Нажмите кнопку Загрузить. В открывшемся окне настройте параметры загрузки файла.

    2. Выберите Указать вручную.

    3. В поле Заданий на странице укажите 1.

    4. Нажмите кнопку Загрузить.

    5. В открывшемся окне выберите TSV-файл с заданиями для загрузки и нажмите кнопку Открыть.

    6. В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.

  3. Нажмите кнопку , чтобы запустить пул.

    Внимание.

    Поставленные задачи выполнят настоящие исполнители Толоки. Перепроверьте конфигурацию вашего проекта перед запуском пула.

Получите результаты

  1. На странице пула нажмите кнопку Скачать результаты. В открывшемся окне:

    1. В блоке Статус оставьте включенной только опцию Непроверенные.

    2. В блоке Поля оставьте включенной только опцию id ответа.

    3. Отключите опцию Разделять ответы пустой строкой.

    4. Нажмите кнопку Скачать результаты.

  2. Используйте TSV-файл с результатами в третьем проекте.

Что дальше

  • Создайте Проект 3 для проверки ответов.