Проект 1. Содержит ли изображение определенный объект

В этом проекте вы опросите исполнителей на наличие дорожных знаков на фотографии.

  1. Создайте проект
  2. Создайте пул
  3. Загрузите TSV-файл с заданиями
  4. Получите результаты

Создайте проект

  1. Выберите шаблон:

    1. Откройте Яндекс.Толоку для заказчика.

    2. Нажмите кнопку + Создать проект.

    3. В открывшемся окне найдите шаблон Классификация изображений и нажмите кнопку Выбрать.

  2. Заполните общую информацию:

    1. В поле Название для исполнителей введите Есть ли на фотографии дорожные знаки?.

    2. В поле Описание для исполнителей введите Посмотрите на картинку и скажите, есть ли на ней дорожные знаки.

    3. Сохраните изменения.

  3. Отредактируйте интерфейс задания в выбранном редакторе:

    Конструктор шаблонов
    Редактор HTML/CSS/JS

    1. Интерфейс задания описывает, как будут расположены элементы задания.

      В шаблоне уже настроена проверка. Исполнитель не сможет отправить задание, если не выберет вариант ответа.

      Подробнее в Справке конструктора:

    2. На панели Конфигурация замените строки кода с 19 по 28:

              "label": "Какое у кота настроение?",
        "options": [
          {
            "label": "Хорошее",
            "value": "ok"
          },
          {
            "label": "Плохое",
            "value": "bad"
          },
      Скопировано

      на:

              "label": "Есть ли на картинке дорожные знаки?",
        "options": [
          {
            "label": "Да",
            "value": "ok"
          },
          {
            "label": "Нет",
            "value": "bad"
          },
      Скопировано

    3. Чтобы увидеть поля входных и выходных данных, нажмите Показать спецификации.

      Поля входных данных создаются из кода на вкладке Пример входных данных.

      Поля выходных данных создаются на основе того, в каких компонентах используются data.output, а также какие значения в нем разрешены.

      Подробнее о полях входных и выходных данных в Справке конструктора шаблона.

      • Поле входных данных: image — ссылка для загрузки картинки.

        Измените тип данных на строку, чтобы использовать ссылки на свои файлы или загружать картинки, хранящиеся на Яндекс.Диске.

      • Поле выходных данных: result — строка, в которую будет записан ответ исполнителя.
      Что такое входные и выходные данные?

      Входные данные — типы объектов, которые будут подаваться исполнителю для выполнения задания. Например, текст, картинка, географические координаты.

      Выходные данные — типы объектов, которые будут получены после выполнения задания. Например, один из нескольких вариантов ответа, введенный текст или загруженный файл.

      Если вы добавили в шаблон задания элементы интерфейса, поля в Спецификации данных создадутся для них автоматически.

    1. В блоке Интерфейс задания отредактируйте блок HTML:

      1. После строки с изображением введите вопрос:

        <div>Есть ли на картинке <b>дорожные знаки</b>?<div>

      2. Измените надписи на вариантах ответа: Хорошее → Да, Плохое → Нет:

        {{img src=image width="100%" height="400px"}}
<div>Есть ли на картинке <b>дорожные знаки</b>?<div>

{{field type="radio" name="result" value="OK" label="Да" hotkey="1"}}
{{field type="radio" name="result" value="BAD" label="Нет" hotkey="2"}}
{{field type="radio" name="result" value="404" label="Ошибка загрузки" hotkey="3"}}
        Скопировано

    2. Блоки JS, CSS и Спецификация данных оставьте без изменений.

      Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.

    3. Нажмите кнопку , чтобы увидеть получившееся задание.

      Примечание. В предварительном просмотре проекта отображается одно задание со стандартными данными. Количество заданий на странице вы сможете настроить далее.

    4. В открывшемся окне проверьте работу опций задания. И в правом нижнем углу нажмите кнопку Отправить.

    5. Выйдите из режима предпросмотра. В нижнем левом углу нажмите кнопку Выйти → Выйти . Если при тестировании задания были ошибки — проверьте блоки кода, которые вы вводили.

  4. Сохраните изменения.

  5. В блоке Инструкция для исполнителей введите инструкцию и добавьте изображение.

    1. Текст инструкции:
      Посмотрите на изображение и определите, есть ли на нем дорожные знаки?
Если да, нажмите Да.
Если нет, нажмите Нет.
Например, на изображении есть дорожные знаки, поэтому правильный ответ Да.
      Скопировано
    2. Чтобы добавить изображение, нажмите кнопку и укажите ссылку на изображение, которое вы хотите использовать в качестве примера.

    3. Сохраните изменения.

  6. В правом верхнем углу нажмите кнопку Завершить

    Подробнее о работе с проектом читайте в разделе Проект.

Создайте пул

  1. Откройте страницу проекта с именем Есть ли на фотографии дорожные знаки?.

  2. Нажмите кнопку Добавить пул.

  3. Укажите Название пула.

  4. (опционально) Добавьте Приватный комментарий. Эта информация доступна только вам.

  5. В блоке Аудитория в разделе Исполнители отфильтруйте исполнителей по языку:

    1. Нажмите Добавить фильтр.

    2. Найдите в списке блок Готовые наборы аудиторий и выберите навык Русскоязычные исполнители.

  6. (опционально) В разделе Соотношение скорости и качества укажите, какому проценту пользователей с лучшим рейтингом будет доступен указанный пул. Подробнее об этом читайте в разделе Соотношение скорости и качества.

  7. В блоке Цена в поле Цена за страницу заданий укажите цену. Например, 0.01. Больше примеров ценообразования можно посмотреть здесь.

  8. В блоке Контроль качества задайте настройки контроля качества для пула:

    1. Нажмите Добавить правило контроля качества.

    2. Найдите в списке блок Правила и выберите пункт Контрольные задания.

    3. Задайте правило для контрольного задания: если количество ответов на контрольные вопросы ≥ 3 и процент правильных ответов на контрольные вопросы < 60, то заблокировать исполнителя на проекте на 10 дней. В качестве причины укажите Контрольное задание.

      Подробнее о контроле качества читайте в разделе Контроль качества.

  9. В разделе Перекрытие задания в поле Количество исполнителей, которые должны выполнить каждое задание укажите 3.

  10. В блоке Дополнительные настройки в поле Время на страницу заданий укажите 600.

  11. Нажмите кнопку Создать пул.

Загрузите TSV-файл с заданиями

Подготовьте собственный файл с заданиями. Ознакомьтесь с примером в демонстрационном TSV-файле. В интерфейсе Толоки под названием пула есть ссылки на шаблоны TSV-файлов с обычными, контрольными и обучающими заданиями.

  1. На странице пула нажмите кнопку Загрузить. В открывшемся окне также можно скачать пример TSV-файла по ссылке Пример загрузочного файла.

  2. В открывшемся окне настройте параметры загрузки файла:

    1. Выберите Умное смешивание.

    2. В поле Основных заданий укажите 9.

    3. В поле Обучающих заданий укажите 0.

    4. В поле Контрольных заданий укажите 1.

    5. Нажмите кнопку Загрузить.

    6. В открывшемся окне выберите TSV-файл с заданиями для загрузки и нажмите кнопку Открыть.

    7. В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.

  3. Создайте контрольное задание:

    1. Нажмите кнопку Разметить.

      Примечание. Если вместо умного смешивания было выбрано другое, необходимо нажать кнопку Разметить. Если этой кнопки нет, удалите файл и загрузите заново.

    2. В открывшемся окне нажмите кнопку Создать контрольные.

    3. В открывшемся окне в разделе Создать контрольное задание слева включите опцию result.

    4. Выберите правильный ответ на вопрос.

    5. Нажмите кнопку Сохранить и перейти к следующему.

    6. Нажмите Есть ли на фотографии дорожные знаки?, чтобы выйти из режима разметки заданий.

    Примечание.

    В небольших пулах контрольные задания должны составлять 10-20% от всех заданий. Включайте разные варианты правильных ответов в равных количествах. Посмотрите распределение ответов на странице Разметить задания на вкладке Контрольные.

  4. Нажмите кнопку , чтобы запустить пул.

    Внимание.

    Поставленные задачи выполнят настоящие исполнители Толоки. Перепроверьте конфигурацию вашего проекта перед запуском пула.

Получите результаты

  1. Рядом с кнопкой Скачать результаты нажмите кнопку .

  2. Выберите пункт списка Агрегация результатов по методу Дэвида — Скина. Подробнее об Агрегации результатов по методу Дэвида — Скина.

  3. В открывшемся окне нажмите Да.

  4. Наверху страницы нажмите Перейти к списку операций.

    Примечание.

    Отслеживайте прогресс операции, периодически обновляя страницу. Агрегация занимает от 5 до 20 минут, в это время вы можете приступить к оформлению другого проекта.

  5. Когда операция завершится, скачайте TSV-файл с результатами. Для этого в столбцеc Файлы нажмите Скачать.

  6. Используйте TSV-файл с результатами во втором проекте.

Что дальше

  • Создайте Проект 2 для выделения объектов.