Проект 3. Похож ли найденный объект на исходный?

В этом Customizable-проекте исполнители будут сравнивать обувь с исходного изображения (из первого проекта) с обувью, найденной во втором проекте.

Внимание. Так как в настройках пула во втором проекте включена опция Отложенная приёмка вы должны выполнить все шаги и проверить ответы исполнителей в течение срока, установленного в поле Срок проверки.
  1. Создайте проект
  2. Создайте пул
  3. Подготовьте и загрузите TSV-файл с результатами
  4. Скачайте проверенные результаты
  5. Проверьте выполненные задания

Создайте проект

Чтобы создать проект, откройте Толоку для заказчика.

В интерфейсе:
  1. Выберите шаблон:

    1. Нажмите Создать проект.

    2. Выберите шаблон Классификация изображений .

  2. Заполните общую информацию:

    1. В поле Название для исполнителей введите Похожа ли обувь?.

    2. В поле Описание для исполнителей введите Посмотрите на две пары обуви и решите, похожи они или нет..

    3. По желанию добавьте Приватный комментарий.

    4. Сохраните изменения.

  3. Отредактируйте интерфейс задания в выбранном редакторе:

    Конструктор шаблонов
    Редактор HTML/CSS/JS
    1. Воспользуйтесь готовым кодом для этого проекта, где уже настроена валидация и внешний вид задания.

      Исполнитель не сможет отправить задание, если:

      • не перейдет по кнопке в интернет-магазин;
      • не выберет один из вариантов ответа.
    2. Чтобы увидеть поля входных и выходных данных, нажмите Показать спецификации.

      • Поля входных данных:

        • image — ссылка для загрузки изображения исходного товара;
        • found_link — ссылка на товар в интернет-магазине;
        • assignment_id — для связи с предыдущими проектами.
      • Поле выходных данных: result — строка, в которую будет записан ответ исполнителя.

    1. В Интерфейсе задания удалите шаблонный код из блока HTML и вставьте следующий код:

      {{img src=image height="400px"}}
      {{iframe src= found_link height="600px"}}
      
          <p>Убедитесь, что загруженное изображение соответствует товару из магазина.</p>
         {{button label="Проверьте товар"  href=found_link action=true}}
      
        <p>Эта <b>обувь</b> похожа?</p>
          <p>Обувь должна быть похожа по цвету, материалу, длине и стилю.</p>
        {{field type="radio" name="result" value="Yes" label="Да"}}
        {{field type="radio" name="result" value="No" label="Нет"}}
      Скопировано
    2. Блок JS оставьте без изменений.

    3. В блок CSS вставьте следующий код, отвечающий за установку пропорционального размера изображения.

      .task {
        display: block;
      }
      .img {
        float: left;
        width: 50%;
      }
      .iframe {
        float: left;
        width: 50%;
      }
      Скопировано
    4. Отредактируйте входные и выходные данные в блоке Спецификация данных. ,

      1. Нажмите кнопку , чтобы переключить графический режим на формат JSON.

      2. В поле Входные данные введите:
        {
          "image": {
            "type": "url",
            "hidden": false,
            "required": true
          },
          "found_link": {
            "type": "url",
            "hidden": false,
            "required": true
          },
        
          "assignment_id": {
            "type": "string",
            "hidden": true,
            "required": true
          }
        }
        Скопировано
      3. В поле Выходные данные введите:
        {
          "result": {
            "type": "string",
            "hidden": false,
            "required": true
          }
        }
        Скопировано

        Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.

      4. Нажмите кнопку , чтобы увидеть получившееся задание.

        Примечание. В предварительном просмотре проекта отображается одно задание со стандартными данными. Количество заданий на странице вы сможете настроить далее.
        1. В открывшемся окне проверьте работу опций задания. В правом нижнем углу нажмите Отправить.

        2. Выйдите из режима предпросмотра.

          В левом нижнем углу нажмите Выйти. Если при тестировании задания были ошибки — проверьте блоки кода, которые вы вводили.

  4. Сохраните изменения.

  5. В поле Инструкция для исполнителей введите инструкцию.

    1. Текст инструкции:
      Посмотрите на картинки, на которых изображены две пары обуви, и решите, похожи они или нет.
      
      Обувь считается похожей, если она имеет похожий цвет, материал, длину и стиль.
      Если вы не видите пару обуви ни на одной из фотографий, нажмите Да.
      Скопировано
    2. Сохраните изменения.

  6. Чтобы выйти на страницу Проекты, нажмите Завершить редактирование.

Подробнее о работе с проектом читайте в разделе Customizable-проект.

Создайте пул

Чтобы создать пул:

  1. Откройте страницу проекта с именем Похожа ли обувь.

  2. Нажмите кнопку Добавить пул.

  3. Укажите Название пула.

  4. (опционально) Добавьте Приватный комментарий. Эта информация доступна только вам.

  5. В блоке Аудитория в разделе Исполнители отфильтруйте исполнителей.

    1. Нажмите Добавить фильтр.

    2. Найдите в списке блок Профиль исполнителя и выберите навык Языки.

    3. В поле ? укажите =.

    4. Добавьте еще один фильтр. Нажмите Добавить фильтр.

    5. Найдите в списке блок Навыки и нажмите Выбрать свой навык.

    6. В поле Навык выберите Found_shoes.

    7. В поле ? укажите =.

    8. Поле Отсутствует оставьте пустым.

    Задания в пулах по умолчанию будут доступны для веб-версии Толоки и мобильного приложения. Если вы хотите изменить настройки по умолчанию и ограничить видимость задачи для любой из версий, добавьте фильтр Клиент и выберите нужное значение: Веб-версия Толоки или Мобильная Толока.

  6. (опционально) В разделе Соотношение скорости и качества укажите желаемый уровень качества. Повышение уровня качества может снизить скорость выполнения заданий, так как пул будет доступен меньшему числу исполнителей. Подробнее об этом читайте в разделе Соотношение скорости и качества.

  7. В блоке Цена в поле Цена за страницу заданий укажите 0.01.

  8. В блоке Контроль качества задайте настройки контроля качества для пула:

    1. Нажмите Добавить правило контроля качества.

    2. Найдите в списке блок Правила и выберите пункт Контрольные задания.

    3. Задайте правило для контрольного задания: если количество ответов на контрольные вопросы больше или равно 3 и процент правильных ответов на контрольные вопросы меньше 60, то заблокировать исполнителя на проекте на 10 дней. В качестве причины указать Контрольное задание.

    4. (опционально) Добавьте еще один блок контроля качества. Нажмите Добавить правило контроля качества.

    5. Найдите в списке блок Правила и выберите пункт Быстрые ответы.

    6. В поле Минимальное время на страницу заданий укажите 60.

    7. Задайте правило для быстрых ответов: если количество быстрых ответов больше 1, то заблокировать исполнителя на проекте на 10 дней. В качестве причины указать Быстрые ответы.

    Подробнее о контроле качества читайте в разделе Контроль качества.

  9. В разделе Перекрытие задания в поле Количество исполнителей, которые должны выполнить каждое задание укажите 3.

  10. В блоке Дополнительные настройки:

    1. В поле Время на страницу заданий укажите 300.

    2. Включите опцию Сохранять порядок заданий.

  11. Нажмите кнопку Создать пул.

Подготовьте и загрузите TSV-файл с результатами

  1. Подождите завершения пула из второго проекта.

  2. Откройте страницу пула из второго проекта.

  3. Нажмите кнопку Скачать результаты.

    1. В блоке Статус оставьте включенной только опцию Не проверенные.

    2. В блоке Поля оставьте включенной только опцию id ответа.

    3. Отключите опцию Разделять ответы пустой строкой.

    4. Нажмите кнопку Скачать результаты.

  4. Подготовьте TSV-файл с заданиями.

    1. Столбец INPUT:image оставьте без изменений.

    2. Измените имя столбца OUTPUT:found_link на INPUT:found_link.

    3. Измените имя столбца ASSIGNMENT:assignment_id на INPUT:assignment_id.

    4. Удалите все остальные столбцы.

    5. Сохраните файл в формате tsv.

  5. Загрузите получившийся TSV-файл в пул Похожа ли обувь?.

    1. Откройте пул Похожа ли обувь?.

    2. Нажмите кнопку Загрузить. В открывшемся окне настройте параметры загрузки файла.

    3. Выберите Умное смешивание.

    4. В поле Основных заданий укажите 9.

    5. В поле Обучающих заданий укажите 0.

    6. В поле Контрольных заданий укажите 1.

    7. Нажмите кнопку Загрузить.

    8. В открывшемся окне выберите TSV-файл с заданиями для загрузки и нажмите кнопку Открыть.

    9. В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.

  6. Создайте контрольное задание.

    1. Нажмите кнопку Разметить.

      Примечание. Если вместо умного смешивания было выбрано другое, необходимо нажать кнопку Разметить. Если этой кнопки нет, удалите файл и загрузите заново.
    2. В открывшемся окне нажмите кнопку Создать контрольные.

    3. В открывшемся окне в колонке слева включите опцию result.

    4. Выберите правильный ответ на вопрос.

    5. Нажмите кнопку Сохранить и перейти к следующему.

    6. Нажмите Похожа ли обувь?, чтобы выйти из режима разметки заданий.

    Примечание.

    В небольших пулах контрольные задания должны составлять 5-10% от всех заданий. Включайте разные варианты правильных ответов в равных количествах. Посмотрите распределение ответов на странице Разметить задания на вкладке Контрольные.

Скачайте проверенные результаты

Чтобы получить результаты:

  1. Рядом с кнопкой Скачать результаты нажмите кнопку .

  2. Выберите пункт списка Агрегация результатов по методу Дэвида — Скина. Подробнее об Агрегации результатов по методу Дэвида — Скина.

  3. В открывшемся окне нажмите Да.

  4. Наверху страницы нажмите Перейти к списку операций.

    Примечание.

    Отслеживайте прогресс операции, периодически обновляя страницу. Агрегация занимает от 5 до 20 минут, в это время вы можете приступить к оформлению другого проекта.

  5. Когда операция завершится, скачайте TSV-файл с результатами. Для этого в столбце Файлы нажмите Скачать.

  6. Используйте TSV-файл с результатами из второго проекта.

Проверьте выполненные задания

Вы можете проверить результаты двумя способами:

  • В TSV-файле с результатами.
  • В интерфейсе пула.
Проверить задания в TSV-файле с результатами

Чтобы проверить выполненные задания:

  1. Откройте в редакторе текста или электронных таблиц TSV-файл, полученный после агрегации результатов.

  2. Подготовьте TSV-файл:

    1. Добавьте столбец ACCEPT:verdict — результат проверки.

    2. Добавьте столбец ACCEPT:comment — комментарий для исполнителя, если ответ был отклонен. Например, какая часть инструкций не была выполнена.

    3. Измените имя столбца INPUT:assignment_id на ASSIGNMENT:assignment_id.

  3. Заполните столбцы ACCEPT:verdict: и ACCEPT:comment::

    • Если агрегированный результат задания правильный, поставьте +, и задание будет принято.
    • Если агрегированный результат задания неправильный или не открывается, поставьте -, и задание будет отклонено. Введите причину отклонения задания в поле ACCEPT:comment:, например, Предоставленный объект неправильный или не открывается..
  4. Удалите все остальные столбцы.

  5. Сохраните файл в формате tsv.

  6. Откройте страницу пула во втором проекте.

  7. Нажмите кнопку Проверить задания.

  8. Нажмите кнопку Загрузить результаты.

  9. В открывшемся окне выберите TSV-файл с результатами для загрузки и нажмите кнопку Открыть.

  10. В открывшемся окне сравните количество заданий в поле успешно обработано с полем Всего выполненных заданий на странице пула.

  11. Нажмите кнопку Добавить.

  12. В открывшемся окне нажмите кнопку Закрыть.

  13. При настройке пула во втором проекте вы включили опцию Повторное выполнение отклонённых заданий.

    При повторном выполнении задания: пул автоматически открывается снова, и задания передаются другим исполнителям. Когда задания будут выполнены, отправьте результаты на проверку. Затем скачайте результаты, проверьте их и загрузите проверенные результаты. Вы можете отклонять задания столько раз, сколько захотите, чтобы получить более точные результаты.

Проверить задания в интерфейсе пула

Чтобы проверить выполненные задания:

  1. Откройте страницу пула во втором проекте.

  2. Нажмите кнопку Просмотреть задания.

  3. Наведите курсор на строку с заданием, которое хотите проверить.

  4. В столбце Статус появятся кнопки, чтобы принять (кнопка ) или отклонить (кнопка ) выполненное задание. Если вы отклоняете задание, в открывшемся окне введите комментарий и нажмите кнопку Готово.

Что дальше

  • Создайте Проект 4 для сравнения подходящих изображений.