Документация Толоки

Проект 3. Похож ли найденный объект на исходный?

Обратите внимание

Документация на русском языке может быть устаревшей. Самые последние изменения доступны в документации на английском языке.

В этом проекте исполнители будут сравнивать обувь с исходного изображения (из первого проекта) с обувью, найденной во втором проекте.

Важно

Так как в настройках пула во втором проекте включена опция Отложенная приёмка вы должны выполнить все шаги и проверить ответы исполнителей в течение срока, установленного в поле Срок проверки.

Создайте проект

Чтобы создать проект, откройте Толоку для заказчика.

В интерфейсе:

  1. Выберите пресет:

    1. Нажмите Создать проект.

    2. Выберите пресет Классификация изображений.

  2. Заполните общую информацию:

    1. В поле Название для исполнителей введите Похожа ли обувь?.

    2. В поле Описание для исполнителей введите Посмотрите на две пары обуви и решите, похожи они или нет..

    3. По желанию добавьте Приватный комментарий.

    4. Сохраните изменения.

  3. Отредактируйте интерфейс задания в выбранном редакторе:

    1. Воспользуйтесь готовым кодом для этого проекта, где уже настроена валидация и внешний вид задания.

      Исполнитель не сможет отправить задание, если:

      • не перейдет по кнопке в интернет-магазин;
      • не выберет один из вариантов ответа.

    2. Чтобы увидеть поля входных и выходных данных, нажмите Показать спецификации.

      • Поля входных данных:

      • image — ссылка для загрузки изображения исходного товара;

      • found_link — ссылка на товар в интернет-магазине;

      • assignment_id — для связи с предыдущими проектами.

      • Поле выходных данных: result — строка, в которую будет записан ответ исполнителя.

      • Редактор HTML/CSS/JS

    3. В Интерфейсе задания удалите шаблонный код из блока HTML и вставьте следующий код:

      {{img src=image height="400px"}}
{{iframe src= found_link height="600px"}}

<p>Убедитесь, что загруженное изображение соответствует товару из магазина.</p>
{{button label="Проверьте товар"  href=found_link action=true}}

<p>Эта <b>обувь</b> похожа?</p>
<p>Обувь должна быть похожа по цвету, материалу, длине и стилю.</p>
{{field type="radio" name="result" value="Yes" label="Да"}}
{{field type="radio" name="result" value="No" label="Нет"}}

    4. Блок JS оставьте без изменений.

    5. В блок CSS вставьте следующий код, отвечающий за установку пропорционального размера изображения.

      .task {
display: block;
}
.img {
float: left;
width: 50%;
}
.iframe {
float: left;
width: 50%;
}

    6. Отредактируйте входные и выходные данные в блоке Спецификация данных. ,

    7. Нажмите кнопку , чтобы переключить графический режим на формат JSON.

    8. В поле Входные данные введите:

      {
"image": {
"type": "url",
"hidden": false,
"required": true
},
"found_link": {
"type": "url",
"hidden": false,
"required": true
},

"assignment_id": {
"type": "string",
"hidden": true,
"required": true
}
}

    9. В поле Выходные данные введите:

      {
"result": {
"type": "string",
"hidden": false,
"required": true
}
}

      Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.

    10. Нажмите кнопку Предпросмотр задания, чтобы увидеть получившееся задание.

      Примечание

      В предварительном просмотре проекта отображается одно задание со стандартными данными. Количество заданий на странице вы сможете настроить далее.

      1. В открывшемся окне проверьте работу опций задания. В правом нижнем углу нажмите Отправить.

      2. Выйдите из режима предпросмотра.

        В левом нижнем углу нажмите Выйти. Если при тестировании задания были ошибки — проверьте блоки кода, которые вы вводили.

  4. Сохраните изменения.

  5. В поле Инструкция для исполнителей введите инструкцию.

    1. Текст инструкции:
    Посмотрите на картинки, на которых изображены две пары обуви, и решите, похожи они или нет.

Обувь считается похожей, если она имеет похожий цвет, материал, длину и стиль.
Если вы не видите пару обуви ни на одной из фотографий, нажмите **Да**.

    1. Сохраните изменения.

  6. Чтобы выйти на страницу Проекты, нажмите Завершить редактирование.

Подробнее о работе с проектом читайте в разделе Проект.

Создайте пул

Чтобы создать пул:

  1. Откройте страницу проекта с именем Похожа ли обувь.

  2. Нажмите кнопку Добавить пул.

  3. Укажите Название пула.

  4. (опционально) Добавьте Приватный комментарий. Эта информация доступна только вам.

  5. В блоке Аудитория в разделе Исполнители отфильтруйте исполнителей.

    1. Нажмите Добавить фильтр.

    2. Найдите в списке блок Профиль исполнителя и выберите навык Языки.

    3. В поле ? укажите =.

    4. Добавьте еще один фильтр. Нажмите Добавить фильтр.

    5. Найдите в списке блок Навыки и нажмите Выбрать свой навык.

    6. В поле **Навык **выберите Found_shoes.

    7. В поле ? укажите =.

    8. Поле Отсутствует оставьте пустым.

    Задания в пулах по умолчанию будут доступны для веб-версии Толоки и мобильного приложения. Если вы хотите изменить настройки по умолчанию и ограничить видимость задачи для любой из версий, добавьте фильтр Клиент и выберите нужное значение: Веб-версия Толоки или Мобильная Толока.

  6. (опционально) В разделе Соотношение скорости и качества укажите желаемый уровень качества. Повышение уровня качества может снизить скорость выполнения заданий, так как пул будет доступен меньшему числу исполнителей. Подробнее об этом читайте в разделе Соотношение скорости и качества.

  7. В блоке Цена в поле Цена за страницу заданий укажите 0.01.

  8. В блоке Контроль качества задайте настройки контроля качества для пула:

    1. Нажмите Добавить правило контроля качества.

    2. Найдите в списке блок Правила и выберите пункт Контрольные задания.

    3. Задайте правило для контрольного задания: если количество ответов на контрольные вопросы больше или равно 3 и процент правильных ответов на контрольные вопросы меньше 60, то заблокировать исполнителя на проекте на 10 дней. В качестве причины указать Контрольное задание.

    4. (опционально) Добавьте еще один блок контроля качества. Нажмите Добавить правило контроля качества.

    5. Найдите в списке блок Правила и выберите пункт Быстрые ответы.

    6. В поле Минимальное время на страницу заданий укажите 60.

    7. Задайте правило для быстрых ответов: если количество быстрых ответов****больше 1, то заблокировать исполнителя на проекте на 10 дней. В качестве причины указать Быстрые ответы.

    Подробнее о контроле качества читайте в разделе Контроль качества.

  9. В разделе Перекрытие задания в поле **Количество исполнителей, которые должны выполнить каждое задание ** укажите 3.

  10. В блоке Дополнительные настройки:

    1. В поле Время на страницу заданий укажите 300.

    2. Включите опцию Сохранять порядок заданий.

  11. Нажмите кнопку Создать пул.

Загрузите результаты

  1. Подождите завершения пула из второго проекта.

  2. Откройте страницу пула из второго проекта.

  3. Нажмите кнопку Скачать результаты.

    1. В блоке Статус оставьте включенной только опцию Не проверенные.

    2. В блоке Поля оставьте включенной только опцию id ответа.

    3. Отключите опцию Разделять ответы пустой строкой.

    4. Нажмите кнопку Скачать результаты.

  4. Подготовьте файл с заданиями.

    1. Столбец INPUT:image оставьте без изменений.

    2. Измените имя столбца OUTPUT:found_link на INPUT:found_link.

    3. Измените имя столбца ASSIGNMENT:assignment_id на INPUT:assignment_id.

    4. Удалите все остальные столбцы.

    5. Сохраните файл.

  5. Загрузите получившийся файл в пул Похожа ли обувь?.

    1. Откройте пул Похожа ли обувь?.

    2. Нажмите кнопку Загрузить. В открывшемся окне настройте параметры загрузки файла.

    3. Выберите Умное смешивание.

    4. В поле Основных заданий укажите 9.

    5. В поле Обучающих заданий укажите 0.

    6. В поле Контрольных заданий укажите 1.

    7. Нажмите кнопку Загрузить.

    8. В открывшемся окне выберите файл с заданиями для загрузки и нажмите кнопку Открыть.

    9. В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.

  6. Создайте контрольное задание.

    1. Нажмите кнопку Разметить.

      Примечание

      Если вместо умного смешивания было выбрано другое, необходимо нажать кнопку Разметить. Если этой кнопки нет, удалите файл и загрузите заново.

    2. В открывшемся окне нажмите кнопку Создать контрольные.

    3. В открывшемся окне в колонке слева включите опцию result.

    4. Выберите правильный ответ на вопрос.

    5. Нажмите кнопку Сохранить и перейти к следующему.

    6. Нажмите Похожа ли обувь?, чтобы выйти из режима разметки заданий.

    Примечание

    В небольших пулах контрольные задания должны составлять 5–10% от всех заданий. Включайте разные варианты правильных ответов в равных количествах. Посмотрите распределение ответов на странице Разметить задания на вкладке Контрольные.

Скачайте проверенные результаты

Чтобы получить результаты:

  1. Рядом с кнопкой Скачать результаты нажмите кнопку .

  2. Выберите пункт списка Агрегация результатов по методу Дэвида — Скина. Подробнее об Агрегации результатов по методу Дэвида — Скина.

  3. В открывшемся окне нажмите Да.

  4. Наверху страницы нажмите Перейти к списку операций.

    Примечание

    Отслеживайте прогресс операции, периодически обновляя страницу. Агрегация занимает от 5 до 20 минут, в это время вы можете приступить к оформлению другого проекта.

  5. Когда операция завершится, скачайте файл с результатами. Для этого в столбце Файлы нажмите Скачать.

  6. Используйте файл с результатами из второго проекта.

Проверьте выполненные задания

Вы можете проверить результаты двумя способами:

  • В файле с результатами.
  • В интерфейсе пула.

Проверить задания в файле с результатами

Чтобы проверить выполненные задания:

  1. Откройте в редакторе текста или электронных таблиц файл, полученный после агрегации результатов.

  2. Подготовьте файл:

    1. Добавьте столбец ACCEPT:verdict — результат проверки.

    2. Добавьте столбец ACCEPT:comment — комментарий для исполнителя, если ответ был отклонен. Например, какая часть инструкций не была выполнена.

    3. Измените имя столбца INPUT:assignment_id на ASSIGNMENT:assignment_id.

  3. Заполните столбцы ACCEPT:verdict: и ACCEPT:comment::

    • Если агрегированный результат задания правильный, поставьте +, и задание будет принято.

    • Если агрегированный результат задания неправильный или не открывается, поставьте -, и задание будет отклонено. Введите причину отклонения задания в поле ACCEPT:comment:, например, Предоставленный объект неправильный или не открывается..

  4. Удалите все остальные столбцы.

  5. Сохраните файл.

  6. Откройте страницу пула во втором проекте.

  7. Нажмите кнопку Проверить задания.

  8. Нажмите кнопку Загрузить результаты.

  9. В открывшемся окне выберите файл с результатами для загрузки и нажмите кнопку Открыть.

  10. В открывшемся окне сравните количество заданий в поле успешно обработано с полем Всего выполненных заданий на странице пула.

  11. Нажмите кнопку Добавить.

  12. В открывшемся окне нажмите кнопку Закрыть.

  13. При настройке пула во втором проекте вы включили опцию Повторное выполнение отклонённых заданий.

    При повторном выполнении задания: пул автоматически открывается снова, и задания передаются другим исполнителям. Когда задания будут выполнены, отправьте результаты на проверку. Затем скачайте результаты, проверьте их и загрузите проверенные результаты. Вы можете отклонять задания столько раз, сколько захотите, чтобы получить более точные результаты.

Проверить задания в интерфейсе пула

Чтобы проверить выполненные задания:

  1. Откройте страницу пула во втором проекте.

  2. Нажмите кнопку Просмотреть задания.

  3. Наведите курсор на строку с заданием, которое хотите проверить.

  4. В столбце Статус появятся кнопки, чтобы принять (кнопка ) или отклонить (кнопка ) выполненное задание. Если вы отклоняете задание, в открывшемся окне введите комментарий и нажмите кнопку Готово.

Что дальше

  • Создайте Проект 4 для сравнения подходящих изображений.

В этой статье: