Сравнение изображений (Side-by-side)

  1. Перед началом
  2. Создание проекта
  3. Добавление пула заданий
  4. Загрузка заданий
  5. Запуск пула и получение результатов
Совет.

Сначала запустите проект в Песочнице. Так вы сможете избежать ошибок и потраченных средств, если окажется, что ваше задание не работает.

Этот шаблон проекта подходит для тех случаев, когда нужно попарно (англ. side-by-side, SbS) сравнивать похожие или разные изображения, иллюстрации, интерфейсы.

Примеры задач, которые поможет решить этот шаблон:

  • Нужно понять, какой дизайн интерфейса больше нравится исполнителям.
  • Тестирование разных вариантов изображения в объявлениях для таргетированной рекламы.
  • Выбрать лучшие изображения к публикациям, иллюстрации или фоны рабочего стола.

Предположим, у вас есть фотографии с котами и вы хотите понять — это одно и то же изображение или разные. Для этого создадим задание: исполнителю нужно сравнить два фото и дать ответ — это дубликаты или нет.

Пример готового задания


Перед началом

Чтобы использовать в проекте свои изображения, вам нужно будет загрузить их в хранилище, из которого вы сможете получить ссылки на файлы. Например, ваш сервер, фотохостинг или облачное хранилище:

Если у вас сложный проект, зарегистрируйтесь в песочнице и создайте проект там. В ней вы сможете:

  1. Протестировать настройки проекта в качестве исполнителя.
  2. Затем перенести их в основную версию Толоки
  3. Запустить для реальных исполнителей.

Так вы сможете избежать ошибок и напрасно потраченных средств, если окажется, что ваше задание не работает.

Создание проекта

В проекте вы определяете, как будет выглядеть задание у исполнителя.

В интерфейсе:
  1. Выберите шаблон:

    1. Нажмите Создать проект.

    2. Выберите шаблон Сравнение изображений (Side-by-side).

  2. Заполните общую информацию:

    1. Дайте проекту понятное название и краткое описание. Их увидят исполнители в списке доступных заданий.

    2. По желанию добавьте Приватный комментарий.

    3. Нажмите Сохранить.

  3. Отредактируйте интерфейс задания в выбранном редакторе:

    Конструктор шаблонов
    Редактор HTML/CSS/JS
    1. Интерфейс задания описывает, как будут расположены элементы задания.

      Для этого проекта воспользуйтесь готовым кодом, где уже настроена валидация, горячие клавиши и внешний вид задания. Исполнитель не сможет отправить задание, если не выберет варианта ответа.

      Подробнее о настройке условий в Справке конструктора шаблонов.

    2. Чтобы определить какие данные будете передавать исполнителю и получать в ответ, необходимо создать поля входных и выходных данных.

      Что такое входные и выходные данные?

      Входные данные — типы объектов, которые будут подаваться исполнителю для выполнения задания. Например, текст, картинка, географические координаты.

      Выходные данные — типы объектов, которые будут получены после выполнения задания. Например, один из нескольких вариантов ответа, введенный текст или загруженный файл.

      Поля входных данных создаются из кода на вкладке Пример входных данных.

      Поля выходных данных создаются на основе того, в каких компонентах используется data.output, а также какие значения в нем разрешены.

      Чтобы увидеть поля входных и выходных данных, нажмите Показать спецификации.

      Подробнее о полях входных и выходных данных в Справке конструктора шаблонов.

      В данном проекте:

      • Поля входных данных:

        • image_left — ссылка для загрузки левого изображения;
        • image_right — ссылка для загрузки правого изображение.
      • Поле выходных данных: result — строка, в которую будет записан ответ исполнителя.
    3. Большинство людей просматривает изображения слева направо, поэтому первое изображение может влиять на восприятие второго. Если перемешивать изображения в заданиях, повышается достоверность результатов опроса. Картинки в парах будут отображаться каждый раз в новом порядке для разных исполнителей.

      Как составить задание, если нужно перемешивать картинки

      Что делать, если вам нужно сравнить:

      Только два изображения
      • Можно перемешать картинки вручную при создании файла с заданиями и ссылками. Сделайте два задания с разным порядком картинок. В файле с заданиями (с помощью Excel, например) добавьте ещё одну строчку с двумя ссылками, которые будут располагаться иначе по сравнению с первой строчкой. Одна строчка — одна страница с одним заданием для исполнителя. Так будет после настроек, описанных ниже.

      • На следующем шаге Добавление пула заданий надо будет настроить правило контроля качества Выполненные задания так, чтобы один исполнитель получал только одно задание "в руки".

        Добавьте блок и установите следующие параметры:

        Это означает, что после того, как исполнитель выполнит одно задание, ему не будут предлагать следующее. Ответ будет принят и задание завершено.

      Много изображений

      Можно сделать, чтобы в интерфейсе они отображались в случайном порядке. Рекомендуем создать тестовый проект по инструкции из раздела Какой из найденных объектов больше похож на исходный.

    1. Интерфейс задания описывает, как будут расположены элементы задания.

      В HTML-интерфейсе используйте стандартные теги HTML и специальные выражения в двойных фигурных скобках для полей входных и выходных данных.

      Для этого проекта оставьте блоки HTML, JS и CSS без изменений.

    2. В блоке Спецификация данных задаются поля входных и выходных данных.

      Что такое входные и выходные данные?

      Входные данные — типы объектов, которые будут подаваться исполнителю для выполнения задания. Например, текст, картинка, географические координаты.

      Выходные данные — типы объектов, которые будут получены после выполнения задания. Например, один из нескольких вариантов ответа, введенный текст или загруженный файл.

      Подробнее о полях входных и выходных данных.

      В данном проекте:

      • Поля входных данных:

        • image_left — ссылка для загрузки левого изображения;
        • image_right — ссылка для загрузки правого изображение.
      • Поле выходных данных: result — строка, в которую будет записан ответ исполнителя.
    3. Большинство людей просматривает изображения слева направо, поэтому первое изображение может влиять на восприятие второго. Если перемешивать изображения в заданиях, повышается достоверность результатов опроса. Картинки в парах будут отображаться каждый раз в новом порядке для разных исполнителей.

      Как составить задание, если нужно перемешивать картинки

      Что делать, если вам нужно сравнить:

      Только два изображения.
      • Можно перемешать картинки вручную при создании файла с заданиями и ссылками. Сделайте два задания с разным порядком картинок. В файл с заданиями (с помощью Excel, например) добавьте ещё одну строчку с двумя ссылками, которые будут располагаться иначе по сравнению с первой строчкой. Одна строчка — одна страница с одним заданием для исполнителя. Так будет после настроек, описанных ниже.



      • На следующем шаге Добавление пула заданий надо будет настроить правило контроля качества Выполненные задания так, чтобы один исполнитель получал только одно задание "в руки".

        Добавьте блок и установите следующие параметры:

        Это означает, что после того, как исполнитель выполнит одно задание, ему не будут предлагать следующее. Ответ будет принят и задание завершено.

      Много изображений.

      Можно сделать, чтобы в интерфейсе они отображались в случайном порядке. Понадобится отредактировать спецификацию, а также блоки HTML и JS. Рекомендуем создать тестовый проект по инструкции из раздела Какой из найденных объектов больше похож на исходный.

    4. Нажмите кнопку , чтобы увидеть получившееся задание.

      Примечание. В предварительном просмотре проекта отображается одно задание со стандартными данными. Количество заданий на странице вы сможете настроить далее.

      Проверьте работу опций задания. В правом нижнем углу нажмите Отправить.

      Чтобы выйти из режима предпросмотра, внизу слева нажмите Выйти.

    5. Сохраните изменения.

    1. Напишите краткую и ясную инструкцию. Опишите в ней, что надо сделать, и приведите примеры.

      Вы можете подготовить инструкцию в формате HTML и вставить ее в редактор. Чтобы переключиться в режим HTML, нажмите <>.

    2. Нажмите Завершить.

Подробнее о работе с проектом читайте в разделе проект.

Добавление пула заданий

Пул — это набор оплачиваемых заданий, которые одновременно выдаются исполнителям.

  1. Откройте проект и нажмите Добавить пул.
  2. Дайте пулу любое удобное название и описание. Они доступны только вам, исполнитель будет видеть только название и описание проекта.
  3. В блоке Цена установите цену за страницу заданий, например 0.01.
    Что такое страница заданий?

    На одной странице может отображаться одно или несколько заданий. Если задания простые, то можно добавлять 10–20 заданий на одну страницу. Не рекомендуем создавать длинные страницы, поскольку это снизит скорость загрузки данных у исполнителя.

    Исполнитель получит оплату, только если выполнил все задания на странице.

    Количество заданий на странице вы определите при загрузке заданий.

    Как определить справедливую цену?

    Общее правило формирования цены — чем больше времени исполнитель тратит на выполнение, тем выше цена.

    Вы можете зарегистрироваться в Толоке как исполнитель и узнать, сколько платят другие заказчики за задания.

  4. В блоке Аудитория добавьте Фильтры для отбора исполнителей. Чтобы ваше задание было доступно только исполнителям, владеющим русским языком, установите язык и страну по номеру телефона.

    Задания в пулах по умолчанию будут доступны для веб-версии Толоки и мобильного приложения. Если вы хотите изменить настройки по умолчанию и ограничить видимость задачи для любой из версий, добавьте фильтр Клиент и выберите нужное значение: Веб-версия Толоки или Мобильная Толока.

  5. В разделе Соотношение скорости и качества можно ничего не менять.
  6. В блоке Контроль качества задайте настройки контроля качества для пула. Правила контроля качества позволяют отсеивать невнимательных исполнителей. Контроль также можно настраивать и в проекте.

    • Типичные настройки контроля качества для таких задач — это Быстрые ответы. Добавьте блок и укажите следующие значения:

      Значит, если исполнитель выполнит хотя бы одну страницу заданий быстрее, чем за 5 секунд, он будет заблокирован и не сможет больше выполнять ваши задания 10 дней.

      Внимание. Ответы заблокированных исполнителей будут учтены, если не отклонить их вручную при помощи отложенной приемки. Чтобы отправить задания этих исполнителей на повторную разметку, настройте правило Повторное выполнение заданий после блокировки.
  7. Установите Перекрытие задания — количество исполнителей, которые должны выполнить задание. Для заданий сравнения изображений — 20.
  8. В блоке Дополнительные настройки укажите Время на страницу заданий. Его должно быть достаточно, в том числе для чтения инструкции и загрузки задания. Например, 600 секунд.
  9. Нажмите кнопку Создать пул.

Загрузка заданий

Скачайте пример загрузочного файла. Его можно найти на странице пула. На его основе подготовьте собственный файл с заданиями.

  1. Нажмите кнопку Загрузить. В открывшемся окне вы можете скачать шаблон файла.
  2. Добавьте в него входные данные. Заголовки столбцов со входными данными содержат слово INPUT. Остальные столбцы оставьте пустыми.
  3. Загрузите задания, выбрав Указать вручную. Установите значение 1.
    Что такое "Указать вручную"?
    Правило распределения заданий на страницах Указать вручную означает, что заданий на странице будет столько, сколько вы укажете в этой настройке.

Запуск пула и получение результатов

  1. Запустите пул, нажав кнопку .
  2. Следите за выполнением в блоке Статистика пула.
  3. Запустите агрегацию результатов, когда пул будет полностью выполнен. Для этого около кнопки Скачать результаты нажмите  → Агрегация результатов по методу Дэвида — Скина.

    В этом варианте файл с заданиями и агрегированными ответами содержит значимость ответа в процентах — поле CONFIDENCE. Результаты показывают, насколько мы можем верить в то, что правая (или левая) картинка лучше. Подробнее об агрегации.

  4. Отслеживайте ход агрегации на странице Операции. По завершении нажмите кнопку Скачать.

Решение проблем

Загрузка файлов с Яндекс Диска
Не загружаются файлы с Яндекс Диска

Если картинки, аудио или видео с Яндекс Диска не отображаются в инструкции или на странице задания, убедитесь, что вы правильно подключили Диск и загрузили файлы.

Как сделать задание, в котором исполнитель должен просматривать видео с Яндекс Диска?

Для создания задания возьмите за основу шаблон для разметки видео.

Чтобы разместить ваши видеоролики на Яндекс Диске, его нужно подключить и настроить проект.

Подробная видеоинструкция об этом в нашем блоге.

Почему в задании по выделению объектов на изображении не отображаются изображения с Яндекс Диска?
Проблема в шаблоне задания. Проверьте, что:
  • Для поля входных данных, куда вы передаете ссылку на файл, в проекте указан тип «строка».
  • В компоненте в шаблоне задания используется выражение proxy.
  • Формат относительных ссылок в файле с заданиями указан верно: <уникальное имя>/<путь и имя файла>.
Подробная инструкцию и видео на странице Использование файлов с Яндекс Диска.
Частые ошибки при подключении Диска и загрузке файлов
  • В настройках проекта в поле Входные данные указан тип ссылка. Необходимо выбрать тип строка.
  • В файле с заданиями указаны абсолютные ссылки на файлы для заданий. Необходимо вставить ссылку вида <уникальное имя>/<путь и имя файла>. Например: yadisk/image1.jpg или yadisk/photos/image1.png.
  • Фото с Яндекс Диска используются в инструкции к заданию в мобильном приложении. Чтобы фото отобразилось в инструкции, используйте только прямые ссылки.
  • Файлы удалены или находятся не в той папке на Диске, на которую ведет ссылка.
  • OAuth-токен не активен. Обновите токен на странице Интеграция.
Чтобы файлы, загруженные на Яндекс Диск (картинки, аудио, видео), отображались у исполнителя, нужно:
  1. Подключить Яндекс Диск в профиле.
  2. Установить тип строка для поля входных данных.
  3. Вставлять ссылку на файл при помощи компонента proxy.

Подробная инструкция

Файлы на Яндекс Диск загружаются слишком медленно. Как ускорить загрузку?

Попробуйте воспользоваться рекомендациями с этой страницы или написать в службу поддержки Яндекс Диска.

Частые ошибки при подключении Диска и загрузке файлов
  • В настройках проекта в поле Входные данные указан тип ссылка. Необходимо выбрать тип строка.
  • В файле с заданиями указаны абсолютные ссылки на файлы для заданий. Необходимо вставить ссылку вида <уникальное имя>/<путь и имя файла>. Например: yadisk/image1.jpg или yadisk/photos/image1.png.
  • Фото с Яндекс Диска используются в инструкции к заданию в мобильном приложении. Чтобы фото отобразилось в инструкции, используйте только прямые ссылки.
  • Файлы удалены или находятся не в той папке на Диске, на которую ведет ссылка.
  • OAuth-токен не активен. Обновите токен на странице Интеграция.
Чтобы файлы, загруженные на Яндекс Диск (картинки, аудио, видео), отображались у исполнителя, нужно:
  1. Подключить Яндекс Диск в профиле.
  2. Установить тип строка для поля входных данных.
  3. Вставлять ссылку на файл при помощи компонента proxy.

Подробная инструкция

Почему в предпросмотре заданий не отображаются изображения с Яндекс Диска?
Проблема в шаблоне задания. Проверьте, что:
  • Для поля входных данных, куда вы передаете ссылку на файл, в проекте указан тип «строка».
  • В компоненте в шаблоне задания используется выражение proxy.
  • Формат относительных ссылок в файле с заданиями указан верно: <уникальное имя>/<путь и имя файла>.

Подробная инструкция и видео.

Как в инструкцию встроить несколько картинок с помощью ссылок на Яндекс Диск?
Чтобы добавить картинки с помощью ссылок на Яндекс Диск:
  1. Используйте ссылку, например: /api/proxy/yadisk/image1.jpg .
  2. В настройках профиля заказчика перейдите в Интеграция с внешними сервисами → Настройки прокси.
  3. Настройте интеграцию с внешними сервисами.

    Подробно об использовании файлов с Яндекс Диска.

Как сделать задание с выбором из трех вариантов картинок, чтобы картинки попарно сравнивались?
  1. Используйте шаблон Сравнение изображений (Side-by-side).
  2. В файле с заданиями укажите ссылки на сравниваемые картинки.
  3. В файле создайте задания, в которых все картинки будут попарно сравниваться:
    • Картинка 1 и Картинка 2

    • Картинка 1 и Картинка 3

    • Картинка 2 и Картинка 3
  4. Обработайте результаты.

Также вы можете изменить проект так, чтобы исполнитель видел сразу 3 картинки и выбирал одну из них.

Как сделать так, чтобы при нажатии на изображение оно увеличивалось максимально?

Добавьте к компоненту для вставки картинки параметры real-size=true и screenshot=true.

Нужно ли подгонять все изображения для задания под один размер, или они могут быть разные?
Размеры изображений могут быть разные.