Вопросы о пресетах

Задание по классификации текстов можно представить как текст и радиобаттоны. Либо текст и чекбоксы, если тематик несколько.

Рекомендуем взять за основу пресет Анализ тональности и модерация контента.

Также вы можете создать свой собственный интерфейс. Все доступные инструменты описаны в Руководстве заказчика.

Вы можете посмотреть, как реализован пресет Расшифровка аудиозаписей — выходным полем которого является строка. В пресете Распознавание текста с изображения (OCR) можно посмотреть, как описать текстовые входные поля. Обратите внимание на то, что если впоследствии вы захотите использовать агрегацию по методу Дэвида — Скина, то необходимо указать допустимые значения.

Такое задание можно сделать на основе пресета по классификации. Покажите картинку с товаром и задайте вопрос: подходит ли товар к запросу? Для ответов добавьте два радиобаттона: «да» и «нет».

Сгенерируйте скриншоты страниц и вручную разметьте на них области, используя пресет Распознавание объектов и выделение областей.

Если в вашем задании много объектов разного типа для выделения, то его стоит декомпозировать. Например, в одном проекте предложить исполнителям выделить только цифры, во втором — дверные проёмы и окна, в третьем — стены, в четвёртом — сантехнику.

Чем проще получится задание, тем оно будет дешевле, и тем качественнее будет итоговый результат. Устанавливайте стоимость разметки одного класса объектов на фото примерно 0,01 $

Используйте пресет Распознавание объектов и выделение областей. Через редактор из этого пресета можно добавить выпадающий список для маркировки выделенного объекта. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Добавить валидацию ответа в зависимости от чекбокса можно с помощью JavaScript. Пример доступен в пресете Сбор данных: Организации.

Чтобы добавить горячую клавишу, в методе onKey пропишите следующее действие:

onKey: function(key) {
    var el = this.getDOMElement().querySelector(".image-annotation-editor__shape-polygon");

    if (key === 'D') {
      el.click();
      el.classList.add('image-annotation-editor__shape_active')
    }

Для замыкания используйте горячую клавишу C.

Вы также можете воспользоваться библиотекой, чтобы настроить горячие клавиши под свои задачи.

Задачу с выделением областей на изображении с помощью Толоки рекомендуем решать в трёх проектах:

1. Сортировка изображений, на которых есть объект.

   1. Создайте задание, используя пресет Классификация изображений.

   2. Отсортируйте изображения, на которых есть искомый объект.

   3. Покажите изображение исполнителю и задайте вопрос: есть объект на картинке? Ответ — Да/Нет.

2. Выделение объекта на изображениях.

   1. Выделите объект на изображениях, которые отобрали в предыдущем проекте. Такой проект у вас уже есть. Задание запускается с отложенной приемкой.

   2. Используйте правила контроля качества: быстрые ответы, отложенная приемка, дооценка после приёмки. Описание правил и примеры.

3. Проверка выделения объектов.

   1. Создайте задание, используя шаблон по выделению областей.

   2. Скройте редактор и задайте вопрос: объект выделен верно? Ответ — Да/Нет.

   3. Во входных данных передайте картинки и координаты размеченных областей из предыдущего задания.

   Запустив полученный пул с перекрытием 3–5 или с динамическим перекрытием, вы сможете агрегировать результаты, а затем загрузить данные для проверки в проект 2.

   Чтобы не допускать к проверке тех исполнителей, которые работали над вторым проектом, назначайте им навык. Используйте этот навык в качестве фильтра в пулах третьего проекта.

Добавить валидацию ответа в зависимости от чекбокса можно с помощью JavaScript. Пример доступен в пресете Сбор данных: Организации.

Основные варианты решения:

• Выделите произвольную область на картинке (например, поставьте квадрат в правый верхний угол). В этом случае в инструкции к проекту для проверяющих это тоже должно быть отражено.

• Предложите пропустить задание и сообщить о нём в личном сообщении. Сообщения проверяются заказчиком и, если объекта действительно нет, задание удаляется из пула путем обнуления перекрытия.

• Добавьте в интерфейс дополнительный чекбокс «нет объекта». Настройте в JS проверку, чтобы в задании был выделен объект, либо проставлен чекбокс. В этом случае в интерфейс задания для контроля также нужно добавить информацию о значении этого чекбокса.

Для краудсорсинга такое задание лучше декомпозировать. Чем проще задание, тем оно будет дешевле и качественнее итоговый результат. Стоимость разметки одного класса объектов на фото может составить примерно 0,01 $.

Возьмите за основу пресет Распознавание объектов и выделение областей. Пошаговое руководство по созданию проекта такого типа вы найдёте на этой странице.

Редактор, который используется в пресете, позволяет добавлять выпадающий список для маркировки выделенного объекта. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Можно сделать выделение + выпадающий список с выбором категории. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Координаты относительно самого изображения.

Проблема в шаблоне задания. Проверьте, что:

• Для поля входных данных, куда вы передаете ссылку на файл, в проекте указан тип «строка».

• В компоненте в шаблоне задания используется выражение proxy.

• Формат относительных ссылок в файле с заданиями указан верно: <уникальное имя>/<путь и имя файла>.

Подробная инструкция и видео на странице Использование файлов с Яндекс Диска.

В стандартном пресете для выделения областей использовать контрольные задания не получится. Для того, чтобы ответ засчитался как верный, выделенный исполнителем объект должен в точности совпасть с эталоном. А это практически невозможно. Поэтому в файле с заданиями оставьте поле GOLDEN пустым или просто удалите все столбцы, кроме INPUT.

Использование обучения и основного пула с типом Тренировка в проекте по выделению областей на картинке не принесет результата, так как для правильного ответа необходимо, чтобы выделение исполнителя полностью совпало с эталоном. А это практически невозможно.

Поэтому такие задания обычно запускаются с отложенной приемкой: исполнитель дает ответ, а затем после проверки, задание отклоняется или принимается.

Для предварительного отбора исполнителей подойдет так называемое «экзаменационное задание». Проверяйте задания и выставляйте навык по проценту принятых ответов. Для этого добавьте в пул правило «Результаты проверки». Чтобы к разметке основного пула приступили только хорошие исполнители, поставьте в нем фильтр по навыку.

Чтобы при нажатии на кнопку загрузки картинки запускалась камера, а не галерея, укажите в компоненте Кнопка для загрузки картинки camera=true.

В мобильных приложениях исполнители могут прикреплять фотографии из дефолтной галереи (iOS) или через Google photo (Android). Чтобы ограничить возможность добавления картинок из сети, укажите в компоненте requiredCoordinates=true. В этом случае система не позволит воспользоваться картинками без геотегов.

Подробнее о настройке компонента для загрузки картинки .

1. Используйте пресет Сравнение изображений (Side-by-side).

2. В файле с заданиями укажите ссылки на сравниваемые картинки.

3. В файле создайте задания, в которых все картинки будут попарно сравниваться:

   • Картинка 1 и Картинка 2

   • Картинка 1 и Картинка 3

   • Картинка 2 и Картинка 3

4. Обработайте результаты.

Также вы можете изменить проект так, чтобы исполнитель видел сразу 3 картинки и выбирал одну из них.

1. Создать проект из пустого пресета.

2. Напишите свой вопрос в блоке HTML.

3. Если ответ должен быть развёрнутый, то добавьте нужное количество компонентов для ввода текста.

4. Если ответ должен быть коротким, то добавьте нужное количество компонентов для ввода строки.

5. Для каждого из компонентов придумайте своё название (name) и создайте соответствующее количество выходных полей с типом строка с таким же названием. В них будут записываться ответы.

6. Сделайте все выходные поля обязательными.

7. Входное поле сделайте техническим. Оно будет использоваться только для создания файла с заданиями.

8. Придумайте название входному полю и укажите для него тип строка, как это сделано в пошаговом руководстве по созданию опроса.

В опросе имеется техническое входное поле. В него можно передать любую информацию — она не будет видна исполнителям.

Загрузите одно задание и в перекрытии укажите количество человек, которое хотите опросить.