Классификация видео

Совет.

Сначала запустите проект в Песочнице. Так вы сможете избежать ошибок и потраченных средств, если окажется, что ваше задание не работает.

проекты этого типа предназначены для классификации видео. Вы можете использовать их для:
  • модерации контента;
  • распределения видео по заданным категориям;
  • оценки, насколько видео нравится исполнителям;
  • оценки видео на наличие шумов и других визуальных недостатков.

Например, у вас есть много видеороликов, и нужно определить, какие из них более качественные. Для этого создайте задание, в котором исполнители посмотрят видео и оценят их качество.

  1. Перед началом
  2. Создайте проект
  3. Создайте пул
  4. Загрузите задания
  5. Получите результаты

Перед началом

  • Чтобы использовать в проекте свои видео, вам нужно загрузить их в хранилище, из которого вы сможете получить ссылки на файлы. Например, ваш сервер, видеохостинг или облачное хранилище:

    • Инструкция по использованию файлов с Yandex Cloud.
    • Инструкция по использованию файлов с Яндекс Диска.
    • Если вы используете видео с YouTube, замените ссылки вида https://www.youtube.com/watch?v=example на https://www.youtube.com/embed/example.
  • Убедитесь, что видео отображаются одинаково в компьютерной и мобильной версиях Толоки. Видео может не воспроизводиться или воспроизводиться неверно в мобильной версии. В этом случае при создании пула ограничьте доступ исполнителям с мобильных устройств.

    Подробнее о настройке заданий для мобильных устройств.

    Примечание.

    Видеоплеер поддерживает только формат .mp4 с кодировкой H.264 или H.265.

  • Если у вас сложный проект, зарегистрируйтесь в песочнице и создайте проект там. В ней вы сможете:

    1. Протестировать настройки проекта в качестве исполнителя.
    2. Затем перенести их в основную версию Толоки.
    3. Запустить для реальных исполнителей.

    Так вы сможете избежать ошибок и напрасно потраченных средств, если окажется, что ваше задание не работает.

Создайте проект

Откройте Толоку для заказчика.

В интерфейсе:
  1. Выберите шаблон:

    1. Нажмите Создать проект.

    2. Выберите шаблон Классификация жестов рук.
  2. Заполните общую информацию:

    1. Дайте проекту понятное название и краткое описание. Их увидят исполнители в списке доступных заданий.

    2. По желанию добавьте Приватный комментарий.

    3. Нажмите Сохранить.

  3. Отредактируйте интерфейс задания в выбранном редакторе:

    Конструктор шаблонов
    Редактор HTML/CSS/JS
    1. Интерфейс задания описывает, как будут расположены элементы задания.

      Для этого проекта воспользуйтесь готовым шаблоном, где уже настроена валидация, горячие клавиши и внешний вид задания. Исполнитель не сможет отправить задание, если не выберет вариант ответа.

      Подробнее в Справке конструктора шаблонов:

    2. Чтобы определить какие данные будете передавать исполнителю и получать в ответ, необходимо создать поля входных и выходных данных.

      Что такое входные и выходные данные?

      Входные данные — типы объектов, которые будут подаваться исполнителю для выполнения задания. Например, текст, картинка, географические координаты.

      Выходные данные — типы объектов, которые будут получены после выполнения задания. Например, один из нескольких вариантов ответа, введенный текст или загруженный файл.

      Поля входных данных создаются из кода на вкладке Пример входных данных.

      Поля выходных данных создаются на основе того, в каких компонентах используется data.output, а также какие значения в нем разрешены.

      Чтобы увидеть поля входных и выходных данных, нажмите Показать спецификации.

      Подробнее о полях входных и выходных данных в Справке конструктора шаблонов.

      В данном проекте:

      • Поле входных данных: video — ссылка для загрузки видео.

      • Поле выходных данных: result — строка, в которую будет записан ответ исполнителя.

    1. Интерфейс задания описывает, как будут расположены элементы задания.

      В HTML-интерфейсе используйте стандартные теги HTML и специальные выражения в двойных фигурных скобках для полей входных и выходных данных.

      Для этого проекта оставьте блоки HTML, JS и CSS без изменений.

      Если вы используете видео с YouTube
      Добавьте в интерфейс элемент Встроенный фрейм:
      <iframe src={{video}} width="560" height="315" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
      Скопировано
    2. В блоке Спецификация данных задаются поля входных и выходных данных.

      Что такое входные и выходные данные?

      Входные данные — типы объектов, которые будут подаваться исполнителю для выполнения задания. Например, текст, картинка, географические координаты.

      Выходные данные — типы объектов, которые будут получены после выполнения задания. Например, один из нескольких вариантов ответа, введенный текст или загруженный файл.

      Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.

      В данном проекте:

      • Поле входных данных: video — ссылка для загрузки видео.

        Внимание. Если вы используете видео с YouTube, для входного поля video укажите тип данных строка.
      • Поле выходных данных: result — строка, в которую будет записан ответ исполнителя.

    3. Нажмите кнопку Предпросмотр задания, чтобы увидеть получившееся задание.

      Примечание. В предварительном просмотре проекта отображается одно задание со стандартными данными. Количество заданий на странице вы сможете настроить далее.
    4. В открывшемся окне проверьте работу опций задания. В правом нижнем углу нажмите Отправить.

    5. Чтобы выйти из режима предпросмотра, в левом нижнем углу нажмите Выйти.

    6. Сохраните изменения.

    1. Напишите краткую и ясную инструкцию. Опишите в ней, что надо сделать, и приведите примеры.

      Вы можете подготовить инструкцию в формате HTML и вставить ее в редактор. Чтобы переключиться в режим HTML, нажмите <>.

    2. Нажмите Завершить.

Подробнее о работе с проектом читайте в разделе проект.

Создайте пул

Пул — это набор оплачиваемых заданий, которые одновременно выдаются исполнителям.

  1. Откройте страницу проекта по оценке качества видео.

  2. Нажмите кнопку Добавить пул.

  3. Укажите Название пула.

  4. (опционально) Укажите приватное описание:

    1. Включите опцию Добавить приватное описание.

    2. В поле Приватное описание введите описание пула. Эта информация доступна только вам.

  5. В блоке Аудитория добавьте Фильтры для отбора исполнителей.

    • Чтобы задание было доступно только исполнителям, владеющим русским языком:

      1. Нажмите Добавить фильтр.

      2. Добавьте фильтры Регион по номеру телефона и Языки: выберите исполнителей из России, Украины, Казахстана и Беларуси, которые в своем профиле отметили знание русского языка.

    • Задания в пулах по умолчанию будут доступны для веб-версии Толоки и мобильного приложения. Если вы хотите изменить настройки по умолчанию и ограничить видимость задачи для любой из версий, добавьте фильтр Клиент и выберите нужное значение: Веб-версия Толоки или Мобильная Толока.

  6. (опционально) В разделе Соотношение скорости и качества укажите желаемый уровень качества. Повышение уровня качества может снизить скорость выполнения заданий, так как пул будет доступен меньшему числу исполнителей. Подробнее об этом читайте в разделе Соотношение скорости и качества.

  7. В блоке Цена установите цену за страницу заданий, например 0,02 $.

    Что такое страница заданий?

    На одной странице может отображаться одно или несколько заданий. Если задания простые, то можно добавлять 10–20 заданий на одну страницу. Не рекомендуем создавать длинные страницы, поскольку это снизит скорость загрузки данных у исполнителя.

    Исполнитель получит оплату, только если выполнил все задания на странице.

    Количество заданий на странице вы определите при загрузке заданий.

    Как определить справедливую цену?

    Общее правило формирования цены — чем больше времени исполнитель тратит на выполнение, тем выше цена.

    Вы можете зарегистрироваться в Толоке как исполнитель и узнать, сколько платят другие заказчики за задания.

  8. Правила контроля качества позволяют отсеивать невнимательных исполнителей. В блоке Контроль качества добавьте:

    • Контрольные задания — отсеивает исполнителей, которые часто ошибаются в контрольных заданиях.

      1. Нажмите Добавить блок контроля качества.

      2. Найдите в списке блок Правила и выберите пункт Контрольные задания.

      3. Задайте правило для контрольного задания: если количество ответов на контрольные вопросы ≥ 3 и процент правильных ответов на контрольные вопросы < 60, то заблокировать исполнителя на проекте на 10 дней. В качестве причины укажите Контрольное задание.



        Это означает, что если исполнитель выполнил более трех контрольных заданий и дал неправильные ответы более чем в 60% из них, он будет заблокирован и не сможет выполнять задания на этом проекте в течение 10 дней.

    • Быстрые ответы — отсеивает исполнителей, которые отвечают слишком быстро.

      1. В поле Учитывать последних страниц заданий введите количество последних страниц заданий, выполненных исполнителем. Например, 5.
      2. В поле Минимальное время на страницу заданий укажите время в секундах. Например, 20.
      3. Задайте правило для быстрого ответа: если количество быстрых ответов ≥ 1, то заблокировать у меня на 10 дней. В поле Причина введите Быстрые ответы.



        Это означает, что если исполнитель выполнит хотя бы одну страницу заданий быстрее, чем за 20 секунд, он не сможет выполнять ваши задания 10 дней.

    • Мнение большинства — контроль на основе ответов большинства исполнителей.

      1. В поле Считать большинством укажите 2.

      2. Задайте правило: если количество ответов ≥ 5 и процент правильных ответов < 50, то заблокировать исполнителя на проекте на 10 дней. В качестве причины укажите Не совпадает с большинством.



        Это означает, что если исполнитель выполнил более десяти заданий, и его ответы не совпали с мнением большинства других исполнителей, он не сможет выполнять задания на этом проекте в течение 10 дней.

        Примечание.

        Правило начинает действовать, когда количество ответов на задание равно перекрытию. Чтобы быстрее получить нужное число ответов, включите опцию Сохранять порядок заданий в настройках пула.

    • Капча — предотвращает выполнение заданий роботами.

      1. В поле Учитывать последних вводов капчи введите количество последних страниц заданий, выполненных исполнителем. Например, 10.
      2. Задайте правило для капчи: если количество ответов ≥ 5 и процент правильных ответов< 65, то заблокировать на проекте на 10 дней. В поле Причина введите Капча.



        Это означает, что если исполнитель верно вводит капчу менее чем в 65% случаев, он не сможет выполнять задания на проекте в течение 10 дней.

    Примечание.

    Вы можете скопировать настройки контроля качества из другого пула. Для этого в разделе Исполнители нажмите кнопку Скопировать настройки из....

  9. Установите перекрытие — количество исполнителей, которые должны выполнить задание. В разделе Перекрытие укажите значение поля Перекрытие. Для заданий этого типа, как правило, 3-5.

  10. Укажите Дополнительные настройки пула:

    1. Укажите значение поля Время на страницу заданий в секундах. Времени должно быть достаточно для чтения инструкции, загрузки задания, просмотра видео и ответа. Например, 1200 секунд.
    2. Включите опцию Сохранять порядок заданий.
  11. Нажмите кнопку Сохранить.

Загрузите задания

Скачайте пример загрузочного файла. Его можно найти на странице пула. На его основе подготовьте собственный файл с заданиями.

  1. На странице пула нажмите кнопку Загрузить. В открывшемся окне вы можете скачать шаблон файла с заданиями.

  2. Настройте параметры загрузки файла:

    1. Выберите Умное смешивание.

    2. В поле Основных заданий укажите 9.

    3. В поле Обучающих заданий укажите 0.

    4. В поле Контрольных заданий укажите 1.

    5. Нажмите кнопку Загрузить.

    6. В открывшемся окне выберите файл с заданиями для загрузки и нажмите кнопку Открыть.

    7. В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.

  3. Создайте контрольное задание:

    1. Нажмите кнопку Разметить.

      Примечание. Если вместо умного смешивания было выбрано другое, необходимо нажать кнопку Разметить. Если такой кнопки нет, удалите файл и загрузите заново.
    2. В открывшемся окне нажмите кнопку Создать контрольные.

    3. В открывшемся окне в разделе Создать контрольное задание слева отметьте пункт result.

    4. Выберите правильный ответ на вопрос.

    5. Нажмите кнопку Сохранить и перейти к следующему.

    6. Нажмите Оцените качество видео, чтобы выйти из режима разметки заданий.

    Примечание.

    В небольших пулах контрольные задания должны составлять около 10% от всех заданий. Включайте разные варианты правильных ответов в равных количествах. Посмотрите распределение ответов на странице Разметить задания на вкладке Контрольные.

  4. Нажмите кнопку , чтобы запустить пул.

Получите результаты

  1. Рядом с кнопкой Скачать результаты нажмите кнопку .

  2. Выберите пункт списка Агрегация результатов по методу Дэвида — Скина. Подробнее об Агрегации результатов по методу Дэвида — Скина.

  3. В открывшемся окне нажмите Да.

  4. Наверху страницы нажмите Перейти к списку операций.

  5. Когда операция завершится, скачайте файл с результатами. Для этого в столбце Файлы нажмите Скачать.

Совет.

Для того чтобы избежать нежелательных ошибок, сначала рекомендуем выполнить проект в Песочнице.

Решение проблем

Как сделать задание, в котором исполнитель должен просматривать видео с Яндекс Диска?

Для создания задания возьмите за основу шаблон для разметки видео.

Чтобы разместить ваши видеоролики на Яндекс Диске, его нужно подключить и настроить проект.

Подробная видеоинструкция об этом в нашем блоге.

Как в задание добавить видео, которое размещено на Яндекс Диске?

Можно взять за основу шаблон для разметки видео.

Чтобы разместить ваши видеоролики на Яндекс Диске, его нужно подключить и настроить проект.

Подробная видеоинструкция есть в нашем блоге.

Не загружаются файлы с Яндекс Диска

Если картинки, аудио или видео с Яндекс Диска не отображаются в инструкции или на странице задания, убедитесь, что вы правильно подключили Диск и загрузили файлы.

Как сделать задание, в котором исполнитель должен просматривать видео с Яндекс Диска?

Для создания задания возьмите за основу шаблон для разметки видео.

Чтобы разместить ваши видеоролики на Яндекс Диске, его нужно подключить и настроить проект.

Подробная видеоинструкция об этом в нашем блоге.

Почему в задании по выделению объектов на изображении не отображаются изображения с Яндекс Диска?
Проблема в шаблоне задания. Проверьте, что:
  • Для поля входных данных, куда вы передаете ссылку на файл, в проекте указан тип «строка».
  • В компоненте в шаблоне задания используется выражение proxy.
  • Формат относительных ссылок в файле с заданиями указан верно: <уникальное имя>/<путь и имя файла>.
Подробная инструкцию и видео на странице Использование файлов с Яндекс Диска.
Частые ошибки при подключении Диска и загрузке файлов
  • В настройках проекта в поле Входные данные указан тип ссылка. Необходимо выбрать тип строка.
  • В файле с заданиями указаны абсолютные ссылки на файлы для заданий. Необходимо вставить ссылку вида <уникальное имя>/<путь и имя файла>. Например: yadisk/image1.jpg или yadisk/photos/image1.png.
  • Фото с Яндекс Диска используются в инструкции к заданию в мобильном приложении. Чтобы фото отобразилось в инструкции, используйте только прямые ссылки.
  • Файлы удалены или находятся не в той папке на Диске, на которую ведет ссылка.
  • OAuth-токен не активен. Обновите токен на странице Интеграция.
Чтобы файлы, загруженные на Яндекс Диск (картинки, аудио, видео), отображались у исполнителя, нужно:
  1. Подключить Яндекс Диск в профиле.
  2. Установить тип строка для поля входных данных.
  3. Вставлять ссылку на файл при помощи компонента proxy.

Подробная инструкция

Файлы на Яндекс Диск загружаются слишком медленно. Как ускорить загрузку?

Попробуйте воспользоваться рекомендациями с этой страницы или написать в службу поддержки Яндекс Диска.