Суть краудсорсинга

Декомпозиция — это разделение крупного задания на несколько небольших. Такие задания проще решить и можно поручить разным исполнителям. Декомпозиция лежит в основе концепции краудсорсинга. С неё следует начинать планирование любого краудсорсингового проекта.

Благодаря декомпозиции:

  • снижается порог входа (чем проще задание, тем больше людей выполнят его правильно и быстро);
  • исполнители меньше ошибаются;
  • проще проверять ответы;
  • уменьшаются затраты на проект.

Как это возможно?

Это может показаться нелогичным, но разделение одного крупного задания на несколько небольших помогает снизить затраты на проект. Небольшие задания проще решить без ошибок, поэтому они не нуждаются в перепроверке так часто, как сложные.

Цена
Задачи для повторной оценки
Активные пользователи
Одна сложная задача 
$N
15-25%
6000
Несколько задач поменьше
$0.7N
10-15%
11000

Как понять, что задание нужно декомпозировать?

Способ 1. Если в задании от трёх до пяти вариантов ответа, а инструкция умещается на одной странице без прокрутки — скорее всего, декомпозиция не требуется. В остальных случаях она нужна.

Способ 2. Проведите небольшие эксперименты. Если исполнители слишком медленно разбирают задания или большая часть исполнителей отсеивается из-за нехватки навыков, но с контрольными заданиями всё в порядке — скорее всего, задание слишком сложное и декомпозиция нужна.

Как декомпозировать задания

Сложные, неоднозначные вопросы
Разбивайте их на несколько простых и независимых. Например, не спрашивайте, хорошим или плохим был ответ техподдержки. Спросите: был ли он точным? Вежливым? Грамотным.
Последовательность вопросов или заданий
Предлагайте их по одному. Например, исполнитель получает изображения, на которых нужно обвести светофоры. Сначала спросите, есть ли на картинке светофор. Если да — предложите обвести его. Лучше всего, если одни исполнители отвечают на вопросы, а другие обрабатывают изображения.
Несколько вариантов ответа
Если вариантов слишком много (больше десяти, например) — их сложно удержать в голове. Группируйте ответы по темам. Исполнитель выберет тему и увидит меньше вариантов, и ему будет проще отвечать.
Проект в целом
Чтобы собрать с помощью краудсорсинга качественные данные, требуется не только хорошо сформулировать задания, но и обдумать, как измерить качество. Если его лучше всего оценит человек — создайте проект с отложенной приёмкой. Одна группа выполнит задания, а другая проверит ответы.
Вот несколько примеров, как методы декомпозиции применяются в краудсорсинговых проектах.
Ситуация. Допустим, вы хотите регулярно обновлять информацию о местных организациях. Вы создаёте задание: найти организацию, сфотографировать вход, проверить адрес и время работы. В итоге вы получаете частично правильные ответы. Одни исполнители прислали некачественные снимки, другие указали не то время работы… Как вычистить данные? Платить ли тем, чьи ответы частично верны? Где взять бюджет на повторную разметку объектов, для которых не хватает данных?
Выход. Разделите задание на три независимых проекта:

  • Фотография входа.
  • Адрес.
  • Время работы.
  • С помощью простых механизмов контроля качества выберите исполнителей, которые лучше справляются с каждым видом задания. Повторная разметка некорректных данных не потребуется — вы сэкономите время и деньги.

    Ситуация. Допустим, вы хотите улучшить алгоритм компьютерного зрения для беспилотных автомобилей. Вы показываете исполнителям фотографии улиц и предлагаете обвести светофоры. В ответах вы обнаруживаете много шума. Причина в том, что вы не учли детали (например, встречаются снимки без светофоров). Поэтому вы не можете оценить качество ответов.
    Выход. Разделите проект на последовательные задачи:

    1. Проверить, есть ли светофор на фотографии (классификация).
    2. Обвести светофор рамкой (сегментация объектов).
    3. Проверить, правильно ли выделены светофоры (классификация).

    Чтобы результаты были качественными, отдайте второй и третий проект разным исполнителям. Если исполнители-3 посчитают, что ответы верны, то исполнители-2 получат вознаграждение за работу.

    Ситуация. Допустим, ваш отдел маркетинга должен регулярно составлять небольшие рекламные тексты для онлайн-кампаний. Вы даёте исполнителям задание: написать короткий рекламный текст. Даже если вы обучите исполнителей, вы всё равно рискуете получить некачественные тексты, которые не подходят для рекламы или пестрят ошибками и опечатками. Каждый текст уникален, поэтому едва ли выйдет проверить их качество с помощью методов горизонтального сравнения (например, анализа мнения большинства). Переписывать неудачные тексты тоже весьма дорого.
    Выход. Разделите проект на задачи:

    1. Попросите исполнителей-1 на основе вводной информации написать рекламный текст.
    2. Готовый текст пройдёт автоматическую проверку. Если он соответствует критериям (например, не слишком короткий или длинный, без запрещённых слов, не написан заглавными буквами и т. д.), он попадёт на шаг 3. Критерии вы установите с помощью регулярных выражений или JavaScript, когда будете создавать задание.
    3. Попросите исполнителей-2 проверить тексты. Предложите простые категории для оценки: информативность, соответствие формату, грамотность.
    4. Если в тексте есть мелкие ошибки, которые легко исправить, попросите исполнителей-3 откорректировать текст и верните его на шаг 3. Если текст откровенно плох, вернитесь к шагу 1.

    Авторы некачественных текстов не получат вознаграждение за работу.

    Декомпозиция. А что ещё?

    Декомпозиция — это действительно основа основ. Она напрямую связана с остальными элементами краудсорсинга. Если задание правильно декомпозировано, то:

    • К нему проще написать чёткую и понятную инструкцию.
    • Для каждого шага можно создать лаконичный интерфейс без лишних деталей.
    • Его можно проверить с помощью базовых методов контроля качества (анализ мнения большинства, контрольные наборы заданий).
    • Оно простое, а чем проще задание — тем быстрее его выполнят и тем меньше его стоимость.
    Новости Яндекс.Толоки
    Получайте информацию об обновлениях платформы, партнёрах, обучающих материалах и другие новости.
    Wed Apr 28 2021 17:14:21 GMT+0300 (Moscow Standard Time)