Частые ошибки заказчиков

Декомпозируйте задания

• Вертикальная декомпозиция: разделите задачу на несколько проектов.

• Горизонтальная декомпозиция: применяйте отложенную приемку с проверкой другими исполнителями.

• Для большей эффективности комбинируйте оба метода.

  Пример: в первом проекте исполнители определяют класс объектов на изображении, во втором — выделяют области с этими объектами. Правильность их ответов проверяют другие исполнители.

  Подробнее о декомпозиции.

Поработайте над инструкцией

• Подготовьте простую и короткую инструкцию для исполнителей — не длиннее страницы А4.

• Предложите исполнителям выполнить простую задачу. Не ждите готовых выводов.

  Плохой пример: «Соответствует ли это изображение инструкции?»

  Хороший пример: «Есть ли на этом изображении люди?»

Подробнее о том, как написать хорошую инструкцию.

Проверьте задания перед запуском проекта

• Создайте задания в Песочнице и попробуйте выполнить их самостоятельно.

• Запустите проект для ограниченной аудитории исполнителей и проведите анализ обратной связи.

Постройте удобный интерфейс

• Используйте готовые шаблоны проектов.

• Создавайте задания с простым интерфейсом и рационально используйте пространство. Уберите необязательные и дублирующие элементы.

• Добавляйте горячие клавиши. Например, горячие клавиши можно назначить для запуска или остановки видео.

• Если вы запускаете задания, которые понадобится выполнять в мобильных приложениях, адаптируйте интерфейс.

  Подробнее о том, как адаптировать задания для мобильных устройств.

Настройте проверку действий исполнителя и формата данных

• Чтобы проверять действия исполнителя, используйте валидацию. Например, убедитесь, что исполнитель запустил проигрывание медиаконтента или воспроизвел его полностью.

• С помощью регулярных выражений убедитесь, что выходные данные имеют нужный формат. Например, проверьте формат ссылки или номера телефона.

• Сведите к минимуму взаимодействие исполнителя с внешними ресурсами.

  Важно

  Есть ограничения на задания с переходом на внешние сайты.

  Если вы используете ссылки на внешние ресурсы, убедитесь, что исполнитель перешел по ним.

• Используйте правильный формат файла.

• Применяйте готовые шаблоны файлов. Их вы можете найти на странице пула.

• Размещайте задания таким образом, чтобы выполнение одной страницы заданий занимало не более 5 минут, а лучше 1–2 минуты. Как правило, на одной странице можно размещать 20–40 простых заданий, 5–10 заданий средней сложности или 1–2 сложных задания.

• Используйте «умное смешивание». Алгоритм сам распределит основные, обучающие и контрольные задания на странице.

• Проверьте задания в предпросмотре пула. Убедитесь, что они верно отображаются и выполнение одной страницы заданий не занимает много времени.

Отберите исполнителей

С помощью фильтров можно отсеять тех исполнителей, которым не подходят ваши задания.

• Используйте таргетинги по языку и региону — в Толоке есть исполнители из разных стран.

• Отбирайте исполнителей по данным профиля, техническим характеристикам их устройств или навыкам.

Подробнее о фильтрах.

Установите правила контроля качества

• Учитывайте, какой тип приемки будет использоваться:

  Для заданий с автоприемкой лучшими правилами контроля качества являются контрольные задания, мнение большинства, быстрые ответы, повторное выполнение заданий после блокировки исполнителя.

  Для заданий с отложенной приемкой: быстрые ответы, результаты проверки.

  Подробнее о правилах контроля качества.

• Выбирайте и комбинируйте правила в зависимости от содержания вашего проекта. Примеры выбора правил приведены в туториалах для популярных задач.

• Указывайте причину бана (она видна только вам) и причину отклонения заданий (ее увидят исполнители).

Настройте правила контроля качества

• Избегайте выбора взаимоисключающих настроек.

  Например, в пуле установлено перекрытие 3, а в правиле контроля качества Мнение большинства указано, что считать большинством нужно 5 ответов на задание. Тогда при перекрытии равном 3, не наберется количество ответов, необходимое для расчета мнения большинства.

• Проверьте, будет ли правило работать так, как вы задумали. Для этого запустите небольшой пул с примером данных или потренируйтесь в Песочнице.

• Примеры настройки можно посмотреть на страницах из списка правил контроля качества.

• Если вы остановили обучение специально или открываете его с перерывами, так как не нуждаетесь в большом потоке исполнителей, то всё в порядке.

• Когда разметка на проекте остановлена и вы больше не отбираете исполнителей для экзаменационного пула, который остался открытым, просто закройте его.

• Если вы не нуждаетесь в регулярной разметке и не хотите, чтобы исполнители проходили обучение зря, закройте пул, с которым связано обучение.

• В случае если вы не планировали закрывать обучение или не знали, что обучение должно быть открыто, внесите нужные изменения в настройки проекта.

• Перечитайте Соглашение с заказчиком, чтобы убедиться, что ваш проект соответствует требованиям.

• Декомпозируйте задание.

• Перепишите инструкцию, чтобы она стала проще и понятнее.

• Попробуйте выполнить своё задание в предпросмотре пула, а лучше — в Песочнице. Убедитесь, что все работает правильно.