Документация Толоки

Как устроен сервис

Выберите задачу, которую вы хотите решить, заполните заявку на создание проекта и загрузите данные. Мы сами настроим проект и найдем исполнителей. Вам останется только запустить готовый проект и получить результаты разметки.

Преимущества

  • Легкий старт. Запустите ваш проект за считанные минуты, остальное предоставьте нам. Мы сами создаем интерфейс задания, настраиваем контроль качества и делаем агрегацию результатов.
  • Высокое качество. В процессе разметки участвуют экспертные исполнители, которые помогают контролировать качество. Также мы используем лучшие комбинации настроек контроля качества, подходящие для вашей задачи, и применяем алгоритмы оптимизации.
  • Быстрый результат. Вы можете быстро получить хороший результат для проектов с простыми заданиями.
  • Простой и понятный API. Получайте информацию о проектах, создавайте новые, добавляйте элементы в пакеты данных с помощью REST API.

Как работает

  1. Вы выбираете Bespoke-решение и заполняете заявку на создание проекта.

  2. Загружаете элементы разметки.

  3. Происходит модерация проекта.

    1. Если проект проходит модерацию, он переходит в статус Активный.
    2. Если проект не проходит модерацию, он отклоняется с указанием причин.
  4. Вы отправляете данные на разметку.

  5. В Толоке создаются проекты, в которых будет происходить разметка.

  6. Наши эксперты готовят контрольные задания и подсказки для исполнителей.

  7. Происходит обработка элементов разметки.

  8. Мы анализируем полученные ответы, агрегируем их и предоставляем вам результат.

Контроль качества

  • Создаем и постоянно обновляем базу контрольных заданий.
  • Под каждый проект создаем тренировку и экзамен.
  • Используем динамическое перекрытие от 3 до 5 и умную агрегацию результатов.
  • Обеспечиваем качество исполнителей за счет навыков.

Когда использовать

Вы можете выбирать между Bespoke и Self-service-проектами.

В каких случаях стоит выбрать Bespoke:

  • Задания простые. Например, речь идет о классификации объектов.
  • Вы хотите быстро выполнить задачу. Мы обеспечиваем необходимое количество исполнителей. Исполнители размечают ваши задания в режиме 24/7, скорость зависит от задачи и количества данных. Если вам хочется разметить проект быстрее, напишите в службу поддержки.

Self-service-проекты подходят, если:

  • Вы уже разбираетесь в работе платформы.
  • Хотите самостоятельно управлять настройками проекта, бюджетами на разметку и качеством.
  • Хотите использовать результаты в режиме реального времени, не дожидаясь окончания разметки всех данных.
  • Задания сложные или в них присутствует доля субъективности.

Решение проблем

Я не нашел подходящее Bespoke-решение

Если вы не нашли решение, которое бы подходило под ваши цели, напишите нам.

В каком виде заказчик получает ответ, если проект не проходит модерацию?

Модератор выбирает причину из списка и отправляет вам. Вы можете узнать причину в интерфейсе сервиса, пока проект в статусе Отклонен.

Мой проект еще не прошел модерацию. Могу ли я добавлять в него элементы разметки?

Да. Вы можете добавлять элементы разметки в проекты в статусе Активный или В обработке.

Что добавлять в пакет данных?

Пакеты — это наборы данных, которые нужно разметить. Добавляйте в пакеты данных TSV-файлы, с идентификатором и ссылкой на медиафайл.

Пример заполнения TSV-файла:

id  image_url
1   https://yastat.net/s3/tb/static/file-examples/special/street.jpg
Почему цена за элемент разметки в Bespoke выше?

Благодаря работе экспертов обеспечивается качество и скорость выполнения, поэтому цена выше.

Что делать, если что-то идет не так?

Наши эксперты постоянно следят за процессом и исправляют ошибки. Если у вас возникли вопросы или затруднения, напишите в службу поддержки.