Документация Толоки

Библиотеки

    Для удобства исследований и интеграции мы разрабатываем несколько библиотек в формате открытого исходного кода. Любой желающий может воспользоваться нашими библиотеками, а также внести свой вклад в развитие проектов.

    Toloka-Kit

    Это Python-библиотека, которая позволяет ML-инженерам и специалистам по данным масштабировать разметку данных и программно контролировать этот процесс.

    Плюсы Toloka-Kit:

    • Воспроизводимость процессов разметки.
    • Возможность интеграции процессов разметки с вашим ML-окружением.

    Для желающих попробовать мы подготовили пример простого пайплайна разметки (представленного на CVPR 2020) по выделению дорожных знаков на изображениях. Несмотря на свою простоту, этот пайплайн играет важную роль в широко известной задаче сегментации изображений для автономных транспортных средств.

    Crowd-Kit

    Это Python-библиотека, которая реализует большинство популярных алгоритмов краудсорсинга.

    Crowd-Kit включает в себя:

    • Различные методы агрегирования ответов исполнителей.
    • Метрики для оценки качества ответов и исполнителей.
    • Методы контроля качества.

    Библиотека имеет удобный и простой в использовании интерфейс и работает с Pandas-датафреймами.