Библиотеки
Для удобства исследований и интеграции мы разрабатываем несколько библиотек в формате открытого исходного кода. Любой желающий может воспользоваться нашими библиотеками, а также внести свой вклад в развитие проектов.
Toloka-Kit
Это Python-библиотека, которая позволяет ML-инженерам и специалистам по данным масштабировать разметку данных и программно контролировать этот процесс.
Плюсы Toloka-Kit:
- Воспроизводимость процессов разметки.
- Возможность интеграции процессов разметки с вашим ML-окружением.
Для желающих попробовать мы подготовили пример простого пайплайна разметки (представленного на CVPR 2020) по выделению дорожных знаков на изображениях. Несмотря на свою простоту, этот пайплайн играет важную роль в широко известной задаче сегментации изображений для автономных транспортных средств.
Crowd-Kit
Это Python-библиотека, которая реализует большинство популярных алгоритмов краудсорсинга.
Crowd-Kit включает в себя:
- Различные методы агрегирования ответов исполнителей.
- Метрики для оценки качества ответов и исполнителей.
- Методы контроля качества.
Библиотека имеет удобный и простой в использовании интерфейс и работает с Pandas-датафреймами.