Проект 3. Верно ли выделены объекты на изображении
В этом Customizable-проекте исполнители будут определять, верно ли на изображениях из первого проекта были выделены дорожные знаки во втором проекте.
- Создайте проект
- Создайте пул
- Подготовьте и загрузите TSV-файл с результатами
- Скачайте проверенные результаты
- Проверьте выполненные задания
Создайте проект
- В интерфейсе:
-
Выберите шаблон:
Нажмите кнопку + Создать проект.
- Выберите шаблон Выделение областей на изображении.
Заполните общую информацию:
- В поле Название для исполнителей проекта введите
Верно ли выделены дорожные знаки
. - В поле Описание для исполнителей введите
Посмотрите на изображение и решите, верно ли выделены дорожные знаки
. - По желанию добавьте Приватный комментарий.
- Нажмите кнопку Сохранить.
Отредактируйте интерфейс задания:
Подготовьте Интерфейс задания:
Подключите библиотеку $TOLOKA_ASSETS/js/image-annotation.js (нажмите
в блоке Интерфейс задания на странице проекта).
В блоке HTML замените текущий код на следующий:
<!-- редактор для выделения областей с возможностью заранее добавить область --> {{field type="image-annotation" name="object" src=image annotations=selection}} <!-- кнопки для ответов --> {{field type="radio" name="result" value="OK" label="Верно" hotkey="1"}} {{field type="radio" name="result" value="BAD" label="Неверно" hotkey="2"}}
СкопированоВ блоке CSS замените текущий код на следующий:
/* скрыть кнопку для выделения полигоном */ .image-annotation-editor__shape-polygon { display: none; } /* настроить высоту интерфейса */ .image-annotation-editor__annotation-layer { height: max-content; }
Скопировано
Настройте раздел Спецификация данных:
Нажмите кнопку
, чтобы переключить графический режим на формат JSON.
Удалите шаблонный код из поля Входные данные и введите следующий код:
{ "image": { "type": "url", "hidden": false, "required": true }, "selection": { "type": "json", "hidden": false, "required": false }, "assignment_id": { "type": "string", "hidden": true, "required": true } }
СкопированоУдалите шаблонный код из поля Выходные данные и введите следующий код:
{ "result": { "type": "string", "hidden": false, "required": true } }
Скопировано
Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.
Чтобы проверить работу интерфейса:
Нажмите кнопку
, чтобы увидеть получившееся задание.
Примечание. В предварительном просмотре проекта отображается одно задание со стандартными данными. Количество заданий на странице вы сможете настроить далее.- Нажмите Изменить входные данные.
- В поле selection добавьте пример входных данных:
[{"data":{"p1":{"x":0.472,"y":0.413},"p2":{"x":0.932,"y":0.877}},"type":"rectangle"}, {"data":[{"x":0.143,"y":0.807},{"x":0.317,"y":0.87},{"x":0.511,"y":0.145},{"x":0.328,"y":0.096},{"x":0.096,"y":0.554}],"type":"polygon"}]
Скопировано Если все в порядке, закройте вкладку с предпросмотром. Если нет — проверьте данные, которые вы вставляли в блоки кода.
Примечание. Вы не сможете создать интерфейс этого проекта в Конструкторе шаблонов.Сохраните изменения.
Напишите инструкцию для исполнителей:
Текст инструкции:
Посмотрите на изображение и ответьте на вопрос: Все ли дорожные знаки выделены верно? Если да, нажмите Да. Если нет, нажмите Нет. Например, дорожные знаки выделены верно, поэтому правильный ответ Да.
СкопированоСовет. Если вы хотите добавить в инструкцию примеры выполнения задания, выполните его самостоятельно в режиме предпросмотра. Сделайте скриншоты, загрузите их на фотохостинг, ваш Яндекс Диск или в облачное хранилище и вставьте ссылки на изображения в инструкцию, нажав кнопкуна панели инструментов.
Нажмите кнопку Завершить.
Создайте пул
Откройте страницу проекта с именем Верно ли выделены дорожные знаки?.
Нажмите кнопку Добавить пул.
Укажите Название пула.
(опционально) Укажите Приватный комментарий. Эта информация доступна только вам.
В блоке Аудитория в разделе Исполнители отфильтруйте исполнителей:
Нажмите Добавить фильтр.
Добавьте фильтры Регион по номеру телефона и Языки: выберите исполнителей из России, Украины, Казахстана и Беларуси, которые в своем профиле отметили знание русского языка.
Добавьте еще один фильтр. Нажмите Добавить фильтр.
Найдите в списке блок Навыки и выберите навык Выбрать свой навык.
В поле Навыки выберите Выделение областей.
В поле ? укажите
=
.Поле Отсутствует оставьте пустым.
Задания в пулах по умолчанию будут доступны для веб-версии Толоки и мобильного приложения. Если вы хотите изменить настройки по умолчанию и ограничить видимость задачи для любой из версий, добавьте фильтр Клиент и выберите нужное значение: Веб-версия Толоки или Мобильная Толока.
(опционально) В разделе Соотношение скорости и качества укажите желаемый уровень качества. Повышение уровня качества может снизить скорость выполнения заданий, так как пул будет доступен меньшему числу исполнителей. Подробнее об этом читайте в разделе Соотношение скорости и качества.
В блоке Цена в поле Цена за страницу заданий укажите цену. Например,
0.01
.В блоке Контроль качества задайте настройки контроля качества для пула:
Нажмите Добавить правило контроля качества.
Найдите в списке блок Правила и выберите пункт Мнение большинства.
В поле Считать большинством укажите
2
.Задайте правило: если количество ответов ≥ 10 и процент правильных ответов < 50, то заблокировать исполнителя на проекте на 10 дней. В качестве причины укажите Не совпадает с большинством.
Примечание.Правило начинает действовать, когда количество ответов на задание равно перекрытию.
Подробнее о контроле качества читайте в разделе Контроль качества.
В разделе Перекрытие задания в поле Количество исполнителей, которые должны выполнить каждое задание укажите
3
.В блоке Дополнительные настройки:
В поле Время на страницу заданий укажите
600
.Включите опцию Сохранять порядок заданий.
Нажмите кнопку Создать пул.
Подготовьте и загрузите TSV-файл с результатами
Подготовьте TSV-файл с заданиями:
- Откройте в редакторе текста или электронных таблиц файл, полученный после агрегации результатов во втором проекте.
Столбец
INPUT:image
оставьте без изменений.Измените имя столбца
OUTPUT:result
наINPUT:selection
.Измените имя столбца
ASSIGNMENT:assignment_id
наINPUT:assignment_id
.Удалите столбцы
ACCEPT:verdict
иACCEPT:comment
.- Добавьте входные данные, например:
и сохраните файл в формате[{""type"":""rectangle"",""data"":{""p1"":{""x"":0.2421,""y"":0.98871},""p2"":{""x"":0.93663,""y"":0.8776}}}]
Скопированоtsv
.
Совет.Вы можете подготовить TSV-файл в программе Блокнот. Чтобы перенести данные в Microsoft Excel, используйте Мастер импорта текста, отключив опцию Ограничитель текста.
Загрузите получившийся TSV-файл в пул Верно ли выделены дорожные знаки? :
Откройте пул Верно ли выделены дорожные знаки?
Нажмите кнопку Загрузить. В открывшемся окне настройте параметры загрузки файла.
Выберите Указать вручную.
В поле Заданий на странице укажите
10
.Нажмите кнопку Загрузить.
В открывшемся окне выберите TSV-файл с заданиями для загрузки и нажмите кнопку Открыть.
В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.
- На странице пула нажмите кнопку Предпросмотр. Убедитесь, что в задании отображаются изображения с выделенными объектами.Совет.
Если выделенных объектов нет, проверьте, правильно ли выставлены кавычки в TSV-файле в столбце INPUT:selection. Убедитесь, что параметры интерфейса заданы верно.
Нажмите кнопку
, чтобы запустить пул.
Внимание.Поставленные задачи выполнят настоящие исполнители Толоки. Перепроверьте конфигурацию вашего проекта перед запуском пула.
Скачайте проверенные результаты
Рядом с кнопкой Скачать результаты нажмите кнопку
.
Выберите из списка пункт Агрегация результатов по методу Дэвида — Скина. Подробнее об Агрегации результатов по методу Дэвида — Скина.
В открывшемся окне нажмите Да.
Наверху страницы нажмите Перейти к списку операций.
Примечание.Отслеживайте прогресс операции, периодически обновляя страницу. Агрегация занимает от 5 до 20 минут, в это время вы можете приступить к оформлению другого проекта.
Когда операция завершится, скачайте TSV-файл с результатами. Для этого в столбце Файлы нажмите Скачать.
Используйте TSV-файл с результатами во втором проекте.
Проверьте выполненные задания
Так как в настройках пула во втором проекте включена опция Отложенная приёмка, вы должны проверить ответы исполнителей в течение срока, установленного в поле Срок проверки.
Вы можете проверить результаты двумя способами:
- В TSV-файле с результатами.
- В интерфейсе пула.
Откройте в редакторе текста или электронных таблиц TSV-файл, полученный после агрегации результатов.
Совет. Вы можете воспользоваться онлайн-редактором электронных таблиц. Перейдите на Яндекс Диск, подключенный к вашему аккаунту заказчика. Нажмите . Скопируйте в таблицу агрегированные данные из TSV-файла.Подготовьте TSV-файл:
Добавьте столбец
ACCEPT:verdict
— результат проверки.Добавьте столбец
ACCEPT:comment
— комментарий для исполнителя, если ответ был отклонен. Например, какая часть инструкций не была выполнена.Измените имя столбца
INPUT:assignment_id
наASSIGNMENT:assignment_id
.
Заполните столбцы
ACCEPT:verdict:
иACCEPT:comment:
:- Если агрегированный результат задания правильный, поставьте
+
, и задание будет принято. - Если агрегированный результат задания неправильный или не открывается, поставьте
-
, и задание будет отклонено. Введите причину отклонения задания в полеACCEPT:comment:
, например,Объект не выделен или выделен неверно.
Совет. Для отбора изображений на устройствах с Linux и MacOS вы можете воспользоваться командами awk:awk 'BEGIN {FS=OFS="\t";} NR>1 {if($4~"OK"){ print $1, "+", ""; }else{ print $1, "-", "Объект не выделен или выделен неверно.";}}' <post_accept_res>.tsv > <review_res>.tsv
СкопированоУдалите все остальные столбцы.
Сохраните файл в формате
tsv
.Откройте страницу пула во втором проекте.
Нажмите кнопку Проверить задания.
Нажмите кнопку Загрузить результаты.
В открывшемся окне выберите TSV-файл с результатами для загрузки и нажмите кнопку Открыть.
В открывшемся окне сравните количество заданий в поле Успешно обработано с полем Всего выполненных заданий на странице пула.
Нажмите кнопку Добавить.
В открывшемся окне нажмите кнопку Закрыть.
При настройке пула во втором проекте вы включили опцию Повторное выполнение отклонённых заданий.
При повторном выполнении задания пул автоматически открывается снова, и задания передаются другим исполнителям. Когда задания будут выполнены, отправьте результаты на проверку. Затем скачайте результаты, проверьте их и загрузите проверенные результаты. Вы можете отклонять задания столько раз, сколько захотите, чтобы получить более точные результаты.
Откройте страницу пула во втором проекте.
Нажмите кнопку Просмотреть задания.
Наведите курсор на строку с заданием, которое хотите проверить.
В столбце Статус появятся кнопки, чтобы принять (кнопка
) или отклонить (кнопка
) выполненное задание. Если вы отклоняете задание, в открывшемся окне введите комментарий и нажмите кнопку Готово.
Что дальше
- Почитайте подробнее про декомпозицию заданий.