Создание файла с заданиями

• Каждую кавычку вида " дополните еще одной. Другие виды кавычек (« » и “ ”) не экранируйте.

• Заключите поле в  кавычки " ".

• Дополните ее еще одной кавычкой " или обратной косой чертой и кавычкой \", в том случае, если обратной косой черты перед кавычкой не было.

• Заключите поле в кавычки " ".

• Экранируйте ее дополнительной косой чертой \.

• Заключите поле в кавычки " ".

• Каждую кавычку типа " дополните еще одной кавычкой. Другие виды кавычек (« » и “ ”) не экранируйте.

• Внутри объекта добавьте обратную косую черту \, если ее не было, перед каждой запятой. Запятые разделяющие объекты внутри массива экранировать не нужно.

• Заключите поле в кавычки " ".

• Дополните ее еще одной кавычкой " или обратной косой чертой и кавычкой \", в том случае, если обратной косой черты перед кавычкой не было. Другие виды кавычек (« » и “ ”) не экранируйте.

• Заключите поле в кавычки " ".

• Экранируйте ее двумя бэкслешами \\.

• Заключите поле в кавычки " ".

Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.

Ошибки в заголовках столбцов

Если заголовки столбцов некорректны, файл будет полностью отклонен. В остальных случаях указано количество заданий с ошибками обработки.

Таблицы ошибок обработки

"parsing_error_of": "https://tlk.s3.yandex.net/wsdm2020/photos/2d5f63a3184919ce7e3e7068cf93da4b.jpg\t\t",
"exception_msg": "the nameMapping array and the sourceList should be the same size (nameMapping length = 1, sourceList size = 3)"

"exception_msg": "the nameMapping array and the sourceList should be the same size (nameMapping length = 4, sourceList size = 6)"

"code": "VALUE_REQUIRED", "message": "Value must be present and not equal to null"

"code": "INVALID_URL_SYNTAX", "message": "Value must be in valid url format"

"exception_msg": "unexpected end of file while reading quoted column beginning on line 2 and ending on line 4"

Вы можете указать сколько заданий будет на странице при загрузке заданий в пул. Подробнее о способах распределения заданий по страницам можно узнать здесь.

Для загрузки файла используйте кнопку Загрузить результаты. Формат можно посмотреть здесь.

Проверка ответов выполняется в файле с заданиями.

Проверьте поле hint. Для обычных заданий это поле должно быть пустым.

В файле с основными заданиями должны быть заполнены столбцы с заголовками INPUT. Вы можете увидеть эти заголовки, если скачаете образец файла из пула.

Если создаете контрольные задания, то заполните столбцы с правильными ответами — GOLDEN.

Если обучающие, то также понадобится заполнить столбец HINT:text. Для основных заданий все столбцы кроме INPUT не нужны, их можно удалить.

Формат файла должен быть TSV, XLSX или JSON, кодировка — UTF-8.

Если вы разместили файлы на Яндекс Диске, посмотрите видео, как указать ссылки на них в файле с заданиями.

Подробнее о создании файла в Руководстве. Если при загрузке возникают ошибки, поищите вашу ошибку на этой странице.

Ошибка будет возникать, если на вход ожидается тип URL, а приходит строка.

Причин может быть две:

• Входное поле имеет тип "ссылка".

• Пул работает на неактуальной версии проекта. То есть создан до того, как вы изменили тип входного поля.

Зависит от задания. Технически можно много.

Но, во-первых, исполнители неохотно берутся за задания, которые требуют много времени на выполнение. То есть, они скорее сделают 10 заданий по одной минуте, чем одно задание на 10 минут.

Во-вторых, при большом количестве заданий на странице может быть проблема с загрузкой файлов для разметки. Например, картинок.

Третий момент — контроль качества и оценка выполнения всей страницы. Если вы используете дооценку заблокированных исполнителей, то лучше дробить задание на более мелкие части, чтобы в переразметку отправлялось меньше заданий. Это позволит уложиться в бюджет.

Настройки умного смешивания указываются для файла — не для пула.

При первой загрузке файла указанные настройки будут применяться для всех файлов, загруженных в дальнейшем в этот пул.

Попробуйте выполнить задания сами, попросите своих друзей и коллег. Найдите среднее время выполнения и добавьте к нему 50%.

Task — это отдельное задание. Task suite — страница с заданиями. Исполнитель получает оплату за страницу заданий.

Одно и то же задание может попасть на разные страницы, если:

• Существует динамическое перекрытие (incremental relabeling, IRL). Например на странице было 5 заданий, по 4-м из них ответы согласовались так, что общий ответ зачелся как верный. Пятое задание будет замешано в другой набор, поскольку оно не попало в финальный ответ и его необходимо «дооценить».

• У разных заданий существует разное перекрытие. Те задания, у которых перекрытие указано больше, будут дополнительно показываться в наборах с другими оставшимися заданиями в пуле.

• Если правило контроля качества меняет перекрытие у задания, то оно окажется в другом наборе.

Про подключение Яндекс Диска вы можете прочитать здесь.

В шаблоне проекта должно быть прописано, например, следующее:

<img src={{proxy img}} width="400">, где img — входное поле строкового формата.

Для тестирования используйте файл example.jpg. Его URL вы можете найти в Профиль → Интеграция с внешними сервисами.

Каждое задание должно быть описано на отдельной строке в файле с заданиями. Подробнее об этом вы можете прочитать здесь.

Когда вы создадите пул, то в нем будет настройка количества заданий на странице.

Загрузить в пул задания с разными ответами через интерфейс невозможно. Можно только через API.

Если в настройках пула включена опция Сохранять порядок заданий, то разметка новых заданий начнется после того, как будут взяты в работу предыдущие. Если опция выключена, то нет и гарантии, что задания будут раздаваться последовательно.

Все значения записываются в один столбец. Не забудьте экранировать кавычки. Подробнее об экранировании кавычек для формата JSON можно узнать в Руководстве.

Массив строк во входных данных записывается через запятую. Например: INPUT:typestext1, text2, text3, text4

Порядок следования полей в файле значения не имеет. Можете делать так, как удобно.

Нет, если вы загрузите в пул файл с несуществующими заголовками, система выдаст ошибку загрузки. Все обязательные INPUT поля, используемые в спецификации должны быть в файле с заданиями. Лишних полей и столбцов быть не должно.

Если вы не хотите показывать какие-то данные исполнителям, но они вам нужны в файле, создайте для них необязательные скрытые входные поля в проекте.

Заэкранируйте запятые обратным слэшем \.

Текст из поля hint будет показан исполнителю в верхней части задания на красном фоне, если он в обучающем задании даст ответ, который отличается от указанного правильного.

Пример

Если текст из поля hint необходимо отразить в несколько строк, то переносы добавляются в файл, а текст заключается в кавычки.

Add your text here — это подсказка, которая говорит о том, что текст в поле вы можете заменить на свои данные для задания. О структуре файла и его заполнении можно узнать здесь.

Из-за наличия кавычек в одном слове загружать ответ следует таким образом: "Сколько букв в слове ""Лихтенштейн""". Если внутри текста есть экранирование кавычками, то весь текст следует заключать в кавычки. Подробнее описано в Руководстве.

Текст в поле GOLDEN должен в точности совпадать с эталоном.

Обычно, если копировать ссылку из браузера на определенный сайт, они будут иметь одинаковый формат. Другое дело, если ссылка была обрезана или набрана на клавиатуре.

Проверьте ссылки, которые используете. Решить задачу с унификацией ссылок можно несколькими способами:

• Добавить требования к формату ссылок в инструкцию и подсказки в обучении.

• Обрезать полученные ссылки в js с помощью regexp и записать результат в новое выходное поле, а после сравнить полученное значение с эталоном.