Документация Толоки

Все вопросы на одной странице

Обратите внимание

Документация на русском языке может быть устаревшей. Самые последние изменения доступны в документации на английском языке.

Примечание

Если вы ищете ответ на конкретный вопрос, используйте комбинацию клавиш Ctrl + F для поиска по странице (в macOS — Cmd + F).

Если вы еще не используете Толоку и хотите проконсультироваться

Задайте вопрос

Если у вас возникла проблема при работе с Толокой

В содержании раздела выберите этап, на котором возникла проблема, и найдите решение проблемы в списке. Если не нашли, выберите последний пункт Другой вопрос, заполните форму и дождитесь ответа от технической поддержки.

Регистрация и начало работы

Не могу завершить регистрацию как «заказчик физлицо». Не приходит смс-код.
  1. Проверьте введенный номер. В нем могут быть ошибки.

  2. Проверьте номер, указанный в Яндекс ID. Он должен быть указан как основной. Если в Яндекс ID указан другой номер, то смс-код отправится на него.

Также вы можете воспользоваться рекомендациями Справки Яндекс ID. Если они не помогли решить проблему, напишите в службу поддержки.

Я владелец аккаунта. Хочу сделать владельцем другую учетную запись, чтобы пользователь мог подключить свой Яндекс Диск и самостоятельно управлять финансами.

Аккаунт заводится на адрес электронной почты, указанный при регистрации. Привязать аккаунт к другой учетной записи невозможно. Подключить Яндекс Диск другой учетной записи к действующему аккаунту заказчика также не получится.

Чтобы управлять финансами и взаимодействовать с внешними сервисами, нужно входить под логином и паролем, указанными при регистрации. Если эти данные вы не можете передать, то другому пользователю необходимо завести свой аккаунт.

Как перевести аккаунт с «Заказчика» на «Исполнителя»?

Изменить тип аккаунта с «Заказчика» на «Исполнителя» невозможно.

Для выполнения заданий вам необходимо повторно зарегистрироваться в Толоке как исполнитель, но с другим логином.

Чтобы создать аккаунт исполнителя:

  1. Выйдите из аккаунта заказчика.

  2. Перейдите на главную страницу Толоки.

  3. Нажмите кнопку Присоединиться.

  4. Следуйте указаниям системы.

Примечание

Для создания новой учетной записи можно использовать тот же самый номер телефона. Пошаговое описание процесса регистрации вы можете найти на странице Регистрация и вход.

Этот номер телефона принадлежит другому пользователю

Если вы получили такое предупреждение, убедитесь, что вы правильно ввели номер.

Учтите, что на один номер телефона можно завести только 1 аккаунт заказчика (см. Пользовательское соглашение).

Если в Яндекс ID привязан неверный номер, измените его. Подробнее о привязке номера см. Справку Яндекс ID.

Если вы не помните ваш аккаунт в Толоке, воспользуйтесь Восстановлением доступа.

Если вы удалили ваш аккаунт в Толоке, создайте новый Яндекс ID и зарегистрируйтесь в Толоке.

Как поменять номер телефона в моем аккаунте?

Чтобы поменять номер телефона, перейдите в Яндекс ID и измените основной номер.

Примечание

Если старый номер вам недоступен, замена номера займет месяц. Подробнее про изменение номера телефона см. Справку Яндекс ID.

Другой вопрос

Песочница

Как работать с Песочницей?

Зарегистрируйтесь в роли заказчика в песочнице.

Зарегистрируйтесь с другим аккаунтом в роли исполнителя.

В аккаунте заказчика добавьте исполнителя в список доверенных.

Создайте и запустите задание. Оно появится в списке заданий у ваших доверенных исполнителей. Подробнее об этом можно узнать на странице помощи.

Почему я не вижу своего задания в Песочнице?

Проверьте, что:

  1. Пул запущен.

  2. Исполнитель добавлен в доверенные.

  3. Доверенный исполнитель зарегистрирован в песочнице как исполнитель.

  4. Доверенный исполнитель не использовал социальные сети при регистрации.

  5. Доверенный исполнитель подходит под установленные фильтры.

Как увидеть свой пул глазами исполнителя?

Чтобы протестировать свое задание, добавьте себя в доверенные исполнители в Песочнице. Для этого на странице Исполнители нажмите Добавить доверенных исполнителей. Вводите логин для аккаунта исполнителя с учетом регистра символов.

Что делать, если при экспорте проекта из Песочницы возникает ошибка на сервере?

Попробуйте перенести проект без пулов.

Выберите проект для переноса и не указывайте пулы в появившемся окне.Нажмите Экспортировать.

Если ошибка сохраняется, то обновите токен.

Перейдите в  Яндекс ID.В разделе История входов и устройства нажмите Выйти на всех устройствах.Запросите новые токены в Песочнице и основной среде.Обновите токен в Профиле Песочницы.

Как проверить свой проект в мобильной версии Толоки?

Для этого понадобится специальная версия приложения Толоки для Песочницы. Чтобы её получить, напишите в службу поддержки.

Обновится ли экспортированная из Песочницы копия проекта в основной версии, если внести изменения в оригинал?

Обновить ранее экспортированный проект не получится. Если вы снова клонируете проект из песочницы, то добавится его актуальная копия. Старый проект не изменяется.

Почему ничего не происходит, когда тестовый исполнитель нажимает кнопку «Отправить» в Песочнице?

Проверьте в предпросмотре пула с аккаунта заказчика, можно ли отправить задание. Если тоже не получится, скорее всего, в вашем проекте ошибка.

Как перенести разметку контрольных заданий из Песочницы в основной пул?

Сами задания не переносятся, только конфигурация проекта и настройки выбранного пула. Вы можете скачать размеченные задания из пула в Песочнице и загрузить их в экспортированный пул.

Чтобы скачать только контрольные задания (если вы размечали в интерфейсе), зайдите в Разметчик, затем на вкладку Контрольные задания и нажмите Скачать.

Достаточно ли одного аккаунта для Песочницы и основной версии Толоки?

Нет, для каждой версии Толоки нужен отдельный аккаунт. Чтобы создать задание в Песочнице, зарегистрируйтесь в ней как заказчик, а чтобы выполнить свое задание, зарегистрируйте еще один аккаунт как исполнитель.

Не могу добавить доверенного исполнителя

Возможные причины:

  • Исполнитель не зарегистрирован в песочнице. Аккаунт, зарегистрированный в основной версии Толоки не подойдет. Убедитесь, что вы указали правильный аккаунт исполнителя в качестве доверенного.

  • Аккаунт исполнителя авторизован через социальные сети. Зарегистрируйте нового пользователя на Яндексе.

Другой вопрос

Настройка проекта

Инструкция

Как в инструкцию встроить несколько картинок с помощью ссылок на Яндекс Диск?

Чтобы добавить картинки с помощью ссылок на Яндекс Диск:

  1. Используйте ссылку, например: /api/proxy/yadisk/image1.jpg .

  2. В настройках профиля заказчика перейдите в Интеграция с внешними сервисами → Настройки прокси.

  3. Настройте интеграцию с внешними сервисами.

    Подробно об использовании файлов с Яндекс Диска.

Как показать исполнителю инструкцию в самом задании, чтобы не нужно было ее открывать/закрывать?

Существуют три основных варианта решения:

Можно ли разместить в инструкции видео или аудиоплеер?

Нет, но вы можете разместить ссылку на них.

После сохранения инструкции некоторые теги пропадают.

Недопустимые теги удаляются при сохранении проекта — их нельзя использовать. Список допустимых тегов.

Как сделать, чтобы инструкции к обучающему пулу и к основным пулам различались?

По умолчанию в обучении отображается инструкцию проекта. Чтобы написать отдельную инструкцию, снимите флажок Использовать инструкцию проекта. Не забывайте обновлять инструкцию к обучению, если что-то меняется в инструкции к основному заданию.

Что делать, если атрибуты радио-кнопки в предпросмотре отображаются правильно, а после сохранения — нет?

Если после сохранения инструкции пропадают теги или атрибуты (например, checked="true"), значит они не поддерживаются. Полный список допустимых в инструкции тегов можно найти в руководстве.

Другой вопрос

Настройка интерфейса задания

Как сделать так, чтобы при нажатии на изображение оно увеличивалось максимально?

Добавьте к компоненту для вставки картинки параметры real-size=true и screenshot=true.

Как в image-annotation добавить горячую клавишу для добавления многоугольника?

Чтобы добавить горячую клавишу, в методе onKey пропишите следующее действие:

onKey: function(key) {
          var el = this.getDOMElement().querySelector(".image-annotation-editor__shape-polygon");

          if (key === 'D') {
          el.click();
          el.classList.add('image-annotation-editor__shape_active')
          }

Воспользуйтесь этой библиотекой, если потребуются дальнейшие модификации редактора по выделению областей.

Как в режиме предпросмотра включить загрузку аудиофайлов?

В режиме предпросмотра проверить загрузку файлов нельзя, но это можно сделать в песочнице, выполнив своё задание. Для этого нужно зарегистрироваться в сендбоксе в качестве исполнителя и добавить логин в доверенные на странице Пользователи. Подробнее можете прочитать в этой статье .

Исполнитель не может загрузить файл в задание?

Если никто из исполнителей не смог отправить задание, скорее всего проблема в валидации в JS. Проверьте её ещё раз.

Перенесите проект в сендбокс и попробуйте выполнить задание самостоятельно в песочнице.

Как проверить отображение задания в мобильном приложении Толоки?

Чтобы проверить, как выглядит задание на экране мобильного телефона, можно переключиться в режим эмуляции в браузерах Chrome или Safari и отредактировать блок CSS.

Также вы можете воспользоваться мобильной версией сендбокса. Чтобы получить к ней доступ, напишите в службу поддержки.

Как сделать так, чтобы для разных вопросов было различное количество вариантов ответов?

Используйте конкатенацию, например:

{{field type="checkbox" name=(concat "result." @index ) label=(concat "checkbox –
          " @index) size="L"}}
Как обращаться к элементам массива по индексу — к входным и выходным данным?

Если это в JS, то укажите в конце индекс:

this.getTask().input_values['name'][2]solution.output_values['result'][2]

Если в интерфейсе, то следующим образом:

Почему при добавлении входных и выходных данных в интерфейс HTML в режиме предпросмотра содержимое iframe не отображается?

Попробуйте отключать расширения браузера. Они могут блокировать загрузку iframe.

Как в label чекбокса добавлять текст из входной переменной?

Чтобы передать label во входных данных, укажите в нём имя входного поля.

Например, если у вас входное поле asd с типом строка, то компонент может быть записан так: {{field type="checkbox" name="like" label=asd hotkey="q"}}.

Если вы хотите передавать различные значения лейблов в разных заданиях или количество чекбоксов может меняться, то воспользуйтесь конкатенацией.

Как убрать текст под кат?

Текст под кат можно убрать с помощью стилей CSS как в самом задании, так и в инструкции. Пример кода можно посмотреть здесь.

Как в ссылку перехода для «Кнопка с проверкой перехода по ссылке» передавать значение входной переменной?

Укажите название входного поля, куда передаёте ссылку, без скобок:

{{field type="button-clicked" name="ads" label="Нажми меня" href=name_escape
            action=true}}
Как в JS сделать так, чтобы если чекбокс отмечен, то ссылку не запрашивать, а если ссылка вставлена, то галочка стоять не должна?
  1. Посмотрите как это реализовано в шаблоне «Поиск данных в сети».

  2. Для решения второй задачи вы можете добавить ещё одну валидацию по аналогии с этой:

    if (solution.output_values.url && solution.output_values.check) {return {task_id:
    this.getTask().id,errors: {'url': {code: 'Вставьте ссылку или отметьте галочкой,что сайта нет'}}}}
    
Выбираю один чекбокс, а отмечаются все.

Названия выходных полей должны отличаться: для каждого чекбокса своё имя. Подробнее об этом компоненте здесь.

Как добавить валидацию ответа в зависимости от чекбокса: если на картинке есть предмет, то его нужно выделить, а если нет — поставить галочку?

Добавить валидацию ответа в зависимости от чекбокса возможно с помощью JavaScript. Пример доступен в шаблоне «Поиск данных в сети».

Как вставить календарь?

Посмотреть пример вы можете в комментариях к проекту. В примере есть формат выходных данных и библиотеки, которые нужно подключить.

Чтобы подключить библиотеки:

  1. В режиме редактирования проекта нажмите «шестеренку».

  2. В открывшемся поле слева введите ссылки и нажмите Ввод.

Почему в задании не работает кнопка «Отправить»?

Вероятно, проблема в блоке JS. Попробуйте удалить его содержимое, после чего проверьте кнопку Отправить в режиме предпросмотра.

Как сделать в задании изменяющиеся варианты ответов и их количество?

Вы можете сделать это с помощью конкатенации.

Посмотрите примеры проектов, которые могут помочь вам в создании интерфейса:

Во входном поле массив значений необходимо передавать через запятую. Для каждого из них в интерфейсе будет сформирован вариант ответа. Входные/выходные данные к проектам-примерам указаны в комментариях на codepen.io.

Как снять выбор с радиокнопки?

Снять выбор нельзя. Только изменить на другую радиокнопку с ответом.

Как в зависимости от выбора показывать фото и делать его обязательным, либо прятать и делать необязательным?

В этом случае нужно оставить поле необязательным в выходных данных и прописать валидацию в зависимости от ответа исполнителя. Вы можете посмотреть, как это решено в шаблоне «Классификация текстов».

Как запретить добавление фото из галереи, чтобы при нажатии на кнопку добавления фотографии открывалась камера, а не выбор между галереей и камерой?

Добавьте sources="CAMERA" в атрибуты к компоненту для загрузки картинки, чтобы запретить добавлять фото из галереи.

Как запустить валидацию setSolution в OnRender?

Попробуйте добавить условие на наличие второй шкалы:

setSolution: function(solution) {
var secondScale = this.getDOMElement().querySelector('.second-scale');

if(secondScale) {
secondScale.style.display = solution.output_values.grammar === 'no' ? 'block' : 'none';
}

TolokaHandlebarsTask.prototype.setSolution.call(this, solution);
},
Как реализовать выделение 3-х разных областей на картинке?

Вы можете сделать выделение и выпадающий список с выбором категории. Посмотрите, как это реализовано на этой странице (вкладка Выпадающий список).

Как использовать разметку Vue, не используя базовый объект TolokaHadlebarsTask?

Подробнее про расширение шаблона на JS вы можете прочитать здесь.

Чтобы разметка Vue не конфликтовала с синтаксисом Handlebars нужно отключить библиотеку toloka-handlebars-templates и наследоваться от классов Task/TaskSuite.

Где в шаблоне «Сравнение изображений (Side-by-side)» нужно указать proxy для Интерфейса задания, чтобы сделать задание с выбором из трех вариантов картинок?

В шаблоне Сравнение изображений (Side-by-side) используется не HTML-тег, а компонент. Поэтому нужно подставить прокси в круглых скобках по образцу: {{img src=(proxy image)}}.

Как в задании поменять фон со стандартного белого на другой цвет?

Установите фон в CSS для элемента .task или .task-suite. Например, черный:

.task-suite {
background-color: #000000;
}
.task {
background-color: #000000;
}

Также вы можете присвоить класс области интерфейса, где находится изображение, и установить фон только для этой области.

Как на уровне интерфейса Толоки валидировать данные, которые ввел исполнитель?

Проверить формат ссылки можно с помощью регулярных выражений. Для этого в шаблоне задания добавьте валидацию ссылки на JavaScript c помощью regexp.

Например: var regexp = /^(https://www.myurl.com/).{4,200}$/.

Или можно добавить регулярное выражение в выходные данные в поле input с типом строка. Сделайте поле обязательным. Затем добавьте компонент Поле для ввода текста в интерфейс задания (в блок HTML) и укажите имя поля в атрибуте name:

{{field type="textarea" name="input" width="270px" rows=5}}
Как добавить валидацию ответа в зависимости от чекбокса?

Добавить валидацию ответа в зависимости от чекбокса можно с помощью JavaScript. Пример доступен в шаблоне «Поиск данных в сети».

Как построчно ввести список слов, для каждого отобразить элемент и сохранить результат в выходной массив?

В качестве входного поля передайте массив строк. Например, как показано на скриншоте:

В HTML используйте специальный handlebar, чтобы итерироваться по этому полю. Конструкция будет выглядеть следующим образом:

{{#each words}}
{{field type="radio" name="result" value=this label=this}}
{{/each}}
Как в качестве элемента интерфейса использовать ползунки для выбора значения параметра?

В HTML шаблона укажите следующий код:

<input type=""range"" list=""rng"" class=""res"">

а в JS в onRender прописать следующее:

onRender: function() {
// DOM-элемент задания сформирован (доступен через #getDOMElement())
//Добавляем служебные переменные
var $root = $(this.getDOMElement());
var _this = this;
var solution = TolokaHandlebarsTask.prototype.getSolution.apply(this, arguments);

$root.on('change', '.res', function(){
var range_result = $(this).val()
_this.setSolutionOutputValue('result', range_result);

return solution;
})

}
Как в онлайн редакторе заданий расширить окно с HTML/CSS/JS кодом?

Расширить окно HTML не получится. Чтобы раскрыть поля JS и CSS, кликните в любую область в пределах поля.

Как использовать входные данные как переменную в HTML-блоке?

Заключите входное поле в двойные фигурные скобки {{text}}.

Как отформатированный текст из входных данных отобразить в задании?

Заключите входное поле в тройные фигурные скобки {{{input_field}}}.

Подробнее об использовании компонента можно узнать в Руководстве заказчика.

Возможно в Толоке построить интерфейс с помощью своего JS?

Да, вы можете не использовать наши компоненты для создания интерфейсов, а создать собственный дизайн страницы с заданиями. Для этого удалите библиотеку из шаблона проекта:

  • откройте настройки под «шестеренкой».

  • удалите $TOLOKA_ASSETS/js/toloka-handlebars-templates.js.

В Руководстве заказчика описана вся структура классов и как они устроены.

Как в HTML вставить переменное количество инпутов, которое исполнитель будет сам определять?

Для решения задачи с динамическим количеством выходных полей воспользуйтесь рекомендациями с этой страницы.

Планируется ли prettifier для HTML/JS в дизайне проекта?

Мы не задумывали, что в этом окошке будет вестить какая-то сложная разработка. Как правило, контент подготавливают в стороннем редакторе, который имеет подсветку, а в окошко копируют готовый вариант перед обновлением.

В аспекте доступности TolokaHandlebars для редактирования нет отличий между нашим окошком и редактором.

Как сделать, чтобы текст во входном поле отображался в исходном варанте с HTML-тегами?

Чтобы текст из входного поля отображался с HTML-тегами, можно использовать <pre>. Например:<pre>{{text}}</pre>.

Так текст будет записан как есть, в одну строку со скроллом.Чтобы убрать скролл и не растягивать карточку с заданием, добавьте в блок CSS:

.task {
  max-width: 800px;
}

pre {
  white-space: pre-wrap;
}
Что делать исполнителю, если в задании по выделению областей на картинке нет предмета, который нужно выделить?

Существуют четыре основных варианта решения:

  • Декомпозировать задачу: сначала отбрать картинки с нужными объектами, затем выделить на них области.

  • Выделить произвольную область на картинке. Например, поставьте квадрат в правый верхний угол.

    Добавьте информацию об этом в инструкцию для проверяющих.

  • Предложить исполнителю пропустить задание и сообщить о нём в личном сообщении. Сообщения проверяются заказчиком и, если объекта действительно нет, задание будет удалено из пула (путем обнуления перекрытия).

  • Добавить в интерфейс чекбокс «нет объекта» и настройте в JS проверку, что в задании либо выделен объект, либо поставлена галочка.

    Для контроля добавьте в интерфейс задания информацию о значении этого чекбокса.

Как в задании записать текст на диктофон одним аудифайлом, чтобы текст надиктовало около 1 тыс. человек?

Для Толоки задачу нужно декомпозировать. Задание на 30 минут для одного человека со всеми фразами лучше разбить на отдельные фразы и предложить разным исполнителям. Шаблон для создания задания такого типа не потребует от исполнителя установки отдельного диктофона.

Возьмите наше пошаговое описание создания задания по записи фраз на диктофон.

Во входных данных можно передать фразу, которую должен произнести исполнитель (включить навигацию), и скорость речи (normal speed). Эти данные вам и нужно будет записать в файл с заданиями. О создании файла и его структуре можно прочитать в Руководстве.

В предпросмотре по умолчанию 4 задания на странице. Их количество для вашего проекта можно будет указать при загрузке файла с заданиями. Подробнее о предпросмотре.

Например, если вам нужно, чтобы один человек произнес одну и ту же фразу 10 раз, сделайте на странице 10 заданий. Стоимость указывается за целую страницу. Определить, сколько человек должно произнести ту или иную фразу, можно с помощью перекрытия в пуле. Кстати, не забудьте о фильтрах в пуле, чтобы отобрать только исполнителей, владеющих русским языком и выдать задание на мобильном: клиент = мобильная Толока.

Вы можете поручить проверку записанных фраз другим исполнителям, создав отдельный проект. Как это сделать кратко описано здесь.

Другой вопрос

Входные и выходные данные

Как вставлять вызов функции, работающий при клике на картинку в задании?

Пример шаблона задания по выделению групп изображений вы найдете по ссылке. Входные и выходные данные, а также фрагмент инструкции — в комментариях к проекту.

Как сделать маску на поле ввода: тип поля дата — дд.мм.гггг; ИНН — только цифры, количество 10 или 12?

Для проверки формата ввода данных можно использовать тип выходного поля с указанием допустимых или минимальных/максимальных значений. Например, для ИНН создайте выходное поле с типом «строка» и укажите минимальную и максимальную длину (например, 10 и 12). Для более сложной проверки введённых данных в шаблоне, используйте RegExp.

Для ввода даты можно добавить в интерфейс задания календарь. Пример календаря вы найдете здесь.

Нужно ли подгонять все изображения для задания под один размер, или они могут быть разные?

Размеры изображений могут быть разные.

Если в выходных данных проекта возможно любое число, от 1 до 999999, возможно ли указать диапазон?

Диапазон не будет являться фиксированным значением.

Другой вопрос

Настройки пула

Фильтры

Есть ли возможность отбирать исполнителей по конкретному городу проживания, а не только использовать «Регион по IP»?

Да, можно. В фильтрах выберите Профиль → Город. Обратите внимание, что данные профиля вводит сам пользователь при регистрации в Толоке. Рекомендуем использовать фильтры Регион по номеру телефона и Регион по IP.

Можно ли использовать навык не только в пуле или в одном проекте, но и в разных проектах?

Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.

Я хочу, чтобы навык подсчитывался по нескольким проектам. Это возможно? Если да, то я могу использовать «Агрегацию результатов по навыку»?

Если речь идет о нескольких проектах, то так сделать не получится.

Вы можете перенести все в один проект и в блоках контроля качества использовать параметр Помнить значения. Примеры вы можете посмотреть в статье Контрольные задания.

Использовать Агрегацию результатов по навыку можно, но вам придется перечислить все возможные значения, что, вероятно, будет не очень удобно делать. Возможно, подойдет другой способ агрегации.

Я создал проект и пул, но не нажимается кнопка Далее или в предпросмотре белый экран.

Так Толока подает сигнал, что с проектом что-то не в порядке. Белый экран часто появляется при ошибках в интерфейсе задания, в том числе JavaScript-коде. Кнопка Далее может не реагировать, если в выходной спецификации не хватает какого-то поля, если в ней указаны недопустимые значения или, например, если у вас в JavaScript настроена валидация по несуществующему полю.

Есть ли какие-нибудь простые способы присвоить определенному исполнителю Толоки навык, как это делается в песочнице, даже если тот не делал ни одно задание?

Назначить навык в основной версии Толоки можно только для исполнителей, которые выполнили хотя бы одно ваше задание. Любому исполнителю назначить навык возможности нет. Чтобы ограничить поток исполнителей, которые увидят ваш проект, можно воспользоваться фильтрами. Например, указать город, дату рождения, пол или какие-то другие параметры, которые есть у нужных вам исполнителей.

Можно ли как-то ограничить количество исполнителей, которые одновременно берутся выполнять задание из пула?

Задания из открытого пула доступны всем исполнителям, которые подходят под фильтры в пуле. Вы можете ограничивать доступ, например по навыку.

Исполнители прошли обучение по первому пулу и получили навык. Спустя неделю мы склонировали пул, однако у всех исполнителей навык пропал. Какой параметр влияет на истечение срока навыка? Им всем придется перепройти обучение?

За количество дней, в течение которых сохраняется тренировочный навык, отвечает параметр Повторное прохождение. Навык будет удален через количество дней, указанное в поле Повторное прохождение, если исполнитель:

  • получил значение навыка ниже значения в поле Уровень прохождения;

  • не выполнил ни одного задания, к которому привязано обучение, в течение этого срока.

Вашим исполнителям будет нужно пройти обучение заново.

Почему мой проект не доступен в мобильной версии Толоки?

Задания в пулах по умолчанию доступны для веб-версии Толоки и мобильного приложения. Проверьте настройки пула, возможно у вас настроен фильтр: Клиент = Веб-версия Толоки

Можно ли добавить в исполнители произвольного пользователя?

Если пользователь не проходит по фильтру, увидеть задание у него не получится. Можно только убрать такой блокирующий фильтр из пула. Протестировать задание можно в Песочнице, добавив нужного пользователя в список доверенных.

Можно ли настроить показ задания исполнителям по демографическим и гео-параметрам? Например, «только Москва, 30–45 лет».

Можно, чтобы отобрать исполнителей для пула используйте фильтры.

Как сделать так, чтобы задание было доступно не только с компьютера, но и с мобильных устройств?

Задания в пулах по умолчанию доступны для веб-версии Толоки и мобильного приложения. Проверьте настройки пула, возможно у вас настроен фильтр: Клиент = Мобильная Толока

Можно ли выбрать для выполнения заданий конкретных исполнителей, которые понравились по предыдущим пулам?

Вы можете назначить им навык по результатам выполнения заданий в предыдущих пулах. Этот навык укажите в качестве фильтра в новом пуле.

Как поставить фильтр так, чтобы пул был доступен исполнителям, у которых нет определенного навыка (например, «спамер»)?

Укажите этот навык в качестве фильтра и в качестве значения установите пустое поле (это равносильно тому, что навык отсутствует).

Как я могу поднять исполнителю значение навыка, если навык у него уже есть?

Если у исполнителя уже есть навык, то добавить ему этот же навык из интерфейса проверки задания нельзя. Можно зайти в профиль исполнителя и отредактировать значение навыка.

Видят ли исполнители в Толоке, что им назначен навык?

Если навык публичный или обучающий, то видят — им приходит сообщение об этом.

Можно ли в интерфейсе задания показать навык?

Такой возможности нет. Если навык публичный, то исполнитель видит его в своем профиле.

Почему в информации о пользователе нет данных о поле исполнителей, хотя в настройках пула можно отфильтровать людей по этому признаку?

Заказчику не доступна полная информация о каждом конкретном исполнителе. Например, заказчик не видит дату рождения, пол, фамилию и имя. При этом фильтры по дате рождения и полу в настройках пула ему доступны, поскольку они позволяют отобрать группу исполнителей, не получая информации о каждом в отдельности. Это уменьшает риск деанонимизации пользователей.

Как можно автоматизировать присвоение навыков в зависимости от ответов исполнителей на вопросы анкеты?

Это можно сделать с помощью правила Контрольные задания.

  1. Загрузите файл с заданиями при помощи Умного смешивания.

  2. Укажите student в качестве правильного ответа на вопрос. Остальные вопросы не учитывайте (оставьте поля пустыми или не ставьте галочку).

  3. Добавьте в пул правило Контрольные задания: если процент правильных контрольных ответов = 100, то установить значение навыка Студент = 1.

Смотреть скриншот

Другой вопрос

Контроль качества

Как правильно настроить контроль качества в пуле?

Настройка блоков контроля качества зависит от типа заданий. Ниже приводятся общие рекомендации:

  • Обязательно используйте один или несколько способов контроля качества.

  • Подсчет быстрых ответов имеет смысл для большинства заданий.

  • Если в задании нужно выбрать вариант ответа (например, в флажка), его лучше проверить с помощью мнения большинства или контрольных заданий.

  • Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.

  • Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. Составьте контрольные задания с искусственно созданными примерами, где выбор более очевиден.

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в пул. А для маленьких пулов — 5–10%.

Почему так

Все контрольные задания показываются исполнителю только один раз. Если вы используете умное смешивание, то определяете, сколько контрольных заданий должно быть на каждой странице. Если на странице одно контрольное задание, то максимальное число страниц, которое может выполнить исполнитель, равно количеству контрольных заданий в пуле. Если вы увеличиваете количество контрольных заданий на странице, во столько же раз снижается число доступных исполнителю страниц.

Доступных страниц не должно быть слишком мало. Иначе:

  • правильно оценить качество его ответов не получится;

  • исполнитель не будет заинтересован выполнять такие задания, так как потратит много времени на изучение инструкций, а получит мало заработка.

Пример

Большой пул 1% контрольных заданий (хорошо)

В пуле 10 000 заданий, из них 100 контрольных (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 100 страниц.

Маленький пул 1% контрольных заданий (плохо)

В пуле 100 заданий, из них 1 контрольное (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать только 1 страницу.

Маленький пул 10% контрольных заданий (хорошо)

В пуле 100 заданий, из них 10 контрольных (10%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 10 страниц.

Если в открытом пуле мало контрольных заданий, добавьте новые контрольные задания.

Зачем

Если пул большой, а контрольных заданий мало, может сложиться ситуация, что активным исполнителям, которые сделали много заданий в проекте, перестают показываться новые страницы с заданиями. Это происходит, когда исполнитель выполнил все контрольные задания в пуле.

Примечание

Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания. Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Как добавить новые контрольные задания в открытый пул?

Чтобы новые страницы с заданиями стали доступны всем исполнителям, в том числе тем, которые уже выполнили часть заданий в пуле:

  1. Остановите пул.

  2. Загрузите файл с новыми контрольными заданиями.

  3. Запустите пул.

Для открытого пула мы не рекомендуем делать контрольные задания из уже выполненных заданий другого типа. Так как исполнители, которые уже дали на них ответы, не смогут повторно выполнить такие задания как контрольные. Чтобы эти исполнители смогли продолжить выполнять страницы с заданиями, контрольные задания в пуле должны быть новыми.

Как засчитываются правильные ответы на контрольные вопросы?

Правило контрольных заданий начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Учитывать последних ответов на контрольные и обучающие задания. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

  • Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

    • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

    • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

    Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Учитывать последних ответов на контрольные и обучающие задания.

  • Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

    Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Учитывать последних ответов на контрольные и обучающие задания в блоках контроля качества в пулах.

Можно ли сделать так, чтобы обучающие или контрольные задания были бы совсем другого рода, нежели основные задания?

Обучающие и контрольные задания будут иметь спецификацию проекта. Но вы можете сделать отдельный проект и разместить в нем необходимые задания, а потом по ответам из них назначить навык, по которому вы будете допускать исполнителей к основному проекту.

Экзамен — это простой пул, который я оплачиваю? Чем он отличается об обычного пула?

Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Он обычно делается небольшим и служит для проверки того, как исполнители научились выполнять задание после чтения инструкции и прохождения обучения. В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой.

По результатам ответов на контрольные задания вы можете назначить исполнителям навык и далее указать его в основном пуле в качестве фильтра. Например, МойНавык = 80 или = отсутствует. Составление экзамена не обязательно — в простых заданиях достаточно тренировки, но многие заказчики используют также и экзамен.

В быстрых ответах время указывается за одну страницу заданий?

Да, в настройках быстрых ответов указывается время за выполнение 1 страницы с заданиями.

Настраивал контроль качества, затем скопировал требования к исполнителям, и все мои настройки контроля качества удалились, а вместо них появились скопированные. Так и должно быть?

Действительно, при копировании настроек фильтров и контроля качества уже добавленные вручную настройки заменяются. Мы предупреждаем об этом в окне копирования настроек.

В пуле установлено перекрытие и настроено мнение большинства, и какой-то нехороший исполнитель открывает страницу с заданиями, ничего не делает и отправляет их. Может ли он получить еще задания из пула до того, как у этих же заданий будут известные результаты от других исполнителей,и быстро скликать много страниц заданий, пока неизвестно мнение большинства, которое приведет его к блокировке?

К сожалению, да, может. Поэтому мы рекомендуем перед боевым заданием делать обучение или экзамен, чтобы до боевого пула добирались только те, кто хорошо прошел предыдущий этап отбора.

Как настроить экзамен, чтобы его могли проходить разные люди, а задания в нем не кончались?

При загрузке заданий используйте умное смешивание, тогда экзамен будет с бесконечным перекрытием.

Однако это чревато тем, что вы будете тратить на экзамен много денег. Возможно, его стоит открывать тогда, когда открывается боевой пул, и закрывать, когда разметка боевого пула завершается.

Как можно протестировать исполнителей, чтобы определить, какие задачи они выполняют лучше, и на основе этого выдавать им подходящие задачи?

Вы можете добавить обучающий пул, чтобы протестировать исполнителей. По результатам прохождения тестирования выдавайте навыки исполнителям в соответствии с тем, что они хорошо выполняют.

Затем откройте пулы только для исполнителей, имеющих определенный навык — для этого используйте фильтры.

Если мы загружаем задания через Умное смешивание, то в одном файле должны быть и контрольные, и обычные задания, или мы можем загрузить их отдельно?

Умное смешивание задается при загрузке заданий в пул. После создания пула нажмите Загрузить и выбираете соответствующий способ формирования страниц с заданиями. При этом вы можете загрузить их отдельными файлами, либо одним файлом, расположив в любом порядке.

Если недобросовестный исполнитель дает много неправильных ответов, а спустя время система его блокирует за ошибки в контрольных заданиях, деньги за уже данные ответы все равно снимаются?

Если исполнителю уже начислены деньги за задания, то обратно их не вернуть.

Может ли один работник попасть в два пула одного проекта? Можно ли этого избежать?

Да, может, если оба пула ему доступны. Чтобы ограничить доступ исполнителя к следующим заданиям, используйте правило Выполненные задания — выберите блокировку на проекте.

Если мы блокируем исполнителя за то, что он выполняет задания слишком быстро, удалятся ли все его ответы, и будут ли они отданы на разметку другим исполнителям?

Нет, ответы такого исполнителя автоматически не исключаются из итогового файла.

Но вы можете это сделать самостоятельно. Для этого при скачивании результатов выберите опцию Не учитывать ответы заблокированных пользователей — из результатов удалятся ответы заблокированных в момент выгрузки исполнителей. Также вы можете отправить все ответы заблокированных исполнителей на повторное выполнение другим толокерам — для этого используйте Повторное выполнение заданий после блокировки исполнителя.

Можно ли сделать 2 активных обучающих пула: один будет для тренировки, а по прохождению второго уже будет определяться доступ к рабочему пулу? То есть, условно говоря, один пул учит, другой пул экзаменует.

Да, можно. В этом случае первый пул сделайте на базе обучающего. А второй — экзамен — на базе основного пула. Если в нем будут только контрольные и/или обучающие задания, такой пул может иметь нулевую стоимость.

В экзаменационном пуле можно назначить навык, который будет определять результат сдачи экзамена и служить допуском в основной пул. Например: если количество ответов ≥ 10, то установить навык из поля <экзаменационный навык> % правильных ответов. В требованиях к исполнителям экзаменационного пула укажите: <экзаменационный навык> < 80 или = отсутствует>. Установите в основном пуле фильтр: <экзаменационный навык> >= 80 и (<основной навык> >= 70 или = отсутствует). Значения навыка вы сможете подобрать в зависимости от того, насколько хорошо исполнители справляются с вашим заданием.

В задании нужно заполнить форму из нескольких полей. В случае перекрытия и настройки контроля качества «Мнение большинства» учитывается каждое поле или если в одном из полей значение указано неверно по мнению большинства, то задание считается неправильно выполненным?

Считаются все ответы в задании. Если на какой-то вопрос ответ отличается, результат всего задания засчитывается как несовпадающий с ответами других исполнителей.

Правильно ли я понимаю, что если настроить «установку значения навыка = 1», когда «процент принятых ответов >= 75» и «учитываются 10 последних значений», то исполнителю на каждые 8 правильно выполненных заданий из 10 будет прибавляться 1 очко навыка?

Нет, при такой настройке каждый раз, когда будет выполняться условие правила, исполнителю будет устанавливаться навык = 1. Чтобы изменять значения по мере проверки заданий, понадобится «ступенчатое» правило (несколько одинаковых правил) с разным значением параметра Количество проверенных ответов.

Я создал обучение, в котором одно задание с подсказкой. Исполнителю не удается выполнить задание с первой попытки, но в итоге он его выполняет. Он получает навык 0. Как мне сделать так, чтобы он был допущен к заданиям? Минимальный уровень прохождения, который можно установить, равен 10.

Технически с одним заданием в обучении — никак. Навык будет или 0, или 100. Рекомендуем добавить несколько задний, хотя бы 2: на первом исполнитель потренируется, а второе сможет уже выполнить верно. Тогда можно начать допускать к основному пулу со значением навыка 50.

Также вы можете создать обучающий пул на основе обычного. Назначайте навык правилом Контрольные задания — тогда к основному пулу вы можете допустить исполнителей с любым уровнем навыка, даже нулевым. Но мы бы не советовали допускать к разметке тех, кто не справился с обучением.

В обучающем пуле возможна отложенная приемка?

Нет. Но вы можете создать пул на базе основного с типом Тренировка с обучающими заданиями и в нем выставить отложенную приемку.

Толокеры видят, что какой-то вопрос является контрольным?

Нет, не видят.

У меня есть два варианта текста, который мне надо показывать респондентам: половине один вариант, половине другой (типа A/B-тестирования). Это возможно сделать в Толоке или надо создавать два отдельных проекта?

Если вы передаете тексты во входные данные, то достаточно загрузить в пул 2 разных задания: в одном из них в поле INPUT:<имя входного поля> вы передадите текст № 1, в другом — текст № 2. А если текст в самом шаблоне задания в блоке HTML, то да, нужно клонировать проект. Чтобы исполнитель мог сделать только одно задание в вашем проекте, используйте правило Выполненные задания. Можно назначить навык или заблокировать исполнителя после того, как он отправит один ответ.

Если я блокирую исполнителей на проекте, чтобы каждый мог выполнить максимум одно задание, то сообщают ли исполнителям о блокировке?

Нет, исполнители не знают о блокировке.

Так и задумано, что при экспорте проекта из Песочницы файлы с заданиями не переносятся? Я неожиданно потерял разметку контрольных заданий, которые сделал в песочнице.

Сами задания не переносятся, только конфигурация проекта и настройки выбранного пула. Но вы можете скачать размеченные задания из пула в Песочнице и загрузить их в созданный пул. Чтобы скачать только контрольные задания (если вы размечали их в интерфейсе), зайдите в Разметчик, затем во вкладку Контрольные задания и нажмите Скачать.

Я хочу сделать экзамен размером в три задания. Если человек выполняет два из трех правильно, то получает навык. Для этого в поле «Учитывать последних ответов на контрольные и обучающие задания» я хочу поставить 3, но система ругается, что значение слишком маленькое. Можно ли это побороть, не увеличивая количества заданий до пяти?

В поле Учитывать последних ответов на контрольные и обучающие задания указывается количество последних ответов исполнителя. Если у вас задание с отложенной приемкой, то, чтобы настроить правило по вашей логике, необходимо указать 3 в параметре Количество проверенных ответов.

В каком формате нужно подавать результаты обработки, чтобы отфильтровать лишних исполнителей по «Мнению большинства»?

Чтобы выполнять действия с исполнителями (назначение навыка, блокировка), основываясь на мнении большинства, нужно добавить в пул соответствующее правило.

Не забудьте включить опцию Сохранять порядок заданий в параметрах пула. Мнение большинства применяется на проектах с заданными значениями (с радиобаттонами или чекбоксами). Для полей со свободным вводом или файлов это правило работать не будет.

Я хочу сделать тренировку и экзамен, где бы проверялось равенство вводимого текста с эталоном, но они не всегда правильно сравниваются. Как это можно реализовать?

Чтобы ответ на контрольное или обучающее задание был засчитан как верный, он должен полностью совпасть с эталоном. Для этого текст нужно нормализовать с помощью JavaScript: удалить пробелы, знаки препинания, специальные символы и заглавные буквы, а результат записать в отдельное выходное поле. Такой обработанный ответ можно уже сравнивать с контрольным.

Другой вариант отбора исполнителей для проекта такого типа — отложенная приемка.

В разделе условий на контрольные вопросы Количество контрольных ответов - это количество ответов на контрольные вопросы (даже если отвечено неверно) или количество верных ответов на контрольные вопросы?

Это количество любых ответов на контрольные вопросы.

Как прямо в процессе выполнения заданий разделять исполнителей на тех, кто справляется хорошо, и тех, кто справляется плохо, и остановить работу плохих исполнителей?

Вы можете создать пул заданий для всех исполнителей и выделить в нем навыки, присвоенные исполнителям. Тогда вы сможете открывать задания только для тех исполнителей, которые имеют нужные навыки.

Почему упала скорость выполнения пула?

Возможные причины:

  • Вы остановили обучающий пул, и тем самым ограничили количество исполнителей имеющих доступ к заданиям. Запустите обучающий пул снова. Исполнителей, которым доступны задания, станет больше.

  • Установлены слишком жесткие фильтры, например строгое ограничение по навыку, которого нет у большинства исполнителей.

  • Слишком много исполнителей заблокированы. Сделайте правила контроля качества мягче.

Как ускорить выполнение заданий пула?

Другой вопрос

Перекрытие

Какое перекрытие лучше установить?

Перекрытие определяет, сколько исполнителей будут выполнять задание в пуле.

Оптимальное перекрытие — это перекрытие, по результатам которого заказчик получает устраивающее его качество ответов. Для большинства заданий без отложенной приемки достаточно перекрытия от «3» до «5». Если у вас простое задание, скорее всего, вам хватит перекрытия «3». Для заданий с отложенной приемкой установите перекрытие «1».

Можно ли изменить перекрытие после запуска пула?

Да. Откройте режим редактирования пула и установите новое значение перекрытия. Перезапускать пул не требуется. Обновление настроек обычно происходит быстро, но если заданий много, то может занять несколько минут.

Может ли быть такое, что при динамическом перекрытии пул закрывается раньше времени, когда закончились задания для минимального перекрытия? Перекрытие увеличилось, а пул закрылся, и надо его запускать вручную.

Да, такое может произойти. Необходимо установить достаточный интервал закрытия пула.

Как будет работает подсчет, если в пуле я поставлю «перекрытие = 3», а во мнении большинства — «порог ответов = 3»?

В этом случае, если у вас не наберется 3 одинаковых ответа для задания (порог ответов), то ни один из исполнителей не будет считаться ни плохим, ни хорошим, потому что система не будет знать, кто из этих исполнителей ошибся.

А если вы установите порог ответов = 2 при перекрытии = 3, то два исполнителя, у которых совпали ответы, будут считаться хорошими, а третий исполнитель, ответ которого отличается, будет плохим.

Можно ли сделать так: установить базовое перекрытие в 2 человека, и если оба исполнителя выбрали один ответ, то закрыть пул, а если разные, то показать задание еще одному?

Да, можно. Настройте динамическое перекрытие (incremental relabeling, IRL).

Есть ли функция функция Cross-check для заданий?

Чтобы одно и то же задание выполнило несколько разных исполнителей, используется перекрытие. Его значение устанавливается в настройках пула.

Почему в прогресс-баре максимум выполненных заданий меньше, чем общее загруженное количество?

В прогресс-баре указано количество страниц заданий с учетом перекрытия. Если перекрытие больше единицы, то количество страниц заданий будет отличаться от общего количества заданий.

Другой вопрос

Добавление заданий в пул

Загрузка заданий

Сколько заданий должно быть на странице?

Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.

Как определить время на выполнение задания?

Попробуйте выполнить задания сами, попросите своих друзей и коллег. Найдите среднее время выполнения и добавьте к нему 50%.

Как понять сколько заданий будет на странице у исполнителя?

Вы можете указать сколько заданий будет на странице при загрузке заданий в пул. Подробнее о способах распределения заданий по страницам можно узнать здесь.

Почему при генерации файла со ссылками на картинки с Яндекс Диска они не отображаются?

Про подключение Яндекс Диска вы можете прочитать здесь.

В шаблоне проекта должно быть прописано, например, следующее:

<img src={{proxy img}} width="400">, где img — входное поле строкового формата.

Для тестирования используйте файл example.jpg. Его URL вы можете найти в Профиль → Интеграция с внешними сервисами.

Почему в предпросмотре выводятся сразу все фотографии из файла с заданиями?

Каждое задание должно быть описано на отдельной строке в файле с заданиями. Подробнее об этом вы можете прочитать здесь.

Когда вы создадите пул, то в нем будет настройка количества заданий на странице.

Как внутри элементов массива сделать так, чтобы запятые не воспринимались как разделитель элементов?

Заэкранируйте запятые обратным слэшем \.

Как загрузить файл с принятыми решениями обратно в Толоку для случая, когда выставлена отложенная приемка? Где описан формат загружаемых данных?

Для загрузки файла используйте кнопку Загрузить результаты. Формат можно посмотреть здесь.

Проверка ответов выполняется в файле с заданиями.

Как будет отображаться то, что я напишу в столбце "hint"?

Текст из поля hint будет показан исполнителю в верхней части задания на красном фоне, если он в обучающем задании даст ответ, который отличается от указанного правильного.

Пример

Если текст из поля hint необходимо отразить в несколько строк, то переносы добавляются в файл, а текст заключается в кавычки.

Что означают строчки "Add your text here"?

Add your text here — это подсказка, которая говорит о том, что текст в поле вы можете заменить на свои данные для задания. О структуре файла и его заполнении можно узнать здесь.

Почему при экранировании слова в кавычках другими кавычками, на выходе все кавычки пропадают?

Из-за наличия кавычек в одном слове загружать ответ следует таким образом: "Сколько букв в слове ""Лихтенштейн""". Если внутри текста есть экранирование кавычками, то весь текст следует заключать в кавычки. Подробнее описано в Руководстве.

Почему после запуска первого проекта не приходят ответы и все загруженные задания отмечаются как "Обучающие"?

Проверьте поле hint. Для обычных заданий это поле должно быть пустым.

Как правильно сформировать файл задания, чтобы не было ошибок?

В файле с основными заданиями должны быть заполнены столбцы с заголовками INPUT. Вы можете увидеть эти заголовки, если скачаете образец файла из пула.

Если создаете контрольные задания, то заполните столбцы с правильными ответами — GOLDEN.

Если обучающие, то также понадобится заполнить столбец HINT:text. Для основных заданий все столбцы кроме INPUT не нужны, их можно удалить.

Формат файла должен быть TSV, XLSX или JSON, кодировка — UTF-8.

Если вы разместили файлы на Яндекс Диске, посмотрите видео, как указать ссылки на них в файле с заданиями.

Подробнее о создании файла в Руководстве. Если при загрузке возникают ошибки, поищите вашу ошибку на этой странице.

Почему при загрузке задания, в котором нужно просмотреть изображение и написать фидбэк, появляется ошибка синтаксиса?

Ошибка будет возникать, если на вход ожидается тип URL, а приходит строка.

Причин может быть две:

  • Входное поле имеет тип "ссылка".

  • Пул работает на неактуальной версии проекта. То есть создан до того, как вы изменили тип входного поля.

Какое максимальное количество заданий может быть на одной странице?

Зависит от задания. Технически можно много.

Но, во-первых, исполнители неохотно берутся за задания, которые требуют много времени на выполнение. То есть, они скорее сделают 10 заданий по одной минуте, чем одно задание на 10 минут.

Во-вторых, при большом количестве заданий на странице может быть проблема с загрузкой файлов для разметки. Например, картинок.

Третий момент — контроль качества и оценка выполнения всей страницы. Если вы используете дооценку заблокированных исполнителей, то лучше дробить задание на более мелкие части, чтобы в переразметку отправлялось меньше заданий. Это позволит уложиться в бюджет.

Почему в задании с классификацией фотографий, если на странице больше 5-ти фотографий, то Толока разделяет их на 2 страницы?

Загруженные ссылки на картинки в файле Толока разделит на страницы в зависимости от того, какой способ распределения заданий вы выбрали. Подробнее читайте на странице Способы распределения заданий.

Имеет ли значение порядок следования поля INPUT и полей GOLDEN в файле?

Порядок следования полей в файле значения не имеет. Можете делать так, как удобно.

Как в файле с обучающим заданием прописать несколько known_solutions?

Загрузить в пул задания с разными ответами через интерфейс невозможно. Можно только через API.

Куда добавится файл, если добавить его к запущенному пулу?

Если в настройках пула включена опция Сохранять порядок заданий, то разметка новых заданий начнется после того, как будут взяты в работу предыдущие. Если опция выключена, то нет и гарантии, что задания будут раздаваться последовательно.

Как во входном файле записывать массив?

Массив строк во входных данных записывается через запятую. Например: INPUT:types text1, text2, text3, text4

Как правильно организовать структуру файла для загрузки данных, если среди входящих данных есть JSON?

Все значения записываются в один столбец. Не забудьте экранировать кавычки. Подробнее об экранировании кавычек для формата JSON можно узнать в Руководстве.

Если для каких-то входящих колонок в файле с заданиями не будет заголовков, то они будут пропущены при импорте? Либо если они будут иметь заголовки без INPUT:.. префикса?

Нет, если вы загрузите в пул файл с несуществующими заголовками, система выдаст ошибку загрузки. Все обязательные INPUT поля, используемые в спецификации должны быть в файле с заданиями. Лишних полей и столбцов быть не должно.

Если вы не хотите показывать какие-то данные исполнителям, но они вам нужны в файле, создайте для них необязательные скрытые входные поля в проекте.

Как задавать ссылку в поле GOLDEN?

Текст в поле GOLDEN должен в точности совпадать с эталоном.

Обычно, если копировать ссылку из браузера на определенный сайт, они будут иметь одинаковый формат. Другое дело, если ссылка была обрезана или набрана на клавиатуре.

Проверьте ссылки, которые используете. Решить задачу с унификацией ссылок можно несколькими способами:

  • Добавить требования к формату ссылок в инструкцию и подсказки в обучении.

  • Обрезать полученные ссылки в js с помощью regexp и записать результат в новое выходное поле, а после сравнить полученное значение с эталоном.

Как в интерфейсе при загрузке файла указываются настройки умного смешивания?

Настройки умного смешивания указываются для файла — не для пула.

При первой загрузке файла указанные настройки будут применяться для всех файлов, загруженных в дальнейшем в этот пул.

Как правильно организовать структуру файла для загрузки данных, если среди входных данных есть JSON?

Все значения записываются в один столбец. Не забудьте экранировать кавычки.

Подробнее об экранировании кавычек для формата JSON можно узнать в Руководстве.

Чем отличаются task и task_suite?

Task — это отдельное задание. Task suite — страница с заданиями. Исполнитель получает оплату за страницу заданий.

Ошибки при загрузке заданий в пул
Как посмотреть лог обработки

Чтобы посмотреть лог обработки, нажмите Подробнее об ошибках загрузки. Лог обработки записан в формате JSON. Объекты внутри result соответствуют номеру строки загружаемого файла. Строки, обработанные с ошибкой, имеют статус "success": false.

Совет

Работать с большим логом удобнее, если скопировать его в текстовый редактор.

Ошибки в заголовках столбцов

Если заголовки столбцов некорректны, файл будет полностью отклонен. В остальных случаях указано количество заданий с ошибками обработки.

Таблица ошибок обработки

"parsing_error_of": "https://tlk.s3.yandex.net/wsdm2020/photos/2d5f63a3184919ce7e3e7068cf93da4b.jpg\t\t", "exception_msg": "the nameMapping array and the sourceList should be the same size (nameMapping length = 1, sourceList size = 3)"

Описание

Как исправить

Лишние знаки табуляции. Если в загружаемом файле после данных или ссылки стоит количество разделителей столбцов \t больше, чем задано число столбцов во входных данных, то появится сообщение об ошибке.

Например, когда во входных определен 1 столбец, а в файле после ссылки прописано ещё два знака табуляции \t\t, то получится 3 столбца, 2 из которых лишние.

Удалите лишние разделители столбцов, в приведенном выше примере ошибки — оба знака (\t\t).

"exception_msg": "the nameMapping array and the sourceList should be the same size (nameMapping length = 4, sourceList size = 6)"

Описание

Как исправить

Не совпадает количество полей в заголовке и в строке.

Проверьте, что:

  • указано верное количество знаков табуляции в структуре файла;
  • строковые значения, содержащие знак табуляции, заключены в кавычки" ".
"code": "VALUE_REQUIRED", "message": "Value must be present and not equal to null"

Описание

Как исправить

Не указано значение обязательного поля входных данных.

Проверьте, что заполнены все столбцы с обязательными полями входных данных.

"code": "INVALID_URL_SYNTAX", "message": "Value must be in valid url format"

Описание

Как исправить

Данные в поле с типом «ссылка» («url») некорректны.

Проверьте, что:

"exception_msg": "unexpected end of file while reading quoted column beginning on line 2 and ending on line 4"

Описание

Как исправить

В строке стоит непарная кавычка.

Проверьте, что все кавычки экранированы.

Одно и то же задание попало на разные страницы

Одно и то же задание может попасть на разные страницы, если:

  • Существует динамическое перекрытие (incremental relabeling, IRL). Например на странице было 5 заданий, по 4-м из них ответы согласовались так, что общий ответ зачелся как верный. Пятое задание будет замешано в другой набор, поскольку оно не попало в финальный ответ и его необходимо «дооценить».

  • У разных заданий существует разное перекрытие. Те задания, у которых перекрытие указано больше, будут дополнительно показываться в наборах с другими оставшимися заданиями в пуле.

  • Если правило контроля качества меняет перекрытие у задания, то оно окажется в другом наборе.

Как показывать исполнителям два разных варианта текста?

Если вы передаёте тексты во входные данные, то достаточно загрузить в пул 2 разных задания: в одном из них в поле INPUT: <имя входного поля> вы передадите текст № 1, в другом — текст № 2.

Если текст в самом шаблоне задания, в блоке HTML, то нужно клонировать проект. Чтобы исполнитель мог сделать только одно задание в вашем проекте, используйте правило Выполненные задания. Можно назначить навык или заблокировать исполнителя, после того, как он отправит один ответ.

Другой вопрос

Использование файлов из облачных хранилищ

Не загружаются файлы с Яндекс Диска

Если картинки, аудио или видео с Яндекс Диска не отображаются в инструкции или на странице задания, убедитесь, что вы правильно подключили Диск и загрузили файлы.

Как сделать задание, в котором исполнитель должен просматривать видео с Яндекс Диска?

Для создания задания возьмите за основу шаблон для разметки видео.

Чтобы разместить ваши видеоролики на Яндекс Диске, его нужно подключить и настроить проект.

Подробная видеоинструкция об этом в нашем блоге.

Почему в задании по выделению объектов на изображении не отображаются изображения с Яндекс Диска?

Проблема в шаблоне задания. Проверьте, что:

  • Для поля входных данных, куда вы передаете ссылку на файл, в проекте указан тип «строка».

  • В компоненте в шаблоне задания используется выражение proxy.

  • Формат относительных ссылок в файле с заданиями указан верно: <уникальное имя>/<путь и имя файла>.

Подробная инструкцию и видео на странице Использование файлов с Яндекс Диска.

Частые ошибки при подключении Диска и загрузке файлов
  • В настройках проекта в поле Входные данные указан тип ссылка. Необходимо выбрать тип строка.

  • В файле с заданиями указаны абсолютные ссылки на файлы для заданий. Необходимо вставить ссылку вида <уникальное имя>/<путь и имя файла>. Например: yadisk/image1.jpg или yadisk/photos/image1.png.

  • Фото с Яндекс Диска используются в инструкции к заданию в мобильном приложении. Чтобы фото отобразилось в инструкции, используйте только прямые ссылки.

  • Файлы удалены или находятся не в той папке на Диске, на которую ведет ссылка.

  • OAuth-токен не активен. Обновите токен на странице Интеграция.

Чтобы файлы, загруженные на Яндекс Диск (картинки, аудио, видео), отображались у исполнителя, нужно:

  1. Подключить Яндекс Диск в профиле.

  2. Установить тип строка для поля входных данных.

  3. Вставлять ссылку на файл при помощи компонента proxy.

Подробная инструкция

Файлы на Яндекс Диск загружаются слишком медленно. Как ускорить загрузку?

Попробуйте воспользоваться рекомендациями с этой страницы или написать в службу поддержки Яндекс Диска.

Как в инструкцию встроить несколько картинок с Яндекс Диска?

Чтобы добавить картинки с помощью ссылок на Яндекс Диск, используйте ссылку вида /api/proxy/<имя прокси>/<имя файла>.<тип>. Например: /api/proxy/my-proxy/example.jpg

Подробнее об этом читайте в разделе Добавить файлы в инструкцию.

Почему в предпросмотре заданий не отображаются изображения с Яндекс Диска?

Проблема в шаблоне задания. Проверьте, что:

  • Для поля входных данных, куда вы передаете ссылку на файл, в проекте указан тип «строка».

  • В компоненте в шаблоне задания используется выражение proxy.

  • Формат относительных ссылок в файле с заданиями указан верно: <уникальное имя>/<путь и имя файла>.

Подробная инструкция и видео.

Как в задание добавить видео, которое размещено на Яндекс Диске?

Можно взять за основу шаблон для разметки видео.

Чтобы разместить ваши видеоролики на Яндекс Диске, его нужно подключить и настроить проект.

Подробная видеоинструкция есть в нашем блоге.

Другой вопрос

Обучение-экзамен-реабилитация

Как перед выполнением задания добавить обязательные контрольные вопросы по инструкции? Обучающие или контрольные задания будут аналогичны основным заданиям?

Обучающие и контрольные вопросы будут иметь спецификацию проекта. Но вы можете сделать отдельный проект и разместить в нем инструкцию, опросник, приложить примеры видео. А потом по ответам назначить навык. По этому навыку вы будете допускать исполнителей к основному проекту.

Обучение прошли больше исполнителей, чем отображается в тренировочном навыке

В пуле отображается общее число исполнителей, которые выполнили там хотя бы одну страницу заданий. Тренировочный навык может со временем теряться из-за настройки повторного прохождения. Она позволяет заново пройти обучение по истечении указанного срока, если исполнитель так и не приступил к заданиям в привязанных пулах или сделал слишком большой перерыв в выполнении заданий (например, из-за блокировки). Поэтому в тренировочном навыке отображаются те исполнители, которые либо недавно завершили обучение, либо регулярно выполняют ваше задание и не дают навыку исчезнуть.

Чем экзаменационный пул, который я оплачиваю, отличается от обычного пула?

Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Обычно он делается небольшим и служит для проверки того, как исполнители научились выполнять задание после чтения инструкции и прохождения обучения.

В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой. По результатам ответов на контрольные задания вы можете назначить исполнителям навык и далее указать его в основном пуле в качестве фильтра. Например, ≥ 80 или ≠ Отсутствует. Составление экзамена не обязательно, в простых заданиях достаточно тренировки. Но многие заказчики используют также и экзамен.

Какой параметр влияет на истечение действия навыка?

За количество дней, в течение которых сохраняется тренировочный навык, отвечает параметр Повторное прохождение.

Навык удаляется спустя указанное количество дней, если исполнитель:

  • Получил значение навыка ниже значения в поле Уровень прохождения.

  • Не выполнил ни одного задания, к которому привязано обучение, в течение этого срока.

С истекшим навыком вашим исполнителям нужно проходить обучение заново.

Как в обучающем задании сделать один параметр обязательным для заполнения, а остальные — необязательными?

В файле задания оставьте пустыми контрольные значения для необязательных выходных данных.

Как узнать, когда именно тот или иной исполнитель получил навык?
  1. Перейдите в карточку исполнителя.
  2. Выберите вкладку Профиль.
  3. Найдите в списке нужный навык и скачайте историю его изменений.
Почему в обучающем пуле получилось бесконечное количество страниц?

В обучающем пуле задания имеют бесконечное перекрытие. Пока открыт пул, к которому оно привязано, и запущено само обучение, задания из него будут видны исполнителям. Подробнее об обучающих пулах.

Как задавать ссылку в поле GOLDEN?

Текст в поле GOLDEN должен в точности совпадать с эталоном.

Обычно, если копировать ссылку из браузера на определенный сайт, они будут иметь одинаковый формат. Другое дело, если ссылка была обрезана или набрана на клавиатуре.

Проверьте ссылки, которые используете. Решить задачу с унификацией ссылок можно несколькими способами:

  • Добавить требования к формату ссылок в инструкцию и подсказки в обучении.

  • Обрезать полученные ссылки в js с помощью regexp и записать результат в новое выходное поле, а после сравнить полученное значение с эталоном.

Если мы загружаем задания через Умное смешивание, то в одном файле должны быть и контрольные, и обычные задания, или мы можем загрузить их отдельно?

Умное смешивание задается при загрузке заданий в пул. После создания пула нажмите Загрузить и выбираете соответствующий способ формирования страниц с заданиями. При этом вы можете загрузить их отдельными файлами, либо одним файлом, расположив в любом порядке.

Возможно ли автоматически приостановить прием заявок на обучающий пул, если прошли обучение и работают нужное количество исполнителей?

Через интерфейс пул можно закрыть вручную в любое время, но задать определенное количество прошедших обучающий пул и затем закрыть его автоматически не получится.

Как проверить, что исполнители честно проходят обучение?

Обучение помогает исполнителям тренироваться выполнять задание и разобраться с инструкцией.

На основе его результатов заказчик может отобрать в основной пул тех исполнителей, которые справились достаточно хорошо.

Однако, одно лишь прохождение обучающего пула не гарантирует, что тот или иной исполнитель станет в дальнейшем качественно выполнять основные задания. Вероятно, исполнители, которые прошли обучение с высоким уровнем точности, могли обменяться друг с другом правильными ответами.

Помимо обучения нужно добавлять в основные пулы правила контроля качества и контрольные задания. Это позволит контролировать качество исполнителя на всём протяжении его работы над заданием.

Если же задание предполагает ответы в свободной форме или получение файлов с данными, используйте Отложенную приемку, чтобы выплачивать вознаграждение после проверки.

Почему в Обучении доступно только Умное смешивание?

Это техническая особенность обучающих пулов. В них задания загружаются только таким образом. Если вы хотите использовать в обучении способ Указать вручную, создайте основной пул, укажите тип пула Тренировка и установите нулевую стоимость.

Как сделать два активных обучающих пула: первый для тренировки, а второй для решения о доступе к рабочему пулу?

Первый пул сделайте на базе обучающего пула. А второй — на базе основного и укажите тип пула Экзамен. Если в нем будут только контрольные и/или обучающие задания, такой пул может иметь нулевую стоимость.

В экзаменационном пуле можно назначить навык, который будет определять результат сдачи экзамена и служить допуском в основной пул. Например: Если количество ответов ≥ 10 , то установить навык из поля <экзаменационный навык> % правильных ответов.

В требованиях к исполнителям экзаменационного пула укажите: <экзаменационный навык> <80 или = отсутствует>.

Установите в основном пуле фильтр: <экзаменационный навык> >=80 и <основной навык> >=70 или = отсутствует>. Значения навыка вы сможете подобрать в зависимости от того, насколько хорошо исполнители справляются с вашим заданием.

Как сделать обучающий пул, который исполнитель может провалить, но быть допущен к основному пулу заданий?

Создайте основной пул с типом Тренировка. Добавьте только обучающие задания. Назначьте навык правилом Контрольные задания. Чтобы допустить к основным заданиям исполнителей с любым уровнем навыка, установите в основном пуле фильтр: <навык> >= 0 или <навык> ≠ 0.

Но мы не советуем допускать к основным заданиям тех, кто не справился с обучением.

Обязательно ли выполнять все задания в обучающем пуле?

Если установлено неполное прохождение и указано количество страниц, которое нужно пройти, то для прохождения обучения не нужно проходить обучение целиком. Если такие настройки не выставлены, то для получения тренировочного навыка нужно пройти все задания в обучающем пуле.

Как организовать реабилитацию на проекте?

Создать реабилитацию можно также, как и экзамен. В параметрах пула выберите тип Реабилитация. В фильтрах реабилитационного пула укажите верхнее и нижнее значение <основного навыка> исполнителей, которым он будет доступен.

Например, если в основную разметку попадают исполнители с навыком 70 и выше, то в реабилитационный пул можно отправить тех, чей навык между 69 и 40.

Чтобы получилось «окно», нужно указать навык дважды с верхним и нижним значением. Например: <основной навык > <70 и <основной навык > >=40. Советуем не делать экзамен и реабилитацию слишком длинными — исполнители не любят выполнять бесплатные задания. Достаточно 10–20 заданий в зависимости от их сложности.

Как сделать обучение необязательным, чтобы исполнители сами решали нужно ли его проходить?

В сущность обучения заложена функция отбора исполнителей для основного задания. Именно поэтому обучение должно быть связано с основным пулом и становится неактивным, как только этот пул закрывается.

Исполнитель проходит обучение, чтобы получить доступ к оплачиваемым заданиям. Если обучение необязательное, то скорее всего, будет мало желающих его проходить. Технически такое «факультативное» обучение можно реализовать на базе основного пула с обучающими заданиями внутри.

Чтобы оно показывалось отдельно от других пулов, снимите галочку использовать описание проекта и укажите в этом поле, что это необязательный обучающий набор заданий. В параметрах пула выберите тип Тренировка

Возможно ли в обучающем пуле сделать отложенную приемку?

В обучающем пуле отложенная приемка невозможна.

Но вы можете создать обучающий пул с типом Тренировка на базе обычного пула и в нем выставить отложенную приемку.

Возможно ли создать обучение в проектах, в которых невозможно сформулировать точный правильный ответ, либо проверить его автоматически?

Создать такое обучение невозможно, потому что для того, чтобы ответ засчитался верным, он должен в точности совпасть с эталоном.

Для проектов со свободным вводом или файлами-вложениями можно сделать отборочное задание с отложенной приемкой. Тех, кто хорошо справится, можно будет пропустить по навыку в основной пул.

Как сделать экзамен, с заданным количеством правильных ответов?

Необходимо в блоке Результат проверки в поле Учитывать последних заданий указать количество последних ответов исполнителя.

Например, требуется создать экзамен размером в три задания по одному заданию на страницу. Если исполнитель выполняет два из трех правильно, то получит навык.

Если задание с отложенной приемкой, то чтобы настроить правило по такой логике, необходимо указать 3 в параметре количество проверенных ответов. На скриншоте в первом случае навык получат все исполнители, которые выполнили 3 страницы заданий и ответы которых проверены, а во втором — только те, у которых приняты 2 или 3 задания.

Как сделать тренировку и ханипоты с экзаменом, чтобы на выходе задания был неэталонный ответ?

Чтобы ответ на контрольное или обучающее задание был засчитан как верный, он должен полностью совпасть с эталоном. Для этого текст нужно нормализовать с помощью JavaScript: удалить пробелы, знаки препинания, специальные символы и заглавные буквы, а результат записать в отдельное выходное поле. Такой обработанный ответ можно уже сравнивать с контрольным.

Другой вариант отбора исполнителей для проекта такого типа — отложенная приемка.

Как сделать файл с обучающими заданиями?

Для обучающих заданий необходимо:

  • Правильные ответы пометить в колонке GOLDEN:result.

  • Заполнить колонку HINT:text, куда записывается подсказка в случае выбора неверного варианта ответа.

Другой вопрос

Изменение запущенного пула

Если изменить время на выполнение одного задания, то изменится ли оно у уже выданных заданий?

Если вы изменили время на выполнение задания, то его значение применится к тем заданиям, которые еще не взяты исполнителями в работу. Тоже самое касается и случая, когда вы закрываете пул. У исполнителя, у которого задание активно, остается возможность его доделать.

Как изменить загруженные в пул задания: отредактировать или удалить их?

Если вы загрузили в пул задания «Умным смешиванием», то можете остановить пул и разметить задания — отредактировать ответы, подсказки или удалить задания.

Если вы загружали их другим способом, то нужно будет клонировать пул и загрузить туда новый файл с откорректированным списком данных на разметку.

Я загрузил 2 файла в тренировочный пул. Как удалить один из них?

Все задания после загрузки попадают в один список, поэтому один файл удалить не получится.

  • Если пул не запускался, то удалите все задания. Для этого в блоке Задания пула нажмите кнопку Удалить. Далее загрузите в пул только один файл.

  • Если пул запускался, то удалите задания по одному через режим разметки.

Другой вопрос

Работа с результатами

Агрегация

Чем отличается уверенность в агрегированном ответе в агрегации по Дэвиду - Скину от уверенности в агрегации по навыку?

В способе вычисления. В обоих агрегациях уверенность означает то же самое.

Как работает агрегация результатов по методу Дэвида — Скина?

Модель агрегации Dawid-Skene анализирует ответы исполнителей и создает матрицу ошибок каждого толокера. Так вычисляется статистическая значимость толокера для каждого ответа. Подробнее о модели.

Почему агрегация по методу Дэвида — Скина выдает ответ, который исполнители не выбирали?

Метод не гарантирует, что для агрегации результата будут использоваться исходные ответы исполнителей. Алгоритм учитывает параметры качества исполнителей и закономерности в ответах. Соответственно, он может выдать результат, которого нет в ответах исполнителей на это задание.

Где можно увидеть ход агрегации?

На странице пула есть кнопка К списку операций.

Почему может быть недоступна агрегация по навыку исполнителя?

Невозможно агрегировать поля проекта, которые не имеют допустимых значений. Необходимо указывать возможные значения для всех полей всех типов.

Агрегация по навыку недоступна. При запуске по API, код ошибки — ONLY_FOR_POOL_WITH_MIXER. Почему?

Необходимо использовать «умное смешивание».

Можно ли получать уведомления о завершении агрегации результатов?

Да. Настройте оповещения в аккаунте через Профиль → Уведомления → Выполнение пула или агрегации. Подробнее о настройке оповещений.

Другой вопрос

Обработка файла с результатами

Почему возникают пустые области внутри TSV-файла?

При загрузке строк в файле двойные кавычки обозначают область, внутри которой можно использовать спецсимволы: табы или переносы строк. Толока заключает все, что находится между кавычками в одну строку и получается одно задание. Чтобы использовать кавычки внутри такой области, нужно их экранировать еще одной кавычкой. Подробнее здесь.

Какой результат обработки пустого текстового поля?

Если толокер написал и стер информацию, то будет null, иначе — undefined.

Другой вопрос

Проверка ответов

Как отправить задание исполнителю на доработку?

Можно только принять или отклонить это задание.

Можно ли отключать задания для исполнителей, которые выполняют его некачественно?

Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.

Могу ли я самостоятельно исправить что-то в выполненном задании?

Нет, в самом задании ничего исправить нельзя. Но это можно сделать вручную при обработке файла с результатами.

Что делать, если я хочу принять задание, а пул уже заархивирован или исполнитель написал мне позже допускаемого срока?

Просто начислите толокеру бонус без изменения статуса задания. Изменить статус задания в пуле в этой ситуации уже невозможно.

Что делать, если я не указал в инструкции того, за что отклонил задание?

Примите задание и скорректируйте инструкцию. Иначе вы нарушаете Соглашение с заказчиком, согласно которому нужно четко прописывать требования к выполнению задания и ожидаемым от исполнителя результатам.

Могу ли я отклонить часть ответов на странице, а часть принять?

Нет. Например, на странице 10 заданий стоимостью 0,1 $, а исполнитель сделал только 2 из них неправильно.

Вы не можете принять правильные ответы и заплатить ему часть стоимости - 0,08 $. Страницы с ответами принимаются либо отклоняются только целиком.

Как уведомить исполнителя об изменениях в инструкции?

Добавьте уведомление в описание проекта (например: «Внимание! В инструкции произошли изменения») и напишите сообщение всем исполнителям, которые выполняли ваши задания. Для этого:

  • Назначьте им скрытый навык или воспользуйтесь уже имеющимся навыком по пулу.

  • Перейдите в Сообщения, нажмите НаписатьГруппеДобавить фильтрВыбрать свой навык<название навыка>.

  • Если вы создали новый навык, то укажите то значение, которое присвоили выбранной группе, например 1. Если вы используете существующий навык, то укажите минимально допустимое значение.

Как повысить рейтинг проекта?

Рейтинг проекта — это средняя оценка по всем категориям. Обращайте особое внимание на категории, по которым вы набрали наименьшее количество баллов.

Низкая оценка «Выполнили бы ещё такое же»

Возможно, ваши задания показались сложными исполнителям. Попробуйте упростить их.

Низкая оценка «Понятность инструкции»

Сократите инструкцию и перепишите более простым языком, добавьте картинки и примеры.

Низкая оценка «Удобство интерфейса задания»

Сделайте интерфейс более удобным и интуитивно понятным, не заставляйте исполнителя совершать дополнительные ненужные действия, используйте горячие клавиши.

С 15 декабря 2021 года задания в пулах по умолчанию доступны для веб-версии Толоки и мобильного приложения. Если ваше задание не подходит для мобильных устройств, возможно вы забыли добавить фильтр Клиент.

Низкая оценка «Общение с заказчиком»

Регулярно отвечайте на сообщения исполнителей. Постарайтесь обеспечить максимально быструю обратную связь. Своевременно исправляйте ошибки и уведомляйте исполнителей об изменениях с помощью рассылок. Если вы не понимаете, в чем проблема, запустите мини-опросник и поинтересуйтесь у исполнителей, выполнявших ваши задания, что именно им нравится и не нравится.

Другой вопрос

Статистика

Какова формула расчета процента выполнения пула?

Процент рассчитывается исходя из количества страниц, с учетом перекрытия. Если в пуле используется умное смешивание с контрольными заданиями, то максимальное значение прогресс-бара и текущий процент выполнения будут рассчитаны приблизительно.

Что происходит с заданиями имеющими статус «expired» или «skipped»?

Они возвращаются в пул, пока не будет набрано полное перекрытие.

Как считается статистика «Качество обучения» и «Качество контрольных» на проекте. Учитываются ли в них обучающие задания, загруженные в основной пул?

«Качество обучения» относится только к обучающим пулам, которые привязываются к основным, а контрольные и обучающие задания, которые залиты в основные пулы, учитываются в показателе «Качество контрольных».

Есть ли возможность получить от исполнителя вместе с результатами выполнения задания точное время начала и конца выполнения?

Когда скачиваете файл с результатами, поставьте галочки Время старта и Время отправки. В файле будут точные дата и время, когда исполнитель взял страницу заданий на выполнение и отправил ее в формате UTC.

Другой вопрос

Архивация пулов и проектов

Можно ли удалить пул?

Полностью удалить пул невозможно, но можно переместить в архив. Система не удаляет пулы автоматически.

Как долго хранится пул?

Если в пуле нет активности в течение месяца, он архивируется. Его нельзя запустить, но можно клонировать или скачать размеченные данные.

Где хранятся пулы, закрытые несколько месяцев назад?

Неактивные пулы через месяц попадают в архив. Чтобы их увидеть, на вкладке Пулы выберите Архивные.

Как узнать параметры архивации пула?

Чтобы узнать дату архивации, получите список операций с типом POOL.ARCHIVE. В ответе будет номер пула и дата архивации. Получить способ отправки пула в архив через API невозможно.

Если между активностью в пуле и его архивацией прошло меньше месяца, можно предположить, что пул отправили в архив вручную, а если месяц — автоматически.

Как узнать параметры архивации пула?

Чтобы узнать дату архивации, получите список операций с типом POOL.ARCHIVE. В ответе будет номер пула и дата архивации. Получить способ отправки пула в архив через API невозможно.

Если между активностью в пуле и его архивацией прошло меньше месяца, можно предположить, что пул отправили в архив вручную, а если месяц — автоматически.

Другой вопрос

Финансы

Пополнение счета

Как подключиться к биллингу из Москвы или Санкт-Петербурга?

Если ваш адрес в самом Санкт-Петербурге, введите Санкт-Петербург в поле Регион, затем введите улицу, номер дома и индекс. Остальные поля заполнять не нужно.

Если ваш адрес в самой Москве, введите Москва в поле Регион, затем введите улицу, номер дома и индекс. Подробнее о подключении к биллингу.

Если всё равно не получается напишите полный адрес с индексом, который вы пытаетесь ввести, по форме обратной связи. Подскажем, как правильно заполнить поля.

При пополнении счета вижу сумму, в 1000 раз большую, чем планировал — почему?

Это нормально. Например, если вы вводили 25 $, а видите 25,000 — это все еще 25 долларов с десятичной запятой. На счет вы получите 25 $ по актуальному курсу. Сумма в рублях появится, когда вы перейдете к оплате.

Почему мы пополняем счет не в российской валюте?

Толока — международная платформа для исполнителей из разных стран. Ее предоставляет швейцарская компания Yandex Services AG.

Почему мы платим НДС 20% в счете?

Согласно налоговому законодательству РФ мы внесли п.3.8. в Соглашение с заказчиком — НДС начисляется дополнительно к стоимости услуг и включается в счет на оплату. Так же мы все платим НДС в любом магазине. На свой счет в Толоке вы получите сумму, которую указывали при пополнении.

Сколько времени занимает оплата счета?

Если вы оплачиваете банковской картой, средства обычно поступают на ваш счет в Толоке в течение нескольких минут. Если ваши средства не отображаются в счете, напишите нам — разберемся. Укажите логин заказчика и номер счета, а также отметьте тему Пополнение счета.

Как узнать курс, по которому происходит валютный обмен при пополнении счета в Толоке?

Вы указываете сумму пополнения в долларах США. В Балансе она переводится в рубли с учетом НДС. Конверсия производится по курсу ЦБ РФ на момент выставления счета по всемирному времени (UTC). Подробнее о пополнении счета.

Как добавить деньги в Толоку?

Пополнить счет в Толоке можно с банковской карты или банковским переводом. На странице Профиль нажмите на кнопку Подключиться к биллингу, заполните форму, появится кнопка Пополнить счет. Подробнее по шагам.

Получить закрывающие документы и акты

Другой вопрос

Оплата заданий

Где установить цену задания?

Установить цену за страницу заданий можно на странице редактирования пула. Минимальная цена для обычных пулов составляет 0,005 $.

Как сформировать бюджет на свое первое задание в Толоке?

Общее правило формирования цены: чем больше времени нужно на выполнение, тем выше цена.

Если задание простое, например, на оценку релевантности товара исполнитель потратит несколько секунд, то при 10 заданиях (товарах) на странице устанавливайте стоимость 0,01 $–0,02 $.

Если вы зарегистрируетесь в Толоке как исполнитель, то сможете проанализировать предложения других заказчиков.

Определите цену страницы, умножьте на перекрытие (например, в задании по классификации это обычно 3–5) и учтите НДС 20%. Попробуйте положить на счет первые 10 $, а затем пополняйте его с учетом выполнения.

Как я могу платить больше исполнителям, которые заполняют необязательные поля?

Вы можете выдавать бонусы после выполнения и описать условие получения повышенного вознаграждения в инструкции к заданию. Возможности изменять цену за страницу заданий динамически по результатам выполнения не предусмотрено.

Где находится статистика по выплаченным бонусам?

Отслеживайте списание денег на бонусы в Профиле → вкладка Затраты.

Могут ли быть в пуле задания с разными ценами?

Нет, цена за страницу заданий общая для всех заданий в пуле. Вы можете создать несколько пулов с разными ценами или изменять цену в зависимости от навыка исполнителя с помощью Динамического ценообразования. Добросовестным исполнителям можно выплачивать бонусы.

Другой вопрос

Возврат средств

Вернуть средства, перечисленные на счет в Толоку

Исполнители

Данные об исполнителях

Как посмотреть информацию об исполнителях

Информация об исполнителях, которые участвовали в ваших заданиях, доступна на странице  Исполнители. Чтобы посмотреть информацию об исполнителе, выберите его идентификатор. Заказчику доступны следующие данные профиля исполнителя: страна и город, возраст, образование, знание языков. Во вкладке Метаинформация можно узнать версию браузера и операционной системы, тип User-agent, регион, определённый по IP, и другие параметры исполнителя. Чтобы отобрать исполнителей для пула по данным профиля, устройству, геопозиции и другим параметрам, используйте фильтры.

Проверяется ли информация, указанная исполнителем в профиле?

Исполнители сами указывают информацию в профиле при регистрации. Мы не требуем документов, удостоверяющих личность, при регистрации в Толоке. Если профиль кажется нам подозрительным, мы просим его владельца уточнить данные.

Знают ли исполнители свой идентификатор?

Нет, идентификатор исполнителя доступен только заказчику.

Почему в настройках пула можно отфильтровать исполнителей по полу, хотя в профиле информации о поле нет?

Заказчику недоступна полная информация о конкретных исполнителях. Например, он не видит их дату рождения, пол, фамилию и имя. При этом в настройках пула заказчику доступны фильтры по дате рождения и полу. Они позволяют отобрать группу исполнителей, не получая информации о каждом в отдельности. Это уменьшает риск деанонимизации исполнителей.

Обучение прошли более 500 исполнителей, но в тренировочном навыке отображается только 30

В пуле отображается общее число исполнителей, которые выполнили там хотя бы одну страницу заданий. Тренировочный навык может со временем теряться из-за настройки повторного прохождения. Она позволяет заново выполнить тренировку по истечении указанного срока, если исполнитель так и не приступил к заданиям в привязанных пулах или сделал слишком большой перерыв в выполнении заданий (например, из-за блокировки). Поэтому в тренировочном навыке отображаются те исполнители, которые либо недавно завершили обучение, либо регулярно выполняют ваше задание и не дают навыку исчезнуть.

Другой вопрос

Бонусы

Как поощрить исполнителей в дополнение к базовой стоимости задания

Вы можете повысить базовую стоимость задания для исполнителей с более высоким навыком. Для этого настройте Динамическое ценообразование. Если вы хотите повысить мотивацию исполнителей за качественное выполнение заданий, независимо от их навыка, используйте бонусы. Опишите в инструкции задания, сколько бонусов и в каких случаях получат исполнители.

Как посмотреть статистику по выплаченным бонусам

Чтобы посмотреть расходы на выплату бонусов, перейдите в ваш  профиль и откройте вкладку Затраты.

Другой вопрос

Читеры

Можно ли отключать задания для исполнителей, которые выполняют его некачественно?

Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.

Можно ли попросить исполнителя переделать задание, если он допустил в нем ошибки?

Нет, после отправки задания исполнитель уже не может внести в него изменения. Неверно выполненные задания можно добавить в новый пул.

Могу ли я самостоятельно исправить что-то в выполненном задании?

Нет, в самом задании ничего исправить нельзя. Но это можно сделать вручную при обработке файла с результатами.

Недобросовестный исполнитель отправляет задание с незаполненными полями ответа. Будет ли он заблокирован до того, как будут известны ответы других исполнителей?

Исполнитель не будет заблокирован, пока не будет известно мнение большинства. Поэтому мы рекомендуем проводить обучение или экзамен для новых исполнителей. Тогда для выполнения заданий можно будет отобрать тех, кто успешно прошел обучение.

Оплачиваются ли ответы недобросовестных исполнителей, заблокированных за неверные ответы?

Если исполнителю уже начислена оплата за задания, отменить ее не получится.

Исполнители успешно проходят обучение, но отвечают с низкой точностью в основном задании

Обучение помогает исполнителям изучить инструкцию задания и потренироваться в его выполнении. По результатам обучения заказчик может отобрать исполнителей, которые справились достаточно хорошо, в основной пул. Однако, успешное прохождение обучающего пула не гарантирует, что исполнитель в дальнейшем будет качественно выполнять задания. Исполнители, которые прошли обучение с высоким уровнем точности, не соответствующим их ответам в основном задании, могли обменяться друг с другом правильными ответами.

Помимо обучения, в основных пулах нужно настроить правила контроля качества. Это позволит контролировать качество работы исполнителя на протяжении выполнения им задания. Если задание предполагает ответы в свободной форме или отправку файлов с данными, используйте отложенную приемку, чтобы выплачивать вознаграждение после проверки.

В результаты попали ответы исполнителей, которых я заблокировал

В результатах отображаются ответы всех исполнителей, в том числе и заблокированных. Чтобы исключить их ответы из результатов, выберите опцию Не учитывать ответы заблокированных исполнителей. Убраны будут ответы тех исполнителей, кто заблокирован на момент выгрузки результатов, а не на момент разметки пула.

Как заблокировать исполнителя и отклонить все его ответы?

Автоматически отклонить ответы заблокированного исполнителя нельзя.

Но вы можете это сделать самостоятельно. Для этого при скачивании результатов выберите опцию Не учитывать ответы заблокированных пользователей — из результатов удалятся ответы заблокированных в момент выгрузки исполнителей. Также вы можете отправить все ответы заблокированных исполнителей на повторное выполнение другим толокерам — для этого используйте Повторное выполнение заданий после блокировки исполнителя.

На проекте есть исполнитель, которому я доверяю, но он был заблокирован системой

К сожалению, такой исполнитель нарушил требования пользовательского соглашения и больше не сможет выполнять задания. Вы можете найти новых исполнителей или настроить фильтры так, чтобы они лучше соответствовали проекту.

Вопросы о пресетах

Выбор пресета

Как классифицировать тексты по смыслам?

Задание по классификации текстов можно представить как текст и радиобаттоны. Либо текст и чекбоксы, если тематик несколько.

Рекомендуем взять за основу пресет Анализ тональности и модерация контента.

Также вы можете создать свой собственный интерфейс. Все доступные инструменты описаны в Руководстве заказчика.

Как сделать задание, в котором на входе и выходе текстовые поля?

Вы можете посмотреть, как реализован пресет Расшифровка аудиозаписей — выходным полем которого является строка. В пресете Распознавание текста с изображения (OCR) можно посмотреть, как описать текстовые входные поля. Обратите внимание на то, что если впоследствии вы захотите использовать агрегацию по методу Дэвида — Скина, то необходимо указать допустимые значения.

Какой пресет выбирать, чтобы исполнители отмечали только нерелевантные товары в выдаче?

Такое задание можно сделать на основе пресета по классификации. Покажите картинку с товаром и задайте вопрос: подходит ли товар к запросу? Для ответов добавьте два радиобаттона: «да» и «нет».

Как разметить элементы на веб-страницах?

Сгенерируйте скриншоты страниц и вручную разметьте на них области, используя пресет Распознавание объектов и выделение областей.

У меня есть сложное задание и я хочу понять: как его разбить, чтобы получить качественные результаты?

Если в вашем задании много объектов разного типа для выделения, то его стоит декомпозировать. Например, в одном проекте предложить исполнителям выделить только цифры, во втором — дверные проёмы и окна, в третьем — стены, в четвёртом — сантехнику.

Чем проще получится задание, тем оно будет дешевле, и тем качественнее будет итоговый результат. Устанавливайте стоимость разметки одного класса объектов на фото примерно 0,01 $

Используйте пресет Распознавание объектов и выделение областей. Через редактор из этого пресета можно добавить выпадающий список для маркировки выделенного объекта. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Как добавить валидацию ответа в зависимости от чекбокса?

Добавить валидацию ответа в зависимости от чекбокса можно с помощью JavaScript. Пример доступен в пресете Сбор данных: Организации.

Другой вопрос

Выделение областей

Как в image-annotation добавить горячую клавишу для добавления многоугольника?

Чтобы добавить горячую клавишу, в методе onKey пропишите следующее действие:

onKey: function(key) {
    var el = this.getDOMElement().querySelector(".image-annotation-editor__shape-polygon");

    if (key === 'D') {
      el.click();
      el.classList.add('image-annotation-editor__shape_active')
    }
Как размечать треугольники, чтобы они сами замыкались при выставлении последней точки?

Для замыкания используйте горячую клавишу C.

Вы также можете воспользоваться библиотекой, чтобы настроить горячие клавиши под свои задачи.

Как создать задачу с выделением областей на изображении?

Задачу с выделением областей на изображении с помощью Толоки рекомендуем решать в трёх проектах:

  1. Сортировка изображений, на которых есть объект.

    1. Создайте задание, используя пресет Классификация изображений.

    2. Отсортируйте изображения, на которых есть искомый объект.

    3. Покажите изображение исполнителю и задайте вопрос: есть объект на картинке? Ответ — Да/Нет.

  2. Выделение объекта на изображениях.

    1. Выделите объект на изображениях, которые отобрали в предыдущем проекте. Такой проект у вас уже есть. Задание запускается с отложенной приемкой.

    2. Используйте правила контроля качества: быстрые ответы, отложенная приемка, дооценка после приёмки. Описание правил и примеры.

  3. Проверка выделения объектов.

    1. Создайте задание, используя шаблон по выделению областей.

    2. Скройте редактор и задайте вопрос: объект выделен верно? Ответ — Да/Нет.

    3. Во входных данных передайте картинки и координаты размеченных областей из предыдущего задания.

    Запустив полученный пул с перекрытием 3–5 или с динамическим перекрытием, вы сможете агрегировать результаты, а затем загрузить данные для проверки в проект 2.

    Чтобы не допускать к проверке тех исполнителей, которые работали над вторым проектом, назначайте им навык. Используйте этот навык в качестве фильтра в пулах третьего проекта.

Как добавить валидацию ответа в зависимости от чекбокса?

Добавить валидацию ответа в зависимости от чекбокса можно с помощью JavaScript. Пример доступен в пресете Сбор данных: Организации.

Задание по выделению областей на картинке: что делать исполнителю, если на картинке нет предмета, который он должен выделить?

Основные варианты решения:

  • Выделите произвольную область на картинке (например, поставьте квадрат в правый верхний угол). В этом случае в инструкции к проекту для проверяющих это тоже должно быть отражено.

  • Предложите пропустить задание и сообщить о нём в личном сообщении. Сообщения проверяются заказчиком и, если объекта действительно нет, задание удаляется из пула путем обнуления перекрытия.

  • Добавьте в интерфейс дополнительный чекбокс «нет объекта». Настройте в JS проверку, чтобы в задании был выделен объект, либо проставлен чекбокс. В этом случае в интерфейс задания для контроля также нужно добавить информацию о значении этого чекбокса.

Сколько будет стоить 2000 картинок с большим количеством объектов выделения разного типа? Как для такого объема работы создать задание?

Для краудсорсинга такое задание лучше декомпозировать. Чем проще задание, тем оно будет дешевле и качественнее итоговый результат. Стоимость разметки одного класса объектов на фото может составить примерно 0,01 $.

Возьмите за основу пресет Распознавание объектов и выделение областей. Пошаговое руководство по созданию проекта такого типа вы найдёте на этой странице.

Редактор, который используется в пресете, позволяет добавлять выпадающий список для маркировки выделенного объекта. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Как реализовать выделение 3-х разных областей на картинке? На скриншоте страницы товара нужно выделить название, изображение, цену.

Можно сделать выделение + выпадающий список с выбором категории. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Какие входные данные при разметке объектов на изображении: координаты объекта относительно изображения или координаты объекта в окне исполнителя Толоки?

Координаты относительно самого изображения.

Почему в задании по выделению объектов на изображении не отображаются изображения с Яндекс Диска?

Проблема в шаблоне задания. Проверьте, что:

  • Для поля входных данных, куда вы передаете ссылку на файл, в проекте указан тип «строка».

  • В компоненте в шаблоне задания используется выражение proxy.

  • Формат относительных ссылок в файле с заданиями указан верно: <уникальное имя>/<путь и имя файла>.

Подробная инструкция и видео на странице Использование файлов с Яндекс Диска.

Как в стандартном пресете с редактором для выделения областей использовать контрольные и обучающие задания?

В стандартном пресете для выделения областей использовать контрольные задания не получится. Для того, чтобы ответ засчитался как верный, выделенный исполнителем объект должен в точности совпасть с эталоном. А это практически невозможно. Поэтому в файле с заданиями оставьте поле GOLDEN пустым или просто удалите все столбцы, кроме INPUT.

Использование обучения и основного пула с типом Тренировка в проекте по выделению областей на картинке не принесет результата, так как для правильного ответа необходимо, чтобы выделение исполнителя полностью совпало с эталоном. А это практически невозможно.

Поэтому такие задания обычно запускаются с отложенной приемкой: исполнитель дает ответ, а затем после проверки, задание отклоняется или принимается.

Для предварительного отбора исполнителей подойдет так называемое «экзаменационное задание». Проверяйте задания и выставляйте навык по проценту принятых ответов. Для этого добавьте в пул правило «Результаты проверки». Чтобы к разметке основного пула приступили только хорошие исполнители, поставьте в нем фильтр по навыку.

Другой вопрос

Полевое задание

Можно ли в полевом задании ограничить источник получения фото только камерой, чтобы исполнитель никак не мог загрузить фото откуда-то ещё?

Чтобы при нажатии на кнопку загрузки картинки запускалась камера, а не галерея, укажите в компоненте Кнопка для загрузки картинки camera=true.

В мобильных приложениях исполнители могут прикреплять фотографии из дефолтной галереи (iOS) или через Google photo (Android). Чтобы ограничить возможность добавления картинок из сети, укажите в компоненте requiredCoordinates=true. В этом случае система не позволит воспользоваться картинками без геотегов.

Подробнее о настройке компонента для загрузки картинки .

Другой вопрос

Сравнение изображений (Side-by-side)

Как сделать задание с выбором из трех вариантов картинок, чтобы картинки попарно сравнивались?
  1. Используйте пресет Сравнение изображений (Side-by-side).

  2. В файле с заданиями укажите ссылки на сравниваемые картинки.

  3. В файле создайте задания, в которых все картинки будут попарно сравниваться:

    • Картинка 1 и Картинка 2

    • Картинка 1 и Картинка 3

    • Картинка 2 и Картинка 3

  4. Обработайте результаты.

Также вы можете изменить проект так, чтобы исполнитель видел сразу 3 картинки и выбирал одну из них.

Другой вопрос

Опрос

Как создать простой опрос без вариантов, в котором исполнитель сам должен написать свой вариант ответа?
  1. Создать проект из пустого пресета.

  2. Напишите свой вопрос в блоке HTML.

  3. Если ответ должен быть развёрнутый, то добавьте нужное количество компонентов для ввода текста.

  4. Если ответ должен быть коротким, то добавьте нужное количество компонентов для ввода строки.

  5. Для каждого из компонентов придумайте своё название (name) и создайте соответствующее количество выходных полей с типом строка с таким же названием. В них будут записываться ответы.

  6. Сделайте все выходные поля обязательными.

  7. Входное поле сделайте техническим. Оно будет использоваться только для создания файла с заданиями.

  8. Придумайте название входному полю и укажите для него тип строка, как это сделано в пошаговом руководстве по созданию опроса.

Как сделать опрос из одного вопроса с помощью готового пресета под опросы?

В опросе имеется техническое входное поле. В него можно передать любую информацию — она не будет видна исполнителям.

Загрузите одно задание и в перекрытии укажите количество человек, которое хотите опросить.

Другой вопрос