Документация Толоки

Скачивание результатов

Важно

Скачать результаты можно только из пакета данных в статусе Размечен.

Скачать все результаты

  1. Откройте Bespoke-проект и перейдите в нужный пакет данных.
  2. Справа нажмите кнопку Скачать результаты.
  3. Дождитесь окончания выгрузки.

Посмотреть результаты по элементам

  1. Откройте Bespoke-проект и перейдите в нужный пакет данных. Вы увидите список размеченных элементов.
  2. Выберите элемент и нажмите на него. Вам откроется блок результатов разметки в JSON.
  3. Справа нажмите Скопировать. Это добавит размеченный блок в буфер обмена.

Порядок приемки Услуг

Примечание

В готовых проектах доступна только автоматическая приемка. Возможность отклонить ответы вручную не предусмотрена.

Все Задания, выполненные в течение срока, указанного в Заданиях, считаются принятыми Заказчиком автоматически с момента завершения каждого отдельного Задания Пользователем, а Услуги — оказанными Исполнителем надлежащим образом и подлежащими оплате вне зависимости от каких-либо иных условий. Несоответствие результатов выполнения Задания требованиям, установленным Исполнителем в Инструкции, не является основанием для отказа в приемке соответствующих Услуг.

По итогам разметки вы получите TSV-файл с ответами. Поле CONFIDENCE — уверенность в ответе. В нашем случае это вероятность того, что названный ответ правильный.

Пример

Элементы размечали три исполнителя с разным значением уровнем качества работы: первый исполнитель работает чуть выше среднего, второй — хороший исполнитель, третий — отличный.

На первое задание все исполнители ответили OK. В этом случае мы уверены на 100%, что ОК — это правильный ответ.

На второе задание первый и третий исполнители ответили OK, а второй — BAD. В этом случае мы сравним уровни качества работы исполнителей и на основе этого посчитаем уверенность в ответе.

Как вычисляется

Термины:

  • q[i]q[i] — точность исполнителя;
  • KK — константа для сглаживания;
  • z[j]z[j] — наиболее популярный ответ;
  • z[x]z[x] — вероятность того, что оценка правильная.

Точность исполнителя q[i]q[i] считаем по формуле:

q[i]=K+correct.golden.sets[i]2×K+total.golden.sets[i]q[i] = \frac{K+correct.golden.sets[i]}{2×K+total.golden.sets[i]},

где:

KK — константа для сглаживания (начиная от 0,5) при недостаточном количестве ответов на контрольные задания.

При наличии нескольких оценок для задания высчитывается наиболее популярный ответ — для каждого варианта ответа суммируем q[i]q[i] исполнителей, выбравших его. Ответ с большей суммой считаем более правильным. Назовем эту оценку z[j]z[j].

По теореме Байеса считаем апостериорную вероятность того, что оценка z[j]z[j] правильная.

В качестве априорного распределения оценок будет считать равномерное. Для оценки z[x]z[x] априорная вероятность:

P(z[x])=1YP(z[x]) = \frac{1}{Y},

где:

YY — количество вариантов ответов.

Далее считаем вероятность того, что оценка z[j]z[j] правильная.

Если исполнитель ответил z[j]z[j], то вероятность этого равна точности исполнителя q[i]q[i]. Если ответил иначе, то вероятность этого равна:

1q[i]Y1\frac{1-q[i]}{Y-1},

где:

(1q[i])(1 - q[i]) — оставшаяся вероятность.

Таким образом рассчитывается то, что вероятности ошибок равномерно распределены по оставшимся оценкам.

Взяв все ответы исполнителей и, например, вариант z[x]z[x], мы считаем вероятность того, что исполнители ответят таким образом, при условии, что правильным ответом был z[x]z[x]:

func z_prob(x int) : float {
    d = 1.0
    for w[i]: workers
         if answers[w[i]] == z[x]
            d *= q[i]
         else
            d *= (1 - q[i])
    return d
}

Далее по теореме Байеса считаем вероятность того, что ответ z[j]z[j] правильный:

r = 0
for z[i]: answer_options
    r += z_prob(i) * (1 / Y)

eps = z_prob(j) * (1 / Y) / r

Решение проблем

Почему я не могу скачать результаты?

Кнопка Скачать результаты появляется только у пакетов данных в статусе Размечен. Дождитесь окончания разметки и вернитесь в пакет данных чуть позже.

Как узнать, сколько времени ушло на разметку?

Выберите нужный пакет данных. В блоке справа будет перечислена вся доступная статистика.