"use strict";(self.webpackChunk_toloka_portal_gatsby_renderer=self.webpackChunk_toloka_portal_gatsby_renderer||[]).push([[7955],{31451:function(e,t,n){n.d(t,{YD:function(){return h}});var i=n(67294);function r(){return r=Object.assign||function(e){for(var t=1;t=e}));e.trackVisibility&&void 0===t.isVisible&&(t.isVisible=s),null==(n=r.get(t.target))||n.forEach((function(e){e(s,t)}))}))}),e);i=o.thresholds||(Array.isArray(e.threshold)?e.threshold:[e.threshold||0]),n={id:t,observer:o,elements:r},s.set(t,n)}return n}(n),r=i.id,o=i.observer,l=i.elements,a=l.get(e)||[];return l.has(e)||l.set(e,a),a.push(t),o.observe(e),function(){a.splice(a.indexOf(t),1),0===a.length&&(l.delete(e),o.unobserve(e)),0===l.size&&(o.disconnect(),s.delete(r))}}function d(e){return"function"!=typeof e.children}var u=function(e){var t,n;function s(t){var n;return(n=e.call(this,t)||this).node=null,n._unobserveCb=null,n.handleNode=function(e){n.node&&(n.unobserve(),e||n.props.triggerOnce||n.props.skip||n.setState({inView:!!n.props.initialInView,entry:void 0})),n.node=e||null,n.observeNode()},n.handleChange=function(e,t){e&&n.props.triggerOnce&&n.unobserve(),d(n.props)||n.setState({inView:e,entry:t}),n.props.onChange&&n.props.onChange(e,t)},n.state={inView:!!t.initialInView,entry:void 0},n}n=e,(t=s).prototype=Object.create(n.prototype),t.prototype.constructor=t,t.__proto__=n;var o=s.prototype;return o.componentDidUpdate=function(e){e.rootMargin===this.props.rootMargin&&e.root===this.props.root&&e.threshold===this.props.threshold&&e.skip===this.props.skip&&e.trackVisibility===this.props.trackVisibility&&e.delay===this.props.delay||(this.unobserve(),this.observeNode())},o.componentWillUnmount=function(){this.unobserve(),this.node=null},o.observeNode=function(){if(this.node&&!this.props.skip){var e=this.props,t=e.threshold,n=e.root,i=e.rootMargin,r=e.trackVisibility,s=e.delay;this._unobserveCb=a(this.node,this.handleChange,{threshold:t,root:n,rootMargin:i,trackVisibility:r,delay:s})}},o.unobserve=function(){this._unobserveCb&&(this._unobserveCb(),this._unobserveCb=null)},o.render=function(){if(!d(this.props)){var e=this.state,t=e.inView,n=e.entry;return this.props.children({inView:t,entry:n,ref:this.handleNode})}var s=this.props,o=s.children,l=s.as,c=s.tag,a=function(e,t){if(null==e)return{};var n,i,r={},s=Object.keys(e);for(i=0;i=0||(r[n]=e[n]);return r}(s,["children","as","tag","triggerOnce","threshold","root","rootMargin","onChange","skip","trackVisibility","delay","initialInView"]);return(0,i.createElement)(l||c||"div",r({ref:this.handleNode},a),o)},s}(i.Component);function h(e){var t=void 0===e?{}:e,n=t.threshold,r=t.delay,s=t.trackVisibility,o=t.rootMargin,l=t.root,c=t.triggerOnce,d=t.skip,u=t.initialInView,h=(0,i.useRef)(),f=(0,i.useState)({inView:!!u}),x=f[0],p=f[1],j=(0,i.useCallback)((function(e){void 0!==h.current&&(h.current(),h.current=void 0),d||e&&(h.current=a(e,(function(e,t){p({inView:e,entry:t}),t.isIntersecting&&c&&h.current&&(h.current(),h.current=void 0)}),{root:l,rootMargin:o,threshold:n,trackVisibility:s,delay:r}))}),[Array.isArray(n)?n.toString():n,l,o,c,d,s,r]);(0,i.useEffect)((function(){h.current||!x.entry||c||d||p({inView:!!u})}));var v=[j,x.inView,x.entry];return v.ref=v[0],v.inView=v[1],v.entry=v[2],v}u.displayName="InView",u.defaultProps={threshold:0,triggerOnce:!1,initialInView:!1}},52893:function(e,t,n){n.d(t,{q:function(){return s}});var i=n(3748),r=n(85893),s=function(e){var t=e.title,n=e.description,s=e.language,o=e.className,l=e.og,c=e.children;return(0,r.jsx)(i.q,{language:s,title:t,description:n,og:l,className:o,children:c})}},23116:function(e,t,n){n.d(t,{o:function(){return u}});var i=n(89475),r=n(23913),s=n(41361),o=n(86557),l=n(34827),c=n(40219),a=n(81231),d=n(85893),u=function(){return(0,d.jsx)(a.$,{navItems:[{title:"Решения",links:[{text:"Для компьютер­ного зрения",link:"/ru/ml/computer-vision"},{text:"Для NLP-задач",link:"/ru/ml/natural-language-processing"},{text:"Полевые задания",link:"/ru/usecases/spatialcrowd"}]},{title:"Ресурсы",links:[{text:"База знаний",link:"/ru/knowledgebase"},{text:"Датасеты",link:"/ru/datasets"},{text:"Обучение краудсорсингу",link:"/ru/academy/education-partnerships"}]},{title:"Компания",links:[{text:"Соглашение с заказчиком",link:"/legal/customeragreement_probki"},{text:"Обратная связь",link:"/ru/docs/guide/troubleshooting/support.html"}]}],subscribe:{socialMedias:[{icon:(0,d.jsx)(r.p,{}),link:"https://www.linkedin.com/company/71852210/admin"},{icon:(0,d.jsx)(s.V,{}),link:"https://www.facebook.com/globaltoloka"},{icon:(0,d.jsx)(o.Z,{}),link:"https://twitter.com/tolokaai"},{icon:(0,d.jsx)(l.L,{}),link:"https://www.youtube.com/channel/UCGvsgFPVyOwuN8aJJbMem9A"},{icon:(0,d.jsx)(i.f,{}),link:"https://github.com/Toloka/toloka-kit#toloka-kit"}],form:{inputBlock:{label:"Подписаться на обновления",placeholder:"Введите свою почту"},sendingData:{address:"/api/sender/subscribe",listId:"0ASPRWP3-H6V"},button:{view:"default",text:"Подписаться",size:"l",type:"submit"},successText:"Готово! Вскоре вы получите от нас письмо по электронной почте — просто нажмите на ссылку для подтверждения. Если оно не появляется, проверьте папку со спамом."}},bottomBlock:{logo:{icon:(0,d.jsx)(c.e,{}),link:"/"},logoText:(0,d.jsxs)(d.Fragment,{children:["Разработано инженерами ",(0,d.jsx)("br",{})," для инженеров"]}),manageCookiesText:"Управление cookies",info:"© 2014–"+(new Date).getFullYear()+" Intertech Services AG"}})}},31278:function(e,t,n){n.d(t,{m:function(){return a}});var i=n(19058),r=n(27152),s=n(69077),o=n(40219),l=n(56338),c=n(85893),a=function(e){var t=e.defaultBackground,n=e.links,a=void 0===n?[(0,c.jsx)(l.e,{href:"/ru/get-started",children:"Войти"},1)]:n;return(0,c.jsx)(i.h,{defaultBackground:t,headerLogoProps:{icon:(0,c.jsx)(o.e,{}),link:"/"},headerMenuProps:{headerMenuNav:[{title:"ML-задачи",type:"default",items:[{type:"navigationContainer",content:[{icon:(0,c.jsx)(s.x,{}),text:"Разметка данных для компьютер­ного зрения",link:"/ru/ml/computer-vision"},{icon:(0,c.jsx)(r.M,{}),text:"Разметка данных для NLP-задач",link:"/ru/ml/natural-language-processing"}]}]},{title:"База знаний",type:"link",link:"/ru/knowledgebase"},{title:"Датасеты",type:"link",link:"/ru/datasets"},{title:"Обучение краудсорсингу",type:"link",link:"/ru/academy/education-partnerships"}],links:a}})}},92033:function(e,t,n){n.d(t,{J:function(){return V}});var i="bR_dN",r="bR_dP",s="bR_dQ",o="bR_bC",l="bR_dR",c="bR_dS",a="bR_dT",d="bR_dV",u="bR_dW",h="bR_dX",f="bR_dY",x="bR_dZ",p=n(79700),j=n.n(p),v={list:"d9_cl",item:"d9_3",button:"d9_6",activeItem:"d9_jB"},g=n(67294),w=n(55074),m=n(85893),b=function(e){var t=e.toc,n=(0,w.A)(t.map((function(e){return e.url})),t.length>0?t[0].url:void 0),i=(0,g.useCallback)((function(e){var t=document.getElementById(e.slice(1));if(t){var n=document.body.clientWidth>=1024?60:120,i=t.getBoundingClientRect();window.scrollTo({top:i.top+window.pageYOffset-i.height-n,behavior:"smooth"})}}),[]);return 0===t.length?(0,m.jsx)("div",{className:v.wrap}):(0,m.jsx)("div",{className:v.wrap,children:(0,m.jsx)("ul",{className:v.list,children:t.map((function(e){return(0,m.jsx)("li",{className:j()(v.item,e.url===n?v.activeItem:void 0),children:(0,m.jsx)("button",{className:j()("button-reset",v.button),onClick:function(){return i(e.url)},children:e.title})},e.url)}))})})},C=n(61123),k=n(4511),_=n(11467),y=n(38477),V=function(e){var t=e.children,n=e.toc,p=e.withoutShareLink,v=e.form,w=e.backLink,V=e.additionalLink,L=e.noBottomBorder,$=(0,g.useMemo)((function(){return v?(0,m.jsx)("div",{className:c,children:v}):null}),[v]);return(0,m.jsxs)("div",{className:f,children:[(0,m.jsxs)("div",{className:j()(s,n?void 0:x),children:[n&&n.length>0?(0,m.jsx)("div",{className:j()(i,L?r:void 0),children:(0,m.jsx)(b,{toc:n})}):null,p?null:(0,m.jsx)("div",{className:l,children:(0,m.jsx)(C.D,{})}),$]}),(0,m.jsxs)("div",{className:o,children:[(0,m.jsxs)(_.O,{children:[$,t]}),w||V?(0,m.jsxs)("div",{className:a,children:[w?(0,m.jsx)(k.r,{className:j()(d,"back-link"),onClick:function(){return(0,y.X)(w.href)},iconPosition:w.iconPosition,children:w.text}):null,V?(0,m.jsx)("div",{className:u,children:(0,m.jsx)(k.r,{href:V.href,className:h,iconPosition:V.iconPosition,children:V.text})}):null]}):null]})]})}},7291:function(e,t,n){n.d(t,{v:function(){return g}});var i=n(46237),r="bX_Z",s="bX_dK",o="bX_q",l="bX_h",c="bX_dS",a="bX_dd",d=n(99628),u=n(84401),h=n(19224),f=n(79700),x=n.n(f),p=n(14245),j=n(27850),v=n(85893),g=function(e){var t=e.title,n=e.text,f=e.inputPlaceholder,g=e.button,w=e.successText,m=e.sendingData,b=e.fractal,C=void 0===b?(0,v.jsx)(h.J,{}):b,k=(0,j.Q)(m),_=k.onSubmit,y=k.isSubmitted,V=k.setInputText;return(0,v.jsxs)("div",{className:x()(r,"light"),children:[t?(0,v.jsx)(i.D,{level:4,className:o,children:t}):null,(0,v.jsx)("p",{className:l,children:n}),(0,v.jsx)("form",{className:c,onSubmit:_,children:y?(0,v.jsx)(p.r,{text:w}):(0,v.jsxs)(v.Fragment,{children:[(0,v.jsx)(d.z,{view:"default",size:"m",type:"email",placeholder:f,className:s,onChange:function(e){return V(e.target.value)},autoComplete:"on",required:!0}),(0,v.jsx)(u.z,{view:g.view,type:"submit",size:g.size,children:g.text})]})}),(0,v.jsx)("div",{className:a,children:C})]})}},86457:function(e,t,n){n.d(t,{C:function(){return b}});var i=n(79700),r=n.n(i),s="bg_cV",o="bg_3",l="bg_cW",c="bg_cX",a="bg_v",d="bg_q",u="bg_bn",h="bg_cY",f="bg_j",x="bg_cZ",p="bg_b3",j="bg_c0",v="bg_c1",g=n(30759),w=n(4511),m=n(85893),b=function(e){var t=e.list,n=e.className,i=e.itemClassName,b=e.maxItemsInRow,C=e.isBigIcon,k=e.inLine,_=e.twoElementsInMobile,y=e.isSmallIcon;return(0,m.jsx)("ul",{className:r()("features-list-container",n,1===t.length||1===b?s:void 0,k?x:void 0,_?j:void 0,y?c:void 0),children:t.map((function(e,t){return(0,m.jsxs)("li",{className:r()(o,C?l:void 0,i,2===b?v:void 0,k?p:void 0,e.text||e.link||e.additional?void 0:a),children:[e.icon,(0,m.jsxs)("div",{children:[e.title?(0,m.jsx)(g.D,{level:5,className:d,children:e.title}):null,e.text?(0,m.jsx)("p",{className:u,children:e.text}):null,e.link?(0,m.jsx)("div",{className:f,children:(0,m.jsx)(w.r,{href:e.link.href,iconPosition:e.link.iconPosition,target:e.link.target,children:e.link.text})}):null,e.additional?(0,m.jsx)("div",{className:h,children:e.additional}):null]})]},t)}))})}},61123:function(e,t,n){n.d(t,{D:function(){return j}});var i={list:"fb_cl",item:"fb_3",button:"fb_6"},r=n(79700),s=n.n(r),o=n(67294),l=n(85893),c=function(){return(0,l.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"16",height:"13",viewBox:"0 0 16 13",fill:"none",children:(0,l.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M5.96907 12.861C5.27718 12.861 4.56503 12.8068 3.8486 12.6982C2.58677 12.5067 1.30944 11.8684 0.947991 11.6773L0 11.176L1.02636 10.8496C2.1483 10.4928 2.83079 10.2714 3.67564 9.92485C2.82969 9.52859 2.17772 8.8159 1.86388 7.89458L1.62511 7.19355L1.82091 7.22248C1.63524 7.04149 1.48864 6.85779 1.37499 6.69075C0.970818 6.09703 0.75683 5.37156 0.802362 4.74987L0.847284 4.13798L1.22606 4.27989C1.06628 3.98805 0.9508 3.67638 0.882928 3.34971C0.717524 2.55306 0.85595 1.7067 1.27282 0.966604L1.60277 0.380799L2.04405 0.893404C3.43967 2.51481 5.20736 3.47662 7.30536 3.75819C7.21967 3.18691 7.28388 2.63558 7.4964 2.14139C7.74384 1.56598 8.18402 1.07804 8.76898 0.73025C9.41867 0.344084 10.2065 0.156962 10.9874 0.203359C11.8158 0.252589 12.568 0.552809 13.1654 1.07214C13.4572 0.998835 13.6722 0.920559 13.9627 0.81478C14.1374 0.751146 14.3357 0.678895 14.5837 0.596254L15.4978 0.291666L14.9018 1.9381C14.9411 1.93491 14.9816 1.93219 15.0239 1.93043L16 1.88769L15.4231 2.65022C15.39 2.6939 15.3816 2.7063 15.3699 2.72342C15.3234 2.79118 15.2655 2.87547 14.4737 3.89809C14.2754 4.15416 14.1764 4.48767 14.1948 4.83736C14.2651 6.16621 14.0964 7.36851 13.6935 8.41073C13.3124 9.39676 12.7219 10.2427 11.9384 10.9252C10.9689 11.7696 9.73271 12.3477 8.26397 12.6433C7.54352 12.7883 6.76985 12.861 5.96907 12.861Z",fill:"#1E2126",fillOpacity:"0.5"})})},a=function(){return(0,l.jsxs)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"18",height:"18",viewBox:"0 0 18 18",fill:"none",children:[(0,l.jsx)("path",{d:"m9 14.14-1.29 1.29a3.64 3.64 0 0 1-5.14 0v0a3.64 3.64 0 0 1 0-5.14L5.14 7.7a3.64 3.64 0 0 1 5.15 0v0l.28.29",stroke:"#1E2126",strokeOpacity:".5",strokeWidth:"2.4",strokeLinecap:"round",strokeLinejoin:"round"}),(0,l.jsx)("path",{d:"m9 3.86 1.29-1.29a3.64 3.64 0 0 1 5.14 0v0a3.64 3.64 0 0 1 0 5.14l-2.57 2.58a3.64 3.64 0 0 1-5.15 0v0l-.21-.22",stroke:"#1E2126",strokeOpacity:".5",strokeWidth:"2.4",strokeLinecap:"round",strokeLinejoin:"round"})]})},d=function(){return(0,l.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"8",height:"16",viewBox:"0 0 8 16",fill:"none",children:(0,l.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M6.54 2.65673H8.00067V0.112728C7.74867 0.078061 6.882 6.10352e-05 5.87267 6.10352e-05C3.76667 6.10352e-05 2.324 1.32473 2.324 3.75939V6.00006H0V8.84406H2.324V16.0001H5.17333V8.84473H7.40333L7.75733 6.00073H5.17267V4.04139C5.17333 3.21939 5.39467 2.65673 6.54 2.65673Z",fill:"#1E2126",fillOpacity:"0.5"})})},u=function(){return(0,l.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"16",height:"16",viewBox:"0 0 16 16",fill:"none",children:(0,l.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M2.15471 0.207764C0.966598 0.207764 0 1.15446 0 2.31809C0 3.48225 0.966598 4.4293 2.15471 4.4293C3.34188 4.4293 4.30769 3.4822 4.30769 2.31809C4.30775 1.15446 3.34188 0.207764 2.15471 0.207764ZM3.43672 5.03238H0.255583C0.114399 5.03238 0 5.14816 0 5.29093V15.6292C0 15.772 0.114399 15.8878 0.255583 15.8878H3.43672C3.57791 15.8878 3.69231 15.772 3.69231 15.6292V5.29093C3.69231 5.14816 3.57791 5.03238 3.43672 5.03238ZM9.11072 6.19188C9.68593 5.57515 10.6343 5.03238 11.9172 5.03238C15.5149 5.03238 16 7.59188 16 10.0956V15.6351C16 15.7747 15.8852 15.8878 15.7433 15.8878H12.555C12.4132 15.8878 12.2984 15.7747 12.2984 15.6351V10.725C12.2984 9.35023 12.1951 8.29862 10.8963 8.29862C9.70362 8.29862 9.23894 8.9546 9.23894 10.6383V15.6351C9.23894 15.7746 9.12407 15.8877 8.98231 15.8877H5.7951C5.65333 15.8877 5.53847 15.7746 5.53847 15.6351V5.53596C5.53847 5.39649 5.65333 5.28338 5.7951 5.28338H8.85409C8.99586 5.28338 9.11072 5.39649 9.11072 5.53596V6.19188Z",fill:"#1E2126",fillOpacity:"0.5"})})},h=n(9546),f=n(47250),x=n(81547);function p(e){var t=[];for(var n in e)t.push(encodeURIComponent(n)+"="+encodeURIComponent(e[n]));return t.join("&")}var j=function(){if(x.j){var e=window.location.href,t=(0,h.F)(e),n=(0,o.useMemo)((function(){var t={url:e,utm_source:"share2"},n={u:e,src:"sp",utm_source:"share2"},i={mini:"true",url:e,utm_source:"share2"};return[{icon:(0,l.jsx)(c,{}),title:"Twitter",link:"https://twitter.com/intent/tweet?"+p(t)},{icon:(0,l.jsx)(d,{}),title:"Facebook",link:"https://www.facebook.com/sharer.php?"+p(n)},{icon:(0,l.jsx)(u,{}),title:"Linkedin",link:"https://www.linkedin.com/shareArticle?"+p(i)}]}),[e]);return(0,l.jsx)("div",{className:i.wrap,children:(0,l.jsxs)("ul",{className:i.list,children:[n.map((function(e){return(0,l.jsx)("li",{className:i.item,children:(0,l.jsxs)("a",{className:s()("button-reset",i.button),href:e.link,target:"_blank",rel:"nofollow noopener noreferrer",title:e.title,children:[e.icon,(0,l.jsx)(f.M,{children:e.title})]})},e.title)})),(0,l.jsx)("li",{className:i.item,children:(0,l.jsxs)("a",{className:s()("button-reset",i.button),href:"#",target:"_blank",rel:"nofollow noopener noreferrer",title:"Link to current page",onClick:function(e){return e.preventDefault()},ref:t,children:[(0,l.jsx)(a,{}),(0,l.jsx)(f.M,{children:"Link to current page"})]})})]})})}return null}},33543:function(e,t,n){n.d(t,{M:function(){return a}});var i={tab:"bW_cd",sliderWrap:"bW_cc",noSidePaddings:"bW_cn",defaultView:"bW_d5",dark:"bW_c3",modifiedView:"bW_d6"},r=n(79700),s=n.n(r),o=n(67294),l=n(21648),c=n(85893),a=function(e){var t=e.items,n=e.render,r=e.shouldTabsChangeView,a=void 0===r||r,d=e.theme,u=e.noSidePaddings,h=(0,l.u)(),f=h.ref,x=h.setSwiperRef,p=(0,o.useState)(0),j=p[0],v=p[1];return(0,c.jsxs)(c.Fragment,{children:[t.length>1?(0,c.jsx)("div",{className:s()(i.tab,d?i[d]:void 0,"tab-slider",a?i.modifiedView:i.defaultView,u?i.noSidePaddings:void 0),ref:f,children:t.map((function(e,t){return(0,c.jsxs)("button",{className:t===j?"active":void 0,onClick:function(){return v(t)},children:[e.icon,(0,c.jsx)("span",{children:e.title})]},t)}))}):null,(0,c.jsx)("div",{className:s()(i.sliderWrap,t.length>1?"withTabs":void 0),children:n({activeTab:j,setSwiperRef:x})})]})}},55074:function(e,t,n){n.d(t,{A:function(){return r}});var i=n(67294),r=function(e,t){var n=(0,i.useState)(t),r=n[0],s=n[1];return(0,i.useEffect)((function(){var t=document.body.clientWidth>=1024?100:150,n=new IntersectionObserver((function(e){e.forEach((function(e){!1!==e.isIntersecting&&e.boundingClientRect.y<200&&s("#"+e.target.id)}))}),{root:null,rootMargin:"-"+t+"px 0px 0px 0px",threshold:[0,.1,.2,.3,.4,.5,.6,.7,.8,.9,1]});return e.map((function(e){return document.getElementById(e.slice(1))})).filter(Boolean).forEach((function(e){n.observe(e)})),function(){n.disconnect()}}),[e,t]),r}},21648:function(e,t,n){n.d(t,{u:function(){return s}});var i=n(67294),r=n(31451),s=function(){var e=(0,i.useState)(null),t=e[0],n=e[1],s=(0,r.YD)({threshold:0,triggerOnce:!0}),o=s.ref,l=s.inView;return(0,i.useEffect)((function(){t&&(t.autoplay.stop(),l&&t.autoplay.start())}),[l,t]),{ref:o,swiperRef:t,setSwiperRef:n}}},38477:function(e,t,n){n.d(t,{X:function(){return i}});var i=function(e){document.referrer.includes(e)?window.history.back():window.open(e,"_self")}},67911:function(e,t,n){n.d(t,{A:function(){return w}});var i="F_Z",r="F_b2",s="F_b3",o="F_b4",l="F_b5",c="F_b6",a="F_b7",d="F_b8",u="F_b9",h="F_cb",f=n(79700),x=n.n(f),p=n(86457),j=n(67294),v=n(85893),g={1:h,2:d,3:u,4:void 0},w=function(e){var t=e.list,n=e.maxItemsInRow,d=void 0===n?4:n,u=e.isBigIcon,h=e.withImage,f=e.inLine,w=e.twoElementsInMobile,m=e.columnFlow,b=e.paddingsBeforeDesktop,C=e.isSmallIcon,k=(0,j.useRef)(null);return(0,j.useEffect)((function(){k.current&&m&&k.current.style.setProperty("--count",""+Math.ceil(t.length/d))}),[k]),(0,v.jsx)("div",{ref:k,className:x()(i,f?s:void 0,b?r:""),children:(0,v.jsx)(p.C,{list:t,className:x()(o,g[d],h?l:void 0,m&&4!==d?a:void 0),itemClassName:h?c:void 0,maxItemsInRow:d,isBigIcon:u,inLine:f,twoElementsInMobile:w,isSmallIcon:C})})}},69077:function(e,t,n){n.d(t,{x:function(){return r}});var i=n(85893),r=function(){return(0,i.jsxs)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"24",height:"24",fill:"none",children:[(0,i.jsx)("path",{d:"M12 9a3 3 0 1 0 0 6 3 3 0 0 0 0-6Z",stroke:"#fff",strokeWidth:"2"}),(0,i.jsx)("path",{d:"M12 5c-2.85 0-5.39.84-7.19 2.15C3.01 8.46 2 10.2 2 12c0 1.81 1 3.54 2.81 4.85A12.31 12.31 0 0 0 12 19c2.85 0 5.39-.84 7.19-2.15C20.99 15.54 22 13.8 22 12c0-1.81-1-3.54-2.81-4.85A12.31 12.31 0 0 0 12 5Z",stroke:"#fff",strokeWidth:"2"})]})}},27152:function(e,t,n){n.d(t,{M:function(){return r}});var i=n(85893),r=function(){return(0,i.jsxs)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"24",height:"24",fill:"none",children:[(0,i.jsx)("path",{d:"M3 16V8M8.28 16 3 8M8.28 16V8M11.44 16V8M11.44 16h3.17M17.78 16V8",stroke:"#fff",strokeWidth:"2",strokeMiterlimit:"79.84",strokeLinecap:"round",strokeLinejoin:"round"}),(0,i.jsx)("path",{d:"M17.78 8h1.72a2.5 2.5 0 0 1 2.5 2.5v0a2.5 2.5 0 0 1-2.5 2.5h-1.72M1 5.5v0A4.5 4.5 0 0 1 5.5 1h13A4.5 4.5 0 0 1 23 5.5v0m0 13v0a4.5 4.5 0 0 1-4.5 4.5h-13A4.5 4.5 0 0 1 1 18.5v0",stroke:"#fff",strokeWidth:"2",strokeLinecap:"round",strokeLinejoin:"round"})]})}},66924:function(e,t,n){n.d(t,{n:function(){return r}});var i=n(85893),r=function(){return(0,i.jsxs)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"24",height:"25",viewBox:"0 0 24 25",fill:"none",children:[(0,i.jsx)("g",{clipPath:"url(#clip0_9129_114992)",children:(0,i.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M4.92861 19.5714C1.02365 15.6664 1.02373 9.33478 4.92926 5.42926C8.83478 1.52373 15.1664 1.52365 19.0714 5.42861C22.9764 9.33357 22.9763 15.6652 19.0707 19.5707C15.1652 23.4763 8.83357 23.4764 4.92861 19.5714ZM3.51439 20.9856C-1.17172 16.2995 -1.17143 8.70152 3.51504 4.01504C8.20152 -0.671427 15.7995 -0.671719 20.4856 4.01439C25.1717 8.7005 25.1714 16.2985 20.485 20.985C15.7985 25.6714 8.2005 25.6717 3.51439 20.9856ZM11.6703 16.0403C11.4839 16.2396 11.2243 16.354 10.9515 16.3571C10.6787 16.3602 10.4165 16.2518 10.2256 16.0569L6.99992 12.7633C6.61349 12.3687 6.62008 11.7356 7.01465 11.3492C7.40922 10.9627 8.04235 10.9693 8.42879 11.3639L10.9235 13.9111L15.5555 8.95973C15.9328 8.55641 16.5656 8.53533 16.9689 8.91263C17.3723 9.28993 17.3933 9.92274 17.016 10.3261L11.6703 16.0403Z",fill:"#0055D9"})}),(0,i.jsx)("defs",{children:(0,i.jsx)("clipPath",{id:"clip0_9129_114992",children:(0,i.jsx)("rect",{width:"24",height:"24",fill:"white",transform:"translate(0 0.5)"})})})]})}},41361:function(e,t,n){n.d(t,{V:function(){return r}});var i=n(85893),r=function(){return(0,i.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"32",height:"32",fill:"none",children:(0,i.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M16 32a16 16 0 1 0 0-32 16 16 0 0 0 0 32Zm4-21.34h-1.46c-1.15 0-1.37.56-1.37 1.38V14h2.59l-.36 2.84h-2.23V24h-2.85v-7.16H12V14h2.32v-2.24c0-2.44 1.45-3.76 3.55-3.76 1.01 0 1.88.08 2.13.11v2.55Z",fill:"#fff",fillOpacity:".4"})})}},89475:function(e,t,n){n.d(t,{f:function(){return r}});var i=n(85893),r=function(){return(0,i.jsxs)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"32",height:"32",fill:"none",children:[(0,i.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M16 0C12.2 0 8.54 1.38 5.64 3.91a16.51 16.51 0 0 0-5.42 9.87c-.61 3.85.13 7.79 2.1 11.12a16.08 16.08 0 0 0 8.64 7.07c.8.16 1.1-.35 1.1-.79l-.03-3.05c-4.45.99-5.39-1.94-5.39-1.94-.73-1.9-1.78-2.4-1.78-2.4-1.45-1.02.11-1 .11-1 1.6.12 2.45 1.7 2.45 1.7 1.43 2.5 3.75 1.78 4.66 1.35a3.53 3.53 0 0 1 1.02-2.19c-3.55-.4-7.3-1.82-7.3-8.1a6.43 6.43 0 0 1 1.66-4.41 6.04 6.04 0 0 1 .15-4.35s1.34-.44 4.4 1.68c2.63-.73 5.4-.73 8.02 0 3.04-2.1 4.4-1.68 4.4-1.68.86 2.26.32 3.93.15 4.35a6.43 6.43 0 0 1 1.65 4.4c0 6.3-3.75 7.7-7.31 8.1.57.5 1.08 1.5 1.08 3.04l-.01 4.5c0 .43.28.95 1.1.78a16.08 16.08 0 0 0 8.61-7.07 16.75 16.75 0 0 0 2.1-11.12 16.51 16.51 0 0 0-5.42-9.86A15.77 15.77 0 0 0 16.01 0Z",fill:"#fff",fillOpacity:".4"}),(0,i.jsx)("path",{d:"M6.07 23.55c-.04.09-.16.11-.27.06-.1-.06-.18-.17-.15-.25.04-.08.17-.1.27-.05s.18.16.14.24ZM6.71 24.3c-.07.07-.22.03-.32-.08a.26.26 0 0 1-.05-.34c.08-.07.22-.04.33.08.1.11.12.27.04.34ZM7.35 25.24c-.1.07-.27 0-.36-.14-.1-.14-.1-.32 0-.4.1-.06.26 0 .36.15.09.14.1.32 0 .4ZM8.22 26.15a.3.3 0 0 1-.23.06.3.3 0 0 1-.2-.13c-.13-.13-.17-.32-.08-.42.09-.1.26-.07.41.06.15.14.18.33.09.42l.01.01ZM9.4 26.68c-.04.13-.22.2-.4.14-.18-.06-.3-.21-.26-.34.03-.13.21-.19.4-.13.18.05.3.2.26.33ZM10.71 26.78c0 .14-.15.25-.34.25-.19 0-.34-.1-.35-.24 0-.13.15-.24.35-.25.19 0 .34.1.34.24ZM11.93 26.57c.02.13-.1.27-.3.3-.19.04-.35-.04-.38-.18-.02-.13.11-.27.3-.3.18-.03.36.05.38.18Z",fill:"#fff",fillOpacity:".4"})]})}},23913:function(e,t,n){n.d(t,{p:function(){return r}});var i=n(85893),r=function(){return(0,i.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"32",height:"32",fill:"none",children:(0,i.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M16 32a16 16 0 1 0 0-32 16 16 0 0 0 0 32ZM8 10.32c0-1.17.97-2.11 2.15-2.11 1.2 0 2.16.94 2.16 2.1 0 1.17-.97 2.12-2.16 2.12A2.14 2.14 0 0 1 8 10.32Zm.26 2.71h3.18c.14 0 .25.12.25.26v10.34c0 .14-.11.26-.25.26H8.26a.26.26 0 0 1-.26-.26V13.29c0-.14.11-.26.26-.26Zm11.66 0c-1.29 0-2.23.55-2.8 1.16v-.65a.25.25 0 0 0-.27-.26H13.8a.25.25 0 0 0-.26.26v10.1c0 .13.11.25.26.25h3.18c.14 0 .26-.12.26-.25v-5c0-1.69.46-2.34 1.66-2.34 1.3 0 1.4 1.05 1.4 2.43v4.9c0 .14.11.26.25.26h3.2c.14 0 .25-.12.25-.25V18.1c0-2.5-.49-5.07-4.08-5.07Z",fill:"#fff",fillOpacity:".4"})})}},86557:function(e,t,n){n.d(t,{Z:function(){return r}});var i=n(85893),r=function(){return(0,i.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"32",height:"32",viewBox:"0 0 32 32",fill:"none",children:(0,i.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M16 32C24.8366 32 32 24.8366 32 16C32 7.16344 24.8366 0 16 0C7.16344 0 0 7.16344 0 16C0 24.8366 7.16344 32 16 32ZM11.8486 22.0315C12.565 22.1401 13.2772 22.1943 13.9691 22.1943C14.7698 22.1943 15.5435 22.1216 16.264 21.9766C17.7327 21.681 18.9689 21.1029 19.9384 20.2585C20.7219 19.576 21.3124 18.7301 21.6935 17.744C22.0964 16.7018 22.2651 15.4995 22.1948 14.1707C22.1764 13.821 22.2754 13.4875 22.4737 13.2314C23.2655 12.2088 23.3234 12.1245 23.3699 12.0567L23.3704 12.0559C23.3819 12.0392 23.3906 12.0265 23.4231 11.9835L24 11.221L23.0239 11.2637C22.9816 11.2655 22.9411 11.2682 22.9018 11.2714L23.4978 9.62496L22.5837 9.92955C22.337 10.0118 22.1394 10.0837 21.9653 10.1471L21.9627 10.1481C21.6722 10.2539 21.4572 10.3321 21.1654 10.4054C20.568 9.8861 19.8158 9.58588 18.9874 9.53665C18.2065 9.49025 17.4187 9.67738 16.769 10.0635C16.184 10.4113 15.7438 10.8993 15.4964 11.4747C15.2839 11.9689 15.2197 12.5202 15.3054 13.0915C13.2074 12.8099 11.4397 11.8481 10.0441 10.2267L9.60277 9.71409L9.27282 10.2999C8.85595 11.04 8.71752 11.8863 8.88293 12.683C8.9508 13.0097 9.06628 13.3213 9.22606 13.6132L8.84728 13.4713L8.80236 14.0832C8.75683 14.7049 8.97082 15.4303 9.37499 16.024C9.48864 16.1911 9.63524 16.3748 9.82091 16.5558L9.62511 16.5268L9.86388 17.2279C10.1777 18.1492 10.8297 18.8619 11.6756 19.2581C10.8308 19.6047 10.1483 19.8261 9.02636 20.1829L8 20.5093L8.94799 21.0106C9.30944 21.2017 10.5868 21.84 11.8486 22.0315Z",fill:"white",fillOpacity:"0.4"})})}},34827:function(e,t,n){n.d(t,{L:function(){return r}});var i=n(85893),r=function(){return(0,i.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"32",height:"32",fill:"none",children:(0,i.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M16 32a16 16 0 1 0 0-32 16 16 0 0 0 0 32Zm7.32-20.72c-.43-.77-.9-.91-1.86-.97-.96-.06-3.37-.09-5.46-.09s-4.5.03-5.46.1c-.95.05-1.42.19-1.86.96-.45.77-.68 2.1-.68 4.44 0 2.33.23 3.67.68 4.44.44.77.9.9 1.86.97.96.06 3.37.1 5.46.1s4.5-.04 5.46-.1c.96-.06 1.43-.2 1.86-.97.45-.77.68-2.1.68-4.43v-.01c0-2.34-.23-3.67-.68-4.44ZM14 12.72l5 3-5 3v-6Z",fill:"#fff",fillOpacity:".4"})})}},45506:function(e,t,n){n.r(t),n.d(t,{default:function(){return b}});var i=n(74533),r=n(88586),s=n(52893),o=n(31278),l=n(23116),c=n(51512),a=n(25109),d=n(7291),u=n(92033),h=n(46237),f=n(38100),x=n(11467),p=n(88709),j=n(33543),v=n(4511),g=n(67911),w=n(66924),m=n(85893);function b(){return(0,m.jsxs)(m.Fragment,{children:[(0,m.jsx)(s.q,{og:{img:"https://tlk-infra-front.azureedge.net/portal-static/images/ru-pages/knowledgebase/aggregation.jpg",title:"Методы агрегации",description:"Несколько зашумленных результатов разметки объединяются в один качественный ответ на задание."},language:"ru"}),(0,m.jsx)(i.n,{}),(0,m.jsxs)(r.i,{headerPadding:!0,children:[(0,m.jsx)(o.m,{defaultBackground:"dark"}),(0,m.jsx)(c.w,{offset:40}),(0,m.jsxs)(a.L,{overflow:"inherit",children:[(0,m.jsx)(h.D,{level:1,children:"Методы агрегации"}),(0,m.jsx)("p",{children:"Несколько зашумленных результатов разметки объединяются в один качественный ответ на задание."}),(0,m.jsx)(c.w,{offset:40}),(0,m.jsxs)(u.J,{withoutShareLink:!0,noBottomBorder:!0,toc:[{url:"#example",title:"Пример"},{url:"#methods",title:"Методы"}],form:(0,m.jsx)(d.v,{text:"Подписаться на новости Толоки",inputPlaceholder:"Введите свою почту",button:{view:"action",text:"Подписаться",size:"l"},sendingData:{address:"/api/sender/subscribe",listId:"0ASPRWP3-H6V"},successText:"Thank you for subscribing"}),children:[(0,m.jsx)("p",{children:"В последние годы краудсорсинг стал стандартным инструментом разметки массивных наборов данных. В сравнении с привлечением к разметке дорогостоящих экспертов это чрезвычайно привлекательная альтернатива: задания распределяются среди большой группы низкооплачиваемых исполнителей, не обладающих экспертными знаниями. Сила краудсорсинга в «мудрости толпы» — во многих ситуациях было обнаружено, что адекватно агрегированные независимые мнения неквалифицированных пользователей способны превзойти суждения экспертов предметной области. Таким образом, краеугольный камень краудсорсинга — это методы агрегирования и извлечения значимых выводов из зашумленных результатов краудсорсинговой разметки. В этой статье мы обсудим основные методы агрегации."}),(0,m.jsx)(c.w,{offset:24}),(0,m.jsx)(h.D,{level:2,styleAs:4,id:"example",children:"Пример"}),(0,m.jsx)("p",{children:"Прежде чем углубиться в детали, рассмотрим рабочий пример, на который мы будем опираться в рамках статьи. Допустим, у нас имеется набор изображений, и наша цель — классифицировать их в зависимости от того, кошка или собака показана на изображении. В соответствии с принципом краудсорсинга задание должно быть распределено между несколькими исполнителями, каждый из которых размечает некое подмножество изображений. В результате для каждого изображения у нас есть несколько результатов разметки."}),(0,m.jsx)("p",{children:"Следующий шаг — агрегация, при этом несколько зашумленных результатов разметки объединяются в один качественный ответ на задание. Для краткости в данной статье мы рассмотрим задачу бинарной классификации и приведем ссылки на литературу с описанием множественной классификации."}),(0,m.jsx)(x.V.Image,{imageId:"1654008666380717-15918178868101020433"}),(0,m.jsx)(c.w,{offset:24}),(0,m.jsx)(h.D,{level:2,styleAs:4,id:"methods",children:"Методы"}),(0,m.jsx)(j.M,{noSidePaddings:!0,shouldTabsChangeView:!1,items:[{title:"Мнение большинства"},{title:"Учет способностей исполнителей"},{title:"Учет сложности вопроса"}],render:function(e){var t=e.activeTab;return[(0,m.jsxs)(m.Fragment,{children:[(0,m.jsx)(h.D,{level:5,children:"Метод"}),(0,m.jsx)("p",{children:"Начнем наш рассказ с простого и интуитивно понятного инструмента, который часто используется на практике: алгоритм агрегации голосов большинства."}),(0,m.jsx)("p",{children:"Мнение большинства — это концепция, считающая истинным наиболее распространенное среди исполнителей мнение. Мнение большинства: наиболее популярный вариант разметки считается агрегированным ответом."}),(0,m.jsx)("p",{children:"Мнение большинства — это простой, но очень практичный инструмент, основанный на предположении, что большинство исполнителей с большей вероятностью выберет правильный ответ. При этом избыточность проводимой разметки с успехом компенсирует зашумленность ответов."}),(0,m.jsx)(x.V.Image,{imageId:"1654512751301239-5487320954347438420"}),(0,m.jsx)("p",{children:"На самом деле, при помощи мнения большинства часто можно получить весьма достойные результаты. Поэтому этот метод с успехом применяется во многих практических проектах. Также одно из преимуществ этого метода в том, что он весьма нагляден и логика его работы понятна. Однако в проектах краудсорсинга существуют определенные временные и бюджетные ограничения. Таким образом, наша цель в том, чтобы собрать минимальный объем данных, необходимый для достижения желаемой точности. С этой точки зрения, мнение большинства далеко не всегда будет оптимальным выбором. Чтобы осознать слабые стороны метода, рассмотрим модель, основанную на мнении большинства."}),(0,m.jsx)(c.w,{offset:8}),(0,m.jsx)(x.V.Line,{}),(0,m.jsx)(c.w,{offset:32}),(0,m.jsx)(h.D,{level:5,children:"Модель"}),(0,m.jsx)("p",{children:(0,m.jsx)(f.S,{withoutContainer:!0,content:"Модель, лежащая в основе метода, проста. Есть $\\text{N}$ изображений и $\\text{M}$ исполнителей. Каждое изображение $j \\in \\{1,...,N\\}$ подразумевает некий неизвестный ответ («кошка» или «собака» в нашем случае). При использовании мнения большинства предполагается, что если исполнитель $i$ разметил изображение, его ответ является правильным с некоторой вероятностью $p>1/2$:"})}),(0,m.jsx)("p",{children:(0,m.jsx)(f.S,{withoutContainer:!0,content:"$\\mathbb{P}[\\text{Исполнитель } i \\text{ отвечает на вопрос } j \\text{ верно}]=p$"})}),(0,m.jsx)("p",{children:(0,m.jsx)(f.S,{withoutContainer:!0,content:"При этом вероятность правильного ответа полагается одинаковой для каждого исполнителя и вопроса. Допущение что $p>1/2$ учитывает, что для каждого исполнителя вероятность правильного ответа выше, чем неправильного. В таком случае, поскольку число разметок для каждого изображения достаточно велико, мнение большинства с высокой вероятностью даст истинные ответы."})}),(0,m.jsx)(c.w,{offset:8}),(0,m.jsx)(x.V.Line,{}),(0,m.jsx)(c.w,{offset:32}),(0,m.jsx)(h.D,{level:5,children:"Ограничения"}),(0,m.jsx)("p",{children:"В силу своей простоты, метод основанный на мнении большинства имеет ряд ограничений:"}),(0,m.jsx)(g.A,{inLine:!0,maxItemsInRow:2,list:[{icon:(0,m.jsx)(w.n,{}),additional:(0,m.jsxs)(m.Fragment,{children:[(0,m.jsx)("b",{children:"Однородность множества исполнителей."})," ","Во-первых, в данном методе полагается, что исполнители имеют одинаковые способности. Иными словами, для каждого конкретного вопроса вероятность того, что исполнитель правильно ответит на вопрос, одинакова для всех исполнителей. Однако на практике пул исполнителей на краудсорсинговых платформах чрезвычайно разнообразен: кто-то из них очень аккуратно и скрупулезно выполняет задачи, а кто-то более небрежен и чаще допускает ошибки. Таким образом, одно из направлений совершенствования модели, основанной на мнении большинства, — это учет различия в способностях исполнителей в рамках модели."]})},{icon:(0,m.jsx)(w.n,{}),additional:(0,m.jsxs)(m.Fragment,{children:[(0,m.jsx)("b",{children:"Однородность вопросов."})," Во-вторых, при использовании мнения большинства предполагается, что вопросы имеют одинаковую сложность. Иными словами, для каждого конкретного исполнителя вероятность правильного ответа на конкретный вопрос одинакова для всех вопросов. Однако какие-то вопросы проекта могут быть сложнее других. Таким образом, другое направление совершенствования модели, основанной на мнении большинства, — это учет различия в сложности вопросов в рамках модели."]})}]}),(0,m.jsx)("span",{children:"В следующей статье мы обсудим оба направления развития модели и расскажем вам о более углубленных алгоритмах, лучше учитывающих особенности краудсорсинговых заданий."})]}),(0,m.jsxs)(m.Fragment,{children:[(0,m.jsx)(h.D,{level:5,children:"Модель"}),(0,m.jsx)("p",{children:"В этом разделе мы покажем, как учитывать неоднородность исполнителей при агрегации ответов. Давайте начнем с формулировки модели, а затем обсудим конкретные методы ее реализации."}),(0,m.jsx)("p",{children:(0,m.jsx)(f.S,{withoutContainer:!0,content:"Естественный способ учета разнообразия способностей среди исполнителей — это ввести параметр качества для каждого исполнителя. Если у нас есть $\\text{M}$, исполнителей, тогда для каждого исполнителя $j \\in \\{1,...,M\\}$ мы можем поставить в соответствие неизвестный параметр качества. Чем выше качество для конкретного исполнителя, тем выше вероятность того, что он правильно ответит на вопрос:"})}),(0,m.jsx)("p",{children:(0,m.jsx)(f.S,{withoutContainer:!0,content:"$\\mathbb{P}[\\text{Исполнитель } i \\text{ отвечает на вопрос } j \\text{ верно}]=p_{i}$"})}),(0,m.jsx)("p",{children:"Другими словами, вероятность того, что исполнитель правильно ответит на вопрос, своя для каждого исполнителя (но от вопроса она все еще не зависит)."}),(0,m.jsx)(c.w,{offset:8}),(0,m.jsx)(x.V.Line,{}),(0,m.jsx)(c.w,{offset:32}),(0,m.jsx)(h.D,{level:5,children:"Методы"}),(0,m.jsx)("p",{children:"В ситуации, когда у исполнителей разные способности, логично присваивать больший вес ответам более сильных исполнителей и меньший вес — ответам более слабых. Однако проблема в том, что параметры качества для исполнителей априори нам не известны. Основная идея двух методов, которые мы обсуждаем в данном разделе, заключается том, чтобы одновременно оценить параметры качества для исполнителей и ответы на поставленные вопросы."}),(0,m.jsx)(c.w,{offset:8}),(0,m.jsx)(x.V.Line,{}),(0,m.jsx)(c.w,{offset:32}),(0,m.jsx)(h.D,{level:5,children:"Использование большого объема контрольных заданий"}),(0,m.jsx)("p",{children:(0,m.jsx)(f.S,{withoutContainer:!0,content:"Контрольные задания — это те задания, на которые заказчик заранее знает правильные ответы. На практике мы часто помещаем определенное количество контрольных вопросов в основной набор данных для контроля качества исполнителей. Когда у нас есть много таких вопросов, мы можем использовать их для оценки качества исполнителей. Действительно, предположим, что у нас есть $G$ контрольных вопросов и некий исполнитель, который ответил на $k_{i}$ из $G$ контрольных вопросов правильно. Тогда мы можем оценить параметр качества для исполнителя следующим образом:"})}),(0,m.jsx)("p",{children:(0,m.jsx)(f.S,{withoutContainer:!0,content:"$\\widehat{p}_{i}=\\frac{k_{i}}{G}$"})}),(0,m.jsx)("p",{children:"Оценив параметры качества, при расчете агрегированных ответов мы теперь можем задавать разные веса для каждого исполнителя. Эта идея подводит нас к концепции взвешенного мнения большинства."}),(0,m.jsxs)("p",{children:[(0,m.jsx)("b",{children:"Взвешенное мнение большинства:"})," каждый результат разметки взвешивается с учетом полученной для исполнителя оценки качества."]}),(0,m.jsx)("p",{children:"Принцип применения данного метода показан на рисунке ниже. Предположим, что у нас есть нестандартное изображение, на котором собака похожа на кошку. В этом случае модель, основанная на простом мнении большинства, не делает отличия между ответами исполнителей с меньшими способностями (первых двух) и ответами исполнителя-эксперта (последнего исполнителя) и допускает ошибку. Напротив, модель взвешенного мнения большинства дополнительно взвешивает каждый ответ полученным коэффициентом качества исполнителя. Такая модель приводит к правильному ответу, поскольку мнение исполнителя-эксперта в таком случае перевешивает мнения двух других исполнителей."}),(0,m.jsx)(x.V.Image,{imageId:"1654008840967231-17967681427951133088"}),(0,m.jsx)(c.w,{offset:8}),(0,m.jsx)(x.V.Line,{}),(0,m.jsx)(c.w,{offset:32}),(0,m.jsx)(h.D,{level:5,children:"Когда контрольных вопросов не так много"}),(0,m.jsx)("p",{children:"Метод взвешенного мнения большинства хорошо использовать в том случае, когда контрольных вопросов достаточно для оценки качества исполнителей. Однако на практике контрольных вопросов зачастую не так много, и поэтому полученные оценки могут оказаться в значительной степени зашумленными. Кроме того, исполнители могут коллективно выявить контрольные вопросы и начать обманывать систему, давая правильные ответы на контрольные вопросы и случайные ответы на другие. В этом случае, чтобы оценить параметры качества исполнителей при ответе на неизвестные вопросы, мы можем использовать метод Дэвида — Скина:"}),(0,m.jsxs)("p",{children:[(0,m.jsx)("b",{children:"Метод Дэвида — Скина:"})," одновременно находим параметры качества исполнителей и те ответы на вопросы, которые лучше всего согласуются с наблюдаемыми данными."]}),(0,m.jsx)("p",{children:(0,m.jsx)(f.S,{withoutContainer:!0,content:"Рассмотрим концепцию метода Дэвида — Скина на простом примере. Предположим что у нас есть $N=4$ вопросов и $M=3$ исполнителей, при этом каждый исполнитель отвечает на все вопросы. В таком случае наблюдаемые данные — это ответы исполнителей на вопросы."})}),(0,m.jsx)(x.V.Image,{imageId:"1654008886269089-7634465822141165044",size:"75%",justify:"centre"}),(0,m.jsx)("p",{children:"Давайте разберемся в том, каким образом метод Дэвида — Скина позволяет найти параметры качества для исполнителей и те ответы на вопросы, которые лучше всего соответствуют наблюдаемым данным. Для этого рассмотрим два варианта, показанные на картинках ниже. Каждая картинка предполагает свой набор параметров. Давайте посмотрим, какой из предложенных вариантов лучше соответствует наблюдаемым данным."}),(0,m.jsx)(x.V.Image,{imageId:"1654008981492954-6462407534755582949"}),(0,m.jsx)(x.V.Image,{imageId:"1654009124078493-12201506877848921613"}),(0,m.jsx)("p",{children:(0,m.jsx)(f.S,{withoutContainer:!0,content:"Во-первых, обратите внимание, что на обеих картинках предложенные ответы совпадают с ответами исполнителя с высоким параметром качества. Но при каком выборе параметров обеспечивается наилучшее соответствие наблюдаемым данным? Чтобы ответить на этот вопрос, обратим внимание, что ответы второго и третьего исполнителей полностью совпадают. Если параметры качества для этих исполнителей соответствуют первой картинке $\\widehat{p}_{2}=\\widehat{p}_{3}=0.5$ тогда, если верить этой модели, эти два исполнителя отвечают наугад. В таком случае высокая степень согласия между исполнителями нас бы скорее удивила, поскольку отвечая наугад, они должны время от времени расходиться в своих ответах. Напротив, если исполнители 2 и 3 — эксперты, как на втором рисунке, то тогда стоит ожидать, что их ответы будут по большей части совпадать, и именно это мы и наблюдаем в полученных данных. Таким образом, с интуитивной точки зрения второй набор параметров лучше согласуется с наблюдаемыми данными."})}),(0,m.jsxs)("p",{children:["Приведенный простой пример показывает, что концепция согласованности между потенциальными параметрами и наблюдаемыми данными позволяет нам исключить те варианты, которые плохо согласуются с наблюдаемыми данными. Более формальное введение в метод Дэвида — Скина дано в основополагающей статье Дэвида и Скина:"," ",(0,m.jsx)(v.r,{href:"https://www.jstor.org/stable/2346806?seq=1",target:"_blank",children:"https://www.jstor.org/stable/2346806"}),"."]}),(0,m.jsxs)("span",{children:["Оба метода — взвешенное мнение большинства и агрегация по методу Дэвида — Скина — входят в стандартный функционал Толоки. Подробнее узнать о том, как получить агрегированные результаты из размеченного пула, можно в"," ",(0,m.jsx)(v.r,{href:"/ru/docs/guide/concepts/result-aggregation.html?lang=en",children:"документации"}),"."]})]}),(0,m.jsxs)(m.Fragment,{children:[(0,m.jsx)("p",{children:"В предыдущем разделе мы показали, как в рамках модели можно учесть разброс способностей исполнителей и приблизить модель к реальной ситуации краудсорсинга. Методы взвешенного мнения большинства и агрегации по Дэвиду – Скину лежат в основе современного краудсорсинга, и многие заказчики улучшают качество своих агрегированных данных именно при помощи этих методов."}),(0,m.jsx)("p",{children:"В этом разделе мы продолжим процесс обобщения и кратко пройдемся по тем современным подходам, которые позволяют учесть еще и сложность вопросов при агрегировании ответов. Направление краудсорсинга стремительно развивается: каждый год предлагаются все новые методы, все лучше отражающие реальную картину. Поэтому в этом разделе мы не станем рассказывать про конкретные методы, а опишем разные подходы к моделированию. Мы также дадим ссылки на литературу, где вы сможете более подробно ознакомиться с конкретными реализациями."}),(0,m.jsx)(c.w,{offset:8}),(0,m.jsx)(x.V.Line,{}),(0,m.jsx)(c.w,{offset:32}),(0,m.jsx)(h.D,{level:5,children:"Параметрический подход "}),(0,m.jsx)("p",{children:(0,m.jsx)(f.S,{withoutContainer:!0,content:"Аналогично тому, как мы замеряли качество для каждого исполнителя, вводя параметр качества $p_{i}$ точно так же для каждого исполнителя мы можем ввести параметр сложности $d_{j}$ для каждого вопроса. Тем не менее, главная проблема заключается в том, как описать взаимодействие между качеством исполнителя и сложностью вопроса, и в результате рассчитать вероятность того, что конкретный исполнитель правильно ответит на выбранный вопрос. В работе Уайтхилла с соавт. (2009) предлагается следующее решение."})}),(0,m.jsx)(g.A,{inLine:!0,maxItemsInRow:2,list:[{icon:(0,m.jsx)(w.n,{}),additional:(0,m.jsx)(f.S,{withoutContainer:!0,content:"Во-первых, параметр качества для исполнителя, который раньше мерился в диапазоне $[0,1]$ теперь задается в интервале $(-\\infty, \\infty)$. В частности, возможно нулевое качество $p=0$ , которое соответствует ситуации, когда исполнитель отвечает на все вопросы наугад. Положительные значения качества подразумевают, что работник с большей вероятностью даст правильный ответ, а отрицательные значения означают, что исполнитель настроен враждебно и с большей вероятностью даст неправильный ответ."})},{icon:(0,m.jsx)(w.n,{}),additional:(0,m.jsx)(f.S,{withoutContainer:!0,content:"Во-вторых, для параметра сложности каждого вопроса также может быть дана интуитивная интерпретация: низкая сложность вопроса означает что вопрос настолько прост, что любой исполнитель ответит на него правильно с вероятностью, близкой к 1. Чем выше уровень сложности, тем меньше вероятность того, что конкретный исполнитель ответит на вопрос правильно."})}]}),(0,m.jsx)("p",{children:(0,m.jsx)(f.S,{withoutContainer:!0,content:"Объединив эти параметры, модель предполагает, что вероятность для конкретного исполнителя при ответе на конкретный вопрос может быть корректно описана следующим параметрическим выражением:"})}),(0,m.jsx)("p",{children:(0,m.jsx)(f.S,{withoutContainer:!0,content:"$\\mathbb{P}[\\text{ Исполнитель } i \\text{ отвечает на вопрос } j \\text{ верно}]=\\frac{1}{\\text{1exp}\\{-\\frac{p_i}{d_j}\\}}$"})}),(0,m.jsxs)("p",{children:["Следует заметить, что в таком случае вероятность является функцией и самого исполнителя, и вопроса, на который исполнитель отвечает.",(0,m.jsx)("br",{})," Как только мы выбрали параметрическое уравнение для описания взаимосвязи между уровнем качества исполнителя и сложностью вопроса, с одной стороны, и вероятностью правильного ответа, с другой, мы можем применять все те же принципы, что и для расчета параметров по модели Дэвида – Скина. Таким образом мы можем оценить не только параметры модели, но и полученные ответы на вопросы. Более подробно об этом можно почитать в статье:"," ",(0,m.jsx)(v.r,{href:"https://arxiv.org/pdf/1602.03481.pdf",target:"_blank",children:"https://arxiv.org/pdf/1602.03481.pdf"}),"."]}),(0,m.jsx)("p",{children:"Несмотря на то, что параметрические модели позволяют делать весьма эффективные выводы, в них неизбежно заложены сильные допущения о когнитивных процессах, присущих исполнителям при ответе на вопросы. Эти допущения обычно невозможно проверить, поэтому неясно, насколько хорошо они согласуются с реальностью. Соответственно, если допущения параметрической модели неверны, то и методы, используемые такой моделью, могут дать неожиданные результаты. Это подводит нас к идее непараметрического подхода, где можно попробовать избежать сильных допущений о мыслительных процессах."}),(0,m.jsx)(c.w,{offset:8}),(0,m.jsx)(x.V.Line,{}),(0,m.jsx)(c.w,{offset:32}),(0,m.jsx)(h.D,{level:5,children:"Непараметрический подход "}),(0,m.jsx)("p",{children:(0,m.jsx)(f.S,{withoutContainer:!0,content:"\nНепараметрический подход предложил Нихар Б. Шах с коллегами в 2016 году. Вместо моделирования вероятностей, что исполнитель $i$ верно ответит на вопрос $j$ , cчитается, что между этими вероятностями есть взаимосвязь. При этом модель использует два ключевых допущения:"})}),(0,m.jsx)(g.A,{inLine:!0,maxItemsInRow:2,list:[{icon:(0,m.jsx)(w.n,{}),additional:(0,m.jsx)(f.S,{withoutContainer:!0,content:"Во-первых, предполагается, что исполнителей можно выстроить в ряд в порядке возрастания способностей. Если исполнитель $i_1$ занимает в этом ряду более высокую позицию, чем исполнитель $i_2$, то при ответе на каждый вопрос исполнитель $i_1$ с большей вероятностью даст правильный ответ, чем исполнитель $i_2$."})},{icon:(0,m.jsx)(w.n,{}),additional:(0,m.jsx)(f.S,{withoutContainer:!0,content:"Во-вторых, предполагается, что вопросы можно выстроить в ряд в зависимости от их сложности. Если вопрос $j_1$ сложнее вопроса $j_2$, то любой исполнитель совершит ошибку при ответе на вопрос $j_1$ с не меньшей вероятностью, что и отвечая на вопрос $j_2$."})}]}),(0,m.jsxs)("p",{children:["Стоит заметить, что эти допущения гораздо слабее, чем в параметрической модели. В самом деле, параметрическая модель не только предполагает существование таких упорядоченных рядов, но и задает все вероятности. С другой стороны, непараметрический подход делает всего лишь естественное предположение о существовании последовательных рядов, но не ограничивает набор когнитивных механизмов, характерных для исполнителей. Было показано, что в некоторых случаях непараметрическая модель позволяет лучше делать выводы. Более подробно об этом можно почитать в полном тексте статьи:"," ",(0,m.jsx)(v.r,{href:"https://arxiv.org/pdf/1606.09632.pdf",target:"_blank",children:"https://arxiv.org/pdf/1606.09632.pdf"}),"."]}),(0,m.jsx)("p",{children:"Как мы уже говорили, подходы из этого раздела еще достаточно новые и не успели стать классикой краудсорсинга. Если сложность вопросов в вашем проекте существенно варьируется, мы рекомендуем более основательно изучить упомянутые методы и лежащие в их основе допущения, а затем опробовать их на практике."})]})][t]}})]})]}),(0,m.jsx)(c.w,{offset:40}),(0,m.jsx)(l.o,{}),(0,m.jsx)(p.f,{})]})]})}}}]);