"use strict";(self.webpackChunk_toloka_portal_gatsby_renderer=self.webpackChunk_toloka_portal_gatsby_renderer||[]).push([[2657],{31451:function(e,n,i){i.d(n,{YD:function(){return h}});var t=i(67294);function r(){return r=Object.assign||function(e){for(var n=1;n=e}));e.trackVisibility&&void 0===n.isVisible&&(n.isVisible=s),null==(i=r.get(n.target))||i.forEach((function(e){e(s,n)}))}))}),e);t=o.thresholds||(Array.isArray(e.threshold)?e.threshold:[e.threshold||0]),i={id:n,observer:o,elements:r},s.set(n,i)}return i}(i),r=t.id,o=t.observer,l=t.elements,a=l.get(e)||[];return l.has(e)||l.set(e,a),a.push(n),o.observe(e),function(){a.splice(a.indexOf(n),1),0===a.length&&(l.delete(e),o.unobserve(e)),0===l.size&&(o.disconnect(),s.delete(r))}}function d(e){return"function"!=typeof e.children}var u=function(e){var n,i;function s(n){var i;return(i=e.call(this,n)||this).node=null,i._unobserveCb=null,i.handleNode=function(e){i.node&&(i.unobserve(),e||i.props.triggerOnce||i.props.skip||i.setState({inView:!!i.props.initialInView,entry:void 0})),i.node=e||null,i.observeNode()},i.handleChange=function(e,n){e&&i.props.triggerOnce&&i.unobserve(),d(i.props)||i.setState({inView:e,entry:n}),i.props.onChange&&i.props.onChange(e,n)},i.state={inView:!!n.initialInView,entry:void 0},i}i=e,(n=s).prototype=Object.create(i.prototype),n.prototype.constructor=n,n.__proto__=i;var o=s.prototype;return o.componentDidUpdate=function(e){e.rootMargin===this.props.rootMargin&&e.root===this.props.root&&e.threshold===this.props.threshold&&e.skip===this.props.skip&&e.trackVisibility===this.props.trackVisibility&&e.delay===this.props.delay||(this.unobserve(),this.observeNode())},o.componentWillUnmount=function(){this.unobserve(),this.node=null},o.observeNode=function(){if(this.node&&!this.props.skip){var e=this.props,n=e.threshold,i=e.root,t=e.rootMargin,r=e.trackVisibility,s=e.delay;this._unobserveCb=a(this.node,this.handleChange,{threshold:n,root:i,rootMargin:t,trackVisibility:r,delay:s})}},o.unobserve=function(){this._unobserveCb&&(this._unobserveCb(),this._unobserveCb=null)},o.render=function(){if(!d(this.props)){var e=this.state,n=e.inView,i=e.entry;return this.props.children({inView:n,entry:i,ref:this.handleNode})}var s=this.props,o=s.children,l=s.as,c=s.tag,a=function(e,n){if(null==e)return{};var i,t,r={},s=Object.keys(e);for(t=0;t=0||(r[i]=e[i]);return r}(s,["children","as","tag","triggerOnce","threshold","root","rootMargin","onChange","skip","trackVisibility","delay","initialInView"]);return(0,t.createElement)(l||c||"div",r({ref:this.handleNode},a),o)},s}(t.Component);function h(e){var n=void 0===e?{}:e,i=n.threshold,r=n.delay,s=n.trackVisibility,o=n.rootMargin,l=n.root,c=n.triggerOnce,d=n.skip,u=n.initialInView,h=(0,t.useRef)(),f=(0,t.useState)({inView:!!u}),x=f[0],p=f[1],v=(0,t.useCallback)((function(e){void 0!==h.current&&(h.current(),h.current=void 0),d||e&&(h.current=a(e,(function(e,n){p({inView:e,entry:n}),n.isIntersecting&&c&&h.current&&(h.current(),h.current=void 0)}),{root:l,rootMargin:o,threshold:i,trackVisibility:s,delay:r}))}),[Array.isArray(i)?i.toString():i,l,o,c,d,s,r]);(0,t.useEffect)((function(){h.current||!x.entry||c||d||p({inView:!!u})}));var j=[v,x.inView,x.entry];return j.ref=j[0],j.inView=j[1],j.entry=j[2],j}u.displayName="InView",u.defaultProps={threshold:0,triggerOnce:!1,initialInView:!1}},52893:function(e,n,i){i.d(n,{q:function(){return s}});var t=i(3748),r=i(85893),s=function(e){var n=e.title,i=e.description,s=e.language,o=e.className,l=e.og,c=e.children;return(0,r.jsx)(t.q,{language:s,title:n,description:i,og:l,className:o,children:c})}},23116:function(e,n,i){i.d(n,{o:function(){return u}});var t=i(89475),r=i(23913),s=i(41361),o=i(86557),l=i(34827),c=i(40219),a=i(81231),d=i(85893),u=function(){return(0,d.jsx)(a.$,{navItems:[{title:"Решения",links:[{text:"Для компьютер­ного зрения",link:"/ru/ml/computer-vision"},{text:"Для NLP-задач",link:"/ru/ml/natural-language-processing"},{text:"Полевые задания",link:"/ru/usecases/spatialcrowd"}]},{title:"Ресурсы",links:[{text:"База знаний",link:"/ru/knowledgebase"},{text:"Датасеты",link:"/ru/datasets"},{text:"Обучение краудсорсингу",link:"/ru/academy/education-partnerships"}]},{title:"Компания",links:[{text:"Соглашение с заказчиком",link:"/legal/customeragreement_probki"},{text:"Обратная связь",link:"/ru/docs/guide/troubleshooting/support.html"}]}],subscribe:{socialMedias:[{icon:(0,d.jsx)(r.p,{}),link:"https://www.linkedin.com/company/71852210/admin"},{icon:(0,d.jsx)(s.V,{}),link:"https://www.facebook.com/globaltoloka"},{icon:(0,d.jsx)(o.Z,{}),link:"https://twitter.com/tolokaai"},{icon:(0,d.jsx)(l.L,{}),link:"https://www.youtube.com/channel/UCGvsgFPVyOwuN8aJJbMem9A"},{icon:(0,d.jsx)(t.f,{}),link:"https://github.com/Toloka/toloka-kit#toloka-kit"}],form:{inputBlock:{label:"Подписаться на обновления",placeholder:"Введите свою почту"},sendingData:{address:"/api/sender/subscribe",listId:"0ASPRWP3-H6V"},button:{view:"default",text:"Подписаться",size:"l",type:"submit"},successText:"Готово! Вскоре вы получите от нас письмо по электронной почте — просто нажмите на ссылку для подтверждения. Если оно не появляется, проверьте папку со спамом."}},bottomBlock:{logo:{icon:(0,d.jsx)(c.e,{}),link:"/"},logoText:(0,d.jsxs)(d.Fragment,{children:["Разработано инженерами ",(0,d.jsx)("br",{})," для инженеров"]}),manageCookiesText:"Управление cookies",info:"© 2014–"+(new Date).getFullYear()+" Intertech Services AG"}})}},31278:function(e,n,i){i.d(n,{m:function(){return a}});var t=i(19058),r=i(27152),s=i(69077),o=i(40219),l=i(56338),c=i(85893),a=function(e){var n=e.defaultBackground,i=e.links,a=void 0===i?[(0,c.jsx)(l.e,{href:"/ru/get-started",children:"Войти"},1)]:i;return(0,c.jsx)(t.h,{defaultBackground:n,headerLogoProps:{icon:(0,c.jsx)(o.e,{}),link:"/"},headerMenuProps:{headerMenuNav:[{title:"ML-задачи",type:"default",items:[{type:"navigationContainer",content:[{icon:(0,c.jsx)(s.x,{}),text:"Разметка данных для компьютер­ного зрения",link:"/ru/ml/computer-vision"},{icon:(0,c.jsx)(r.M,{}),text:"Разметка данных для NLP-задач",link:"/ru/ml/natural-language-processing"}]}]},{title:"База знаний",type:"link",link:"/ru/knowledgebase"},{title:"Датасеты",type:"link",link:"/ru/datasets"},{title:"Обучение краудсорсингу",type:"link",link:"/ru/academy/education-partnerships"}],links:a}})}},92033:function(e,n,i){i.d(n,{J:function(){return L}});var t="bR_dN",r="bR_dP",s="bR_dQ",o="bR_bC",l="bR_dR",c="bR_dS",a="bR_dT",d="bR_dV",u="bR_dW",h="bR_dX",f="bR_dY",x="bR_dZ",p=i(79700),v=i.n(p),j={list:"d9_cl",item:"d9_3",button:"d9_6",activeItem:"d9_jB"},g=i(67294),m=i(55074),w=i(85893),b=function(e){var n=e.toc,i=(0,m.A)(n.map((function(e){return e.url})),n.length>0?n[0].url:void 0),t=(0,g.useCallback)((function(e){var n=document.getElementById(e.slice(1));if(n){var i=document.body.clientWidth>=1024?60:120,t=n.getBoundingClientRect();window.scrollTo({top:t.top+window.pageYOffset-t.height-i,behavior:"smooth"})}}),[]);return 0===n.length?(0,w.jsx)("div",{className:j.wrap}):(0,w.jsx)("div",{className:j.wrap,children:(0,w.jsx)("ul",{className:j.list,children:n.map((function(e){return(0,w.jsx)("li",{className:v()(j.item,e.url===i?j.activeItem:void 0),children:(0,w.jsx)("button",{className:v()("button-reset",j.button),onClick:function(){return t(e.url)},children:e.title})},e.url)}))})})},k=i(61123),C=i(4511),y=i(11467),_=i(38477),L=function(e){var n=e.children,i=e.toc,p=e.withoutShareLink,j=e.form,m=e.backLink,L=e.additionalLink,V=e.noBottomBorder,M=(0,g.useMemo)((function(){return j?(0,w.jsx)("div",{className:c,children:j}):null}),[j]);return(0,w.jsxs)("div",{className:f,children:[(0,w.jsxs)("div",{className:v()(s,i?void 0:x),children:[i&&i.length>0?(0,w.jsx)("div",{className:v()(t,V?r:void 0),children:(0,w.jsx)(b,{toc:i})}):null,p?null:(0,w.jsx)("div",{className:l,children:(0,w.jsx)(k.D,{})}),M]}),(0,w.jsxs)("div",{className:o,children:[(0,w.jsxs)(y.O,{children:[M,n]}),m||L?(0,w.jsxs)("div",{className:a,children:[m?(0,w.jsx)(C.r,{className:v()(d,"back-link"),onClick:function(){return(0,_.X)(m.href)},iconPosition:m.iconPosition,children:m.text}):null,L?(0,w.jsx)("div",{className:u,children:(0,w.jsx)(C.r,{href:L.href,className:h,iconPosition:L.iconPosition,children:L.text})}):null]}):null]})]})}},7291:function(e,n,i){i.d(n,{v:function(){return g}});var t=i(46237),r="bX_Z",s="bX_dK",o="bX_q",l="bX_h",c="bX_dS",a="bX_dd",d=i(99628),u=i(84401),h=i(19224),f=i(79700),x=i.n(f),p=i(14245),v=i(27850),j=i(85893),g=function(e){var n=e.title,i=e.text,f=e.inputPlaceholder,g=e.button,m=e.successText,w=e.sendingData,b=e.fractal,k=void 0===b?(0,j.jsx)(h.J,{}):b,C=(0,v.Q)(w),y=C.onSubmit,_=C.isSubmitted,L=C.setInputText;return(0,j.jsxs)("div",{className:x()(r,"light"),children:[n?(0,j.jsx)(t.D,{level:4,className:o,children:n}):null,(0,j.jsx)("p",{className:l,children:i}),(0,j.jsx)("form",{className:c,onSubmit:y,children:_?(0,j.jsx)(p.r,{text:m}):(0,j.jsxs)(j.Fragment,{children:[(0,j.jsx)(d.z,{view:"default",size:"m",type:"email",placeholder:f,className:s,onChange:function(e){return L(e.target.value)},autoComplete:"on",required:!0}),(0,j.jsx)(u.z,{view:g.view,type:"submit",size:g.size,children:g.text})]})}),(0,j.jsx)("div",{className:a,children:k})]})}},86457:function(e,n,i){i.d(n,{C:function(){return b}});var t=i(79700),r=i.n(t),s="bg_cV",o="bg_3",l="bg_cW",c="bg_cX",a="bg_v",d="bg_q",u="bg_bn",h="bg_cY",f="bg_j",x="bg_cZ",p="bg_b3",v="bg_c0",j="bg_c1",g=i(30759),m=i(4511),w=i(85893),b=function(e){var n=e.list,i=e.className,t=e.itemClassName,b=e.maxItemsInRow,k=e.isBigIcon,C=e.inLine,y=e.twoElementsInMobile,_=e.isSmallIcon;return(0,w.jsx)("ul",{className:r()("features-list-container",i,1===n.length||1===b?s:void 0,C?x:void 0,y?v:void 0,_?c:void 0),children:n.map((function(e,n){return(0,w.jsxs)("li",{className:r()(o,k?l:void 0,t,2===b?j:void 0,C?p:void 0,e.text||e.link||e.additional?void 0:a),children:[e.icon,(0,w.jsxs)("div",{children:[e.title?(0,w.jsx)(g.D,{level:5,className:d,children:e.title}):null,e.text?(0,w.jsx)("p",{className:u,children:e.text}):null,e.link?(0,w.jsx)("div",{className:f,children:(0,w.jsx)(m.r,{href:e.link.href,iconPosition:e.link.iconPosition,target:e.link.target,children:e.link.text})}):null,e.additional?(0,w.jsx)("div",{className:h,children:e.additional}):null]})]},n)}))})}},61123:function(e,n,i){i.d(n,{D:function(){return v}});var t={list:"fb_cl",item:"fb_3",button:"fb_6"},r=i(79700),s=i.n(r),o=i(67294),l=i(85893),c=function(){return(0,l.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"16",height:"13",viewBox:"0 0 16 13",fill:"none",children:(0,l.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M5.96907 12.861C5.27718 12.861 4.56503 12.8068 3.8486 12.6982C2.58677 12.5067 1.30944 11.8684 0.947991 11.6773L0 11.176L1.02636 10.8496C2.1483 10.4928 2.83079 10.2714 3.67564 9.92485C2.82969 9.52859 2.17772 8.8159 1.86388 7.89458L1.62511 7.19355L1.82091 7.22248C1.63524 7.04149 1.48864 6.85779 1.37499 6.69075C0.970818 6.09703 0.75683 5.37156 0.802362 4.74987L0.847284 4.13798L1.22606 4.27989C1.06628 3.98805 0.9508 3.67638 0.882928 3.34971C0.717524 2.55306 0.85595 1.7067 1.27282 0.966604L1.60277 0.380799L2.04405 0.893404C3.43967 2.51481 5.20736 3.47662 7.30536 3.75819C7.21967 3.18691 7.28388 2.63558 7.4964 2.14139C7.74384 1.56598 8.18402 1.07804 8.76898 0.73025C9.41867 0.344084 10.2065 0.156962 10.9874 0.203359C11.8158 0.252589 12.568 0.552809 13.1654 1.07214C13.4572 0.998835 13.6722 0.920559 13.9627 0.81478C14.1374 0.751146 14.3357 0.678895 14.5837 0.596254L15.4978 0.291666L14.9018 1.9381C14.9411 1.93491 14.9816 1.93219 15.0239 1.93043L16 1.88769L15.4231 2.65022C15.39 2.6939 15.3816 2.7063 15.3699 2.72342C15.3234 2.79118 15.2655 2.87547 14.4737 3.89809C14.2754 4.15416 14.1764 4.48767 14.1948 4.83736C14.2651 6.16621 14.0964 7.36851 13.6935 8.41073C13.3124 9.39676 12.7219 10.2427 11.9384 10.9252C10.9689 11.7696 9.73271 12.3477 8.26397 12.6433C7.54352 12.7883 6.76985 12.861 5.96907 12.861Z",fill:"#1E2126",fillOpacity:"0.5"})})},a=function(){return(0,l.jsxs)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"18",height:"18",viewBox:"0 0 18 18",fill:"none",children:[(0,l.jsx)("path",{d:"m9 14.14-1.29 1.29a3.64 3.64 0 0 1-5.14 0v0a3.64 3.64 0 0 1 0-5.14L5.14 7.7a3.64 3.64 0 0 1 5.15 0v0l.28.29",stroke:"#1E2126",strokeOpacity:".5",strokeWidth:"2.4",strokeLinecap:"round",strokeLinejoin:"round"}),(0,l.jsx)("path",{d:"m9 3.86 1.29-1.29a3.64 3.64 0 0 1 5.14 0v0a3.64 3.64 0 0 1 0 5.14l-2.57 2.58a3.64 3.64 0 0 1-5.15 0v0l-.21-.22",stroke:"#1E2126",strokeOpacity:".5",strokeWidth:"2.4",strokeLinecap:"round",strokeLinejoin:"round"})]})},d=function(){return(0,l.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"8",height:"16",viewBox:"0 0 8 16",fill:"none",children:(0,l.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M6.54 2.65673H8.00067V0.112728C7.74867 0.078061 6.882 6.10352e-05 5.87267 6.10352e-05C3.76667 6.10352e-05 2.324 1.32473 2.324 3.75939V6.00006H0V8.84406H2.324V16.0001H5.17333V8.84473H7.40333L7.75733 6.00073H5.17267V4.04139C5.17333 3.21939 5.39467 2.65673 6.54 2.65673Z",fill:"#1E2126",fillOpacity:"0.5"})})},u=function(){return(0,l.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"16",height:"16",viewBox:"0 0 16 16",fill:"none",children:(0,l.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M2.15471 0.207764C0.966598 0.207764 0 1.15446 0 2.31809C0 3.48225 0.966598 4.4293 2.15471 4.4293C3.34188 4.4293 4.30769 3.4822 4.30769 2.31809C4.30775 1.15446 3.34188 0.207764 2.15471 0.207764ZM3.43672 5.03238H0.255583C0.114399 5.03238 0 5.14816 0 5.29093V15.6292C0 15.772 0.114399 15.8878 0.255583 15.8878H3.43672C3.57791 15.8878 3.69231 15.772 3.69231 15.6292V5.29093C3.69231 5.14816 3.57791 5.03238 3.43672 5.03238ZM9.11072 6.19188C9.68593 5.57515 10.6343 5.03238 11.9172 5.03238C15.5149 5.03238 16 7.59188 16 10.0956V15.6351C16 15.7747 15.8852 15.8878 15.7433 15.8878H12.555C12.4132 15.8878 12.2984 15.7747 12.2984 15.6351V10.725C12.2984 9.35023 12.1951 8.29862 10.8963 8.29862C9.70362 8.29862 9.23894 8.9546 9.23894 10.6383V15.6351C9.23894 15.7746 9.12407 15.8877 8.98231 15.8877H5.7951C5.65333 15.8877 5.53847 15.7746 5.53847 15.6351V5.53596C5.53847 5.39649 5.65333 5.28338 5.7951 5.28338H8.85409C8.99586 5.28338 9.11072 5.39649 9.11072 5.53596V6.19188Z",fill:"#1E2126",fillOpacity:"0.5"})})},h=i(9546),f=i(47250),x=i(81547);function p(e){var n=[];for(var i in e)n.push(encodeURIComponent(i)+"="+encodeURIComponent(e[i]));return n.join("&")}var v=function(){if(x.j){var e=window.location.href,n=(0,h.F)(e),i=(0,o.useMemo)((function(){var n={url:e,utm_source:"share2"},i={u:e,src:"sp",utm_source:"share2"},t={mini:"true",url:e,utm_source:"share2"};return[{icon:(0,l.jsx)(c,{}),title:"Twitter",link:"https://twitter.com/intent/tweet?"+p(n)},{icon:(0,l.jsx)(d,{}),title:"Facebook",link:"https://www.facebook.com/sharer.php?"+p(i)},{icon:(0,l.jsx)(u,{}),title:"Linkedin",link:"https://www.linkedin.com/shareArticle?"+p(t)}]}),[e]);return(0,l.jsx)("div",{className:t.wrap,children:(0,l.jsxs)("ul",{className:t.list,children:[i.map((function(e){return(0,l.jsx)("li",{className:t.item,children:(0,l.jsxs)("a",{className:s()("button-reset",t.button),href:e.link,target:"_blank",rel:"nofollow noopener noreferrer",title:e.title,children:[e.icon,(0,l.jsx)(f.M,{children:e.title})]})},e.title)})),(0,l.jsx)("li",{className:t.item,children:(0,l.jsxs)("a",{className:s()("button-reset",t.button),href:"#",target:"_blank",rel:"nofollow noopener noreferrer",title:"Link to current page",onClick:function(e){return e.preventDefault()},ref:n,children:[(0,l.jsx)(a,{}),(0,l.jsx)(f.M,{children:"Link to current page"})]})})]})})}return null}},33543:function(e,n,i){i.d(n,{M:function(){return a}});var t={tab:"bW_cd",sliderWrap:"bW_cc",noSidePaddings:"bW_cn",defaultView:"bW_d5",dark:"bW_c3",modifiedView:"bW_d6"},r=i(79700),s=i.n(r),o=i(67294),l=i(21648),c=i(85893),a=function(e){var n=e.items,i=e.render,r=e.shouldTabsChangeView,a=void 0===r||r,d=e.theme,u=e.noSidePaddings,h=(0,l.u)(),f=h.ref,x=h.setSwiperRef,p=(0,o.useState)(0),v=p[0],j=p[1];return(0,c.jsxs)(c.Fragment,{children:[n.length>1?(0,c.jsx)("div",{className:s()(t.tab,d?t[d]:void 0,"tab-slider",a?t.modifiedView:t.defaultView,u?t.noSidePaddings:void 0),ref:f,children:n.map((function(e,n){return(0,c.jsxs)("button",{className:n===v?"active":void 0,onClick:function(){return j(n)},children:[e.icon,(0,c.jsx)("span",{children:e.title})]},n)}))}):null,(0,c.jsx)("div",{className:s()(t.sliderWrap,n.length>1?"withTabs":void 0),children:i({activeTab:v,setSwiperRef:x})})]})}},55074:function(e,n,i){i.d(n,{A:function(){return r}});var t=i(67294),r=function(e,n){var i=(0,t.useState)(n),r=i[0],s=i[1];return(0,t.useEffect)((function(){var n=document.body.clientWidth>=1024?100:150,i=new IntersectionObserver((function(e){e.forEach((function(e){!1!==e.isIntersecting&&e.boundingClientRect.y<200&&s("#"+e.target.id)}))}),{root:null,rootMargin:"-"+n+"px 0px 0px 0px",threshold:[0,.1,.2,.3,.4,.5,.6,.7,.8,.9,1]});return e.map((function(e){return document.getElementById(e.slice(1))})).filter(Boolean).forEach((function(e){i.observe(e)})),function(){i.disconnect()}}),[e,n]),r}},21648:function(e,n,i){i.d(n,{u:function(){return s}});var t=i(67294),r=i(31451),s=function(){var e=(0,t.useState)(null),n=e[0],i=e[1],s=(0,r.YD)({threshold:0,triggerOnce:!0}),o=s.ref,l=s.inView;return(0,t.useEffect)((function(){n&&(n.autoplay.stop(),l&&n.autoplay.start())}),[l,n]),{ref:o,swiperRef:n,setSwiperRef:i}}},38477:function(e,n,i){i.d(n,{X:function(){return t}});var t=function(e){document.referrer.includes(e)?window.history.back():window.open(e,"_self")}},67911:function(e,n,i){i.d(n,{A:function(){return m}});var t="F_Z",r="F_b2",s="F_b3",o="F_b4",l="F_b5",c="F_b6",a="F_b7",d="F_b8",u="F_b9",h="F_cb",f=i(79700),x=i.n(f),p=i(86457),v=i(67294),j=i(85893),g={1:h,2:d,3:u,4:void 0},m=function(e){var n=e.list,i=e.maxItemsInRow,d=void 0===i?4:i,u=e.isBigIcon,h=e.withImage,f=e.inLine,m=e.twoElementsInMobile,w=e.columnFlow,b=e.paddingsBeforeDesktop,k=e.isSmallIcon,C=(0,v.useRef)(null);return(0,v.useEffect)((function(){C.current&&w&&C.current.style.setProperty("--count",""+Math.ceil(n.length/d))}),[C]),(0,j.jsx)("div",{ref:C,className:x()(t,f?s:void 0,b?r:""),children:(0,j.jsx)(p.C,{list:n,className:x()(o,g[d],h?l:void 0,w&&4!==d?a:void 0),itemClassName:h?c:void 0,maxItemsInRow:d,isBigIcon:u,inLine:f,twoElementsInMobile:m,isSmallIcon:k})})}},69077:function(e,n,i){i.d(n,{x:function(){return r}});var t=i(85893),r=function(){return(0,t.jsxs)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"24",height:"24",fill:"none",children:[(0,t.jsx)("path",{d:"M12 9a3 3 0 1 0 0 6 3 3 0 0 0 0-6Z",stroke:"#fff",strokeWidth:"2"}),(0,t.jsx)("path",{d:"M12 5c-2.85 0-5.39.84-7.19 2.15C3.01 8.46 2 10.2 2 12c0 1.81 1 3.54 2.81 4.85A12.31 12.31 0 0 0 12 19c2.85 0 5.39-.84 7.19-2.15C20.99 15.54 22 13.8 22 12c0-1.81-1-3.54-2.81-4.85A12.31 12.31 0 0 0 12 5Z",stroke:"#fff",strokeWidth:"2"})]})}},27152:function(e,n,i){i.d(n,{M:function(){return r}});var t=i(85893),r=function(){return(0,t.jsxs)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"24",height:"24",fill:"none",children:[(0,t.jsx)("path",{d:"M3 16V8M8.28 16 3 8M8.28 16V8M11.44 16V8M11.44 16h3.17M17.78 16V8",stroke:"#fff",strokeWidth:"2",strokeMiterlimit:"79.84",strokeLinecap:"round",strokeLinejoin:"round"}),(0,t.jsx)("path",{d:"M17.78 8h1.72a2.5 2.5 0 0 1 2.5 2.5v0a2.5 2.5 0 0 1-2.5 2.5h-1.72M1 5.5v0A4.5 4.5 0 0 1 5.5 1h13A4.5 4.5 0 0 1 23 5.5v0m0 13v0a4.5 4.5 0 0 1-4.5 4.5h-13A4.5 4.5 0 0 1 1 18.5v0",stroke:"#fff",strokeWidth:"2",strokeLinecap:"round",strokeLinejoin:"round"})]})}},66924:function(e,n,i){i.d(n,{n:function(){return r}});var t=i(85893),r=function(){return(0,t.jsxs)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"24",height:"25",viewBox:"0 0 24 25",fill:"none",children:[(0,t.jsx)("g",{clipPath:"url(#clip0_9129_114992)",children:(0,t.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M4.92861 19.5714C1.02365 15.6664 1.02373 9.33478 4.92926 5.42926C8.83478 1.52373 15.1664 1.52365 19.0714 5.42861C22.9764 9.33357 22.9763 15.6652 19.0707 19.5707C15.1652 23.4763 8.83357 23.4764 4.92861 19.5714ZM3.51439 20.9856C-1.17172 16.2995 -1.17143 8.70152 3.51504 4.01504C8.20152 -0.671427 15.7995 -0.671719 20.4856 4.01439C25.1717 8.7005 25.1714 16.2985 20.485 20.985C15.7985 25.6714 8.2005 25.6717 3.51439 20.9856ZM11.6703 16.0403C11.4839 16.2396 11.2243 16.354 10.9515 16.3571C10.6787 16.3602 10.4165 16.2518 10.2256 16.0569L6.99992 12.7633C6.61349 12.3687 6.62008 11.7356 7.01465 11.3492C7.40922 10.9627 8.04235 10.9693 8.42879 11.3639L10.9235 13.9111L15.5555 8.95973C15.9328 8.55641 16.5656 8.53533 16.9689 8.91263C17.3723 9.28993 17.3933 9.92274 17.016 10.3261L11.6703 16.0403Z",fill:"#0055D9"})}),(0,t.jsx)("defs",{children:(0,t.jsx)("clipPath",{id:"clip0_9129_114992",children:(0,t.jsx)("rect",{width:"24",height:"24",fill:"white",transform:"translate(0 0.5)"})})})]})}},41361:function(e,n,i){i.d(n,{V:function(){return r}});var t=i(85893),r=function(){return(0,t.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"32",height:"32",fill:"none",children:(0,t.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M16 32a16 16 0 1 0 0-32 16 16 0 0 0 0 32Zm4-21.34h-1.46c-1.15 0-1.37.56-1.37 1.38V14h2.59l-.36 2.84h-2.23V24h-2.85v-7.16H12V14h2.32v-2.24c0-2.44 1.45-3.76 3.55-3.76 1.01 0 1.88.08 2.13.11v2.55Z",fill:"#fff",fillOpacity:".4"})})}},89475:function(e,n,i){i.d(n,{f:function(){return r}});var t=i(85893),r=function(){return(0,t.jsxs)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"32",height:"32",fill:"none",children:[(0,t.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M16 0C12.2 0 8.54 1.38 5.64 3.91a16.51 16.51 0 0 0-5.42 9.87c-.61 3.85.13 7.79 2.1 11.12a16.08 16.08 0 0 0 8.64 7.07c.8.16 1.1-.35 1.1-.79l-.03-3.05c-4.45.99-5.39-1.94-5.39-1.94-.73-1.9-1.78-2.4-1.78-2.4-1.45-1.02.11-1 .11-1 1.6.12 2.45 1.7 2.45 1.7 1.43 2.5 3.75 1.78 4.66 1.35a3.53 3.53 0 0 1 1.02-2.19c-3.55-.4-7.3-1.82-7.3-8.1a6.43 6.43 0 0 1 1.66-4.41 6.04 6.04 0 0 1 .15-4.35s1.34-.44 4.4 1.68c2.63-.73 5.4-.73 8.02 0 3.04-2.1 4.4-1.68 4.4-1.68.86 2.26.32 3.93.15 4.35a6.43 6.43 0 0 1 1.65 4.4c0 6.3-3.75 7.7-7.31 8.1.57.5 1.08 1.5 1.08 3.04l-.01 4.5c0 .43.28.95 1.1.78a16.08 16.08 0 0 0 8.61-7.07 16.75 16.75 0 0 0 2.1-11.12 16.51 16.51 0 0 0-5.42-9.86A15.77 15.77 0 0 0 16.01 0Z",fill:"#fff",fillOpacity:".4"}),(0,t.jsx)("path",{d:"M6.07 23.55c-.04.09-.16.11-.27.06-.1-.06-.18-.17-.15-.25.04-.08.17-.1.27-.05s.18.16.14.24ZM6.71 24.3c-.07.07-.22.03-.32-.08a.26.26 0 0 1-.05-.34c.08-.07.22-.04.33.08.1.11.12.27.04.34ZM7.35 25.24c-.1.07-.27 0-.36-.14-.1-.14-.1-.32 0-.4.1-.06.26 0 .36.15.09.14.1.32 0 .4ZM8.22 26.15a.3.3 0 0 1-.23.06.3.3 0 0 1-.2-.13c-.13-.13-.17-.32-.08-.42.09-.1.26-.07.41.06.15.14.18.33.09.42l.01.01ZM9.4 26.68c-.04.13-.22.2-.4.14-.18-.06-.3-.21-.26-.34.03-.13.21-.19.4-.13.18.05.3.2.26.33ZM10.71 26.78c0 .14-.15.25-.34.25-.19 0-.34-.1-.35-.24 0-.13.15-.24.35-.25.19 0 .34.1.34.24ZM11.93 26.57c.02.13-.1.27-.3.3-.19.04-.35-.04-.38-.18-.02-.13.11-.27.3-.3.18-.03.36.05.38.18Z",fill:"#fff",fillOpacity:".4"})]})}},23913:function(e,n,i){i.d(n,{p:function(){return r}});var t=i(85893),r=function(){return(0,t.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"32",height:"32",fill:"none",children:(0,t.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M16 32a16 16 0 1 0 0-32 16 16 0 0 0 0 32ZM8 10.32c0-1.17.97-2.11 2.15-2.11 1.2 0 2.16.94 2.16 2.1 0 1.17-.97 2.12-2.16 2.12A2.14 2.14 0 0 1 8 10.32Zm.26 2.71h3.18c.14 0 .25.12.25.26v10.34c0 .14-.11.26-.25.26H8.26a.26.26 0 0 1-.26-.26V13.29c0-.14.11-.26.26-.26Zm11.66 0c-1.29 0-2.23.55-2.8 1.16v-.65a.25.25 0 0 0-.27-.26H13.8a.25.25 0 0 0-.26.26v10.1c0 .13.11.25.26.25h3.18c.14 0 .26-.12.26-.25v-5c0-1.69.46-2.34 1.66-2.34 1.3 0 1.4 1.05 1.4 2.43v4.9c0 .14.11.26.25.26h3.2c.14 0 .25-.12.25-.25V18.1c0-2.5-.49-5.07-4.08-5.07Z",fill:"#fff",fillOpacity:".4"})})}},86557:function(e,n,i){i.d(n,{Z:function(){return r}});var t=i(85893),r=function(){return(0,t.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"32",height:"32",viewBox:"0 0 32 32",fill:"none",children:(0,t.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M16 32C24.8366 32 32 24.8366 32 16C32 7.16344 24.8366 0 16 0C7.16344 0 0 7.16344 0 16C0 24.8366 7.16344 32 16 32ZM11.8486 22.0315C12.565 22.1401 13.2772 22.1943 13.9691 22.1943C14.7698 22.1943 15.5435 22.1216 16.264 21.9766C17.7327 21.681 18.9689 21.1029 19.9384 20.2585C20.7219 19.576 21.3124 18.7301 21.6935 17.744C22.0964 16.7018 22.2651 15.4995 22.1948 14.1707C22.1764 13.821 22.2754 13.4875 22.4737 13.2314C23.2655 12.2088 23.3234 12.1245 23.3699 12.0567L23.3704 12.0559C23.3819 12.0392 23.3906 12.0265 23.4231 11.9835L24 11.221L23.0239 11.2637C22.9816 11.2655 22.9411 11.2682 22.9018 11.2714L23.4978 9.62496L22.5837 9.92955C22.337 10.0118 22.1394 10.0837 21.9653 10.1471L21.9627 10.1481C21.6722 10.2539 21.4572 10.3321 21.1654 10.4054C20.568 9.8861 19.8158 9.58588 18.9874 9.53665C18.2065 9.49025 17.4187 9.67738 16.769 10.0635C16.184 10.4113 15.7438 10.8993 15.4964 11.4747C15.2839 11.9689 15.2197 12.5202 15.3054 13.0915C13.2074 12.8099 11.4397 11.8481 10.0441 10.2267L9.60277 9.71409L9.27282 10.2999C8.85595 11.04 8.71752 11.8863 8.88293 12.683C8.9508 13.0097 9.06628 13.3213 9.22606 13.6132L8.84728 13.4713L8.80236 14.0832C8.75683 14.7049 8.97082 15.4303 9.37499 16.024C9.48864 16.1911 9.63524 16.3748 9.82091 16.5558L9.62511 16.5268L9.86388 17.2279C10.1777 18.1492 10.8297 18.8619 11.6756 19.2581C10.8308 19.6047 10.1483 19.8261 9.02636 20.1829L8 20.5093L8.94799 21.0106C9.30944 21.2017 10.5868 21.84 11.8486 22.0315Z",fill:"white",fillOpacity:"0.4"})})}},34827:function(e,n,i){i.d(n,{L:function(){return r}});var t=i(85893),r=function(){return(0,t.jsx)("svg",{xmlns:"http://www.w3.org/2000/svg",width:"32",height:"32",fill:"none",children:(0,t.jsx)("path",{fillRule:"evenodd",clipRule:"evenodd",d:"M16 32a16 16 0 1 0 0-32 16 16 0 0 0 0 32Zm7.32-20.72c-.43-.77-.9-.91-1.86-.97-.96-.06-3.37-.09-5.46-.09s-4.5.03-5.46.1c-.95.05-1.42.19-1.86.96-.45.77-.68 2.1-.68 4.44 0 2.33.23 3.67.68 4.44.44.77.9.9 1.86.97.96.06 3.37.1 5.46.1s4.5-.04 5.46-.1c.96-.06 1.43-.2 1.86-.97.45-.77.68-2.1.68-4.43v-.01c0-2.34-.23-3.67-.68-4.44ZM14 12.72l5 3-5 3v-6Z",fill:"#fff",fillOpacity:".4"})})}},11537:function(e,n,i){i.r(n),i.d(n,{default:function(){return b}});var t=i(74533),r=i(88586),s=i(52893),o=i(31278),l=i(23116),c=i(51512),a=i(3468),d=i(25109),u=i(4511),h=i(11467),f=i(7291),x=i(92033),p=i(33543),v=i(46237),j=i(88709),g=i(67911),m=i(66924),w=i(85893);function b(){return(0,w.jsxs)(w.Fragment,{children:[(0,w.jsx)(s.q,{og:{img:"https://tlk-infra-front.azureedge.net/portal-static/images/ru-pages/knowledgebase/quality-control.jpg",title:"Контроль качества",description:"Настройте систему контроля, чтобы получить надёжный результат"},language:"ru"}),(0,w.jsx)(t.n,{}),(0,w.jsxs)(r.i,{headerPadding:!0,children:[(0,w.jsx)(o.m,{defaultBackground:"dark"}),(0,w.jsx)(c.w,{offset:40}),(0,w.jsxs)(d.L,{overflow:"inherit",children:[(0,w.jsx)(v.D,{level:1,children:"Контроль качества"}),(0,w.jsx)("p",{children:"Настройте систему контроля, чтобы получить надёжный результат"}),(0,w.jsx)(c.w,{offset:40}),(0,w.jsxs)(x.J,{withoutShareLink:!0,noBottomBorder:!0,toc:[{url:"#overview",title:"Многоуровневый процесс"},{url:"#selecting-performers",title:"Отбор исполнителей"},{url:"#synchronous-quality-control",title:"Синхронный контроль качества"},{url:"#asynchronous-quality-control",title:"Асинхронный контроль качества"}],form:(0,w.jsx)(f.v,{text:"Подписаться на новости Толоки",inputPlaceholder:"Введите свою почту",button:{view:"action",text:"Подписаться",size:"l"},sendingData:{address:"/api/sender/subscribe",listId:"0ASPRWP3-H6V"},successText:"Thank you for subscribing"}),children:[(0,w.jsx)(c.w,{offset:40}),(0,w.jsxs)("p",{id:"overview",children:["Контроль качества — особенно важная часть краудсорсингового проекта. Обычно мы ничего не знаем об исполнителях. Правильно ли они поняли задание? Насколько они внимательны? Среди исполнителей есть боты? Если да — кто именно? С помощью методов контроля качества мы получим ответы на эти вопросы.",(0,w.jsx)("br",{}),(0,w.jsx)(a.p.Desktop,{children:(0,w.jsx)("br",{})}),"Организация контроля качества — это многоуровневый процесс. Для начала грамотно декомпозируйте задание, напишите чёткие инструкции и создайте понятный интерфейс. Всё это поможет исполнителю правильно выполнить задание.Следующие шаги для контроля качества будут такими:"]}),(0,w.jsx)(g.A,{maxItemsInRow:2,inLine:!0,list:[{icon:(0,w.jsx)(m.n,{}),additional:"отфильтруйте исполнителей, которые вам не подходят;"},{icon:(0,w.jsx)(m.n,{}),additional:"обучите исполнителей, объясните им, что делать;"},{icon:(0,w.jsx)(m.n,{}),additional:"проведите контрольный тест и проверьте, как усвоены инструкции;"},{icon:(0,w.jsx)(m.n,{}),additional:"отследите, как исполнители ведут себя во время работы;"},{icon:(0,w.jsx)(m.n,{}),additional:"проверьте качество ответов;"},{icon:(0,w.jsx)(m.n,{}),additional:"примените методы умной агрегации."}]}),(0,w.jsx)("p",{children:"По результатам этих проверок вы узнаете, как ведёт себя каждый исполнитель и насколько качественно он работает."}),(0,w.jsx)(c.w,{offset:40}),(0,w.jsx)(h.V.Image,{imageId:"1654007570830642-4629738155365788486"}),(0,w.jsx)(c.w,{offset:40}),(0,w.jsx)(h.V.Line,{}),(0,w.jsx)(c.w,{offset:60}),(0,w.jsx)(v.D,{level:2,styleAs:4,id:"selecting-performers",children:"Отбор исполнителей"}),(0,w.jsx)("p",{children:"Контроль качества начинается с отбора. Это важный этап и выгодное вложение времени и денег. Обучите исполнителей и убедитесь, что они поняли инструкции, — и вы получите более качественные данные. Создайте достаточно понятных обучающих заданий и тестов — и вы при необходимости в любой момент наберёте новых исполнителей и не потратите время на ручной отбор."}),(0,w.jsx)(p.M,{noSidePaddings:!0,shouldTabsChangeView:!1,items:[{title:"Предварительная фильтрация"},{title:"Обучение"},{title:"Контрольный тест"}],render:function(e){var n=e.activeTab;return[(0,w.jsxs)(w.Fragment,{children:[(0,w.jsx)("p",{children:"Предварительная фильтрация позволяет показывать задание только подходящим исполнителям. На каждой краудсорсинговой платформе свои фильтры. Наиболее популярные — местоположение, возраст, пол, знание языков, устройства. Если вы уверены, что эти признаки способны повлиять на выполнение задания, используйте фильтры. Например, фильтры пригодятся, если задание содержит:"}),(0,w.jsx)(g.A,{maxItemsInRow:2,inLine:!0,list:[{icon:(0,w.jsx)(m.n,{}),additional:"работу с контентом на определённом языке (предоставьте доступ пользователям, которые им владеют);"},{icon:(0,w.jsx)(m.n,{}),additional:"UX-тесты для продукта с целевой аудиторией определённого возраста (предлагайте задания исполнителям этого возраста);"},{icon:(0,w.jsx)(m.n,{}),additional:"оценку контента, который может быть недоступен в ряде регионов (закройте пользователям оттуда доступ к заданию)."}]}),(0,w.jsxs)("p",{children:["О фильтрах Толоки и о том, как их настраивать, читайте в"," ",(0,w.jsx)(u.r,{href:"/ru/docs/guide/concepts/filters.html",children:"руководстве пользователя."},1)]})]}),(0,w.jsxs)(w.Fragment,{children:[(0,w.jsx)("p",{children:"Отобрав исполнителей, обучите их. Подготовьте набор обучающих заданий с комментариями, объясняющими, как выполнять задание, как оно оценивается и почему. Чтобы создать эффективное обучающее задание:"}),(0,w.jsx)(g.A,{maxItemsInRow:2,inLine:!0,list:[{icon:(0,w.jsx)(m.n,{}),additional:"включите в него примеры для каждого правила и принципа инструкции (даже самого простого);"},{icon:(0,w.jsx)(m.n,{}),additional:"не делайте задание слишком длинным, пусть оно показывает только необходимые случаи;"},{icon:(0,w.jsx)(m.n,{}),additional:"в комментариях скажите, какой ответ правильный, а главное — почему. Обязательно объясните причины. Дайте ссылку на инструкцию."}]}),(0,w.jsxs)("p",{children:["В Толоке существует особый тип пула — тренировка. Его свойства и настройки подробно описаны в"," ",(0,w.jsx)(u.r,{href:"/ru/docs/guide/concepts/train.html",children:"руководстве"},2),"."]})]}),(0,w.jsxs)(w.Fragment,{children:[(0,w.jsx)("p",{children:"Когда исполнитель завершит обучение, предложите ему тест. Тестовый набор состоит из заданий с известными вам ответами. Когда исполнитель пройдёт тест, вы рассчитаете процент правильных ответов и решите, оставлять ли исполнителя в проекте. Вот несколько советов о тесте:"}),(0,w.jsx)(g.A,{maxItemsInRow:2,inLine:!0,list:[{icon:(0,w.jsx)(m.n,{}),additional:"тема и сложность обучающих и тестовых заданий должны быть одинаковы;"},{icon:(0,w.jsx)(m.n,{}),additional:"создайте несколько версий теста и меняйте их: тогда исполнителям будет сложнее делиться друг с другом правильными ответами;"},{icon:(0,w.jsx)(m.n,{}),additional:"тестовые задания должны быть качественными, поскольку от них зависят важные решения. Обратите внимание на места, где исполнители много ошибаются: либо с заданием что-то не так, либо вы недостаточно хорошо объяснили, как его выполнять."}]}),(0,w.jsxs)("p",{children:["Набор для тестирования — пул, состоящий только из контрольных заданий. О добавлении контрольных задач и правилах расчета качества, читайте в"," ",(0,w.jsx)(u.r,{href:"/ru/docs/guide/concepts/goldenset.html",children:"руководстве."},3)]})]})][n]}}),(0,w.jsx)(c.w,{offset:40}),(0,w.jsx)(h.V.Line,{}),(0,w.jsx)(c.w,{offset:60}),(0,w.jsx)(v.D,{level:2,styleAs:4,id:"synchronous-quality-control",children:"Синхронный контроль качества"}),(0,w.jsx)("p",{children:"Методы контроля качества в основном применяются для того, чтобы как можно оперативнее отслеживать поведение и результативность исполнителей. Важно быстро выявлять тех, кто работает некачественно, чтобы они не наплодили бесполезных данных, а вы не потратили деньги зря. В следующих разделах описаны популярные механизмы контроля, доступные на краудсорсинговых платформах."}),(0,w.jsx)(p.M,{noSidePaddings:!0,shouldTabsChangeView:!1,items:[{title:"Проверка поведения"},{title:"Проверка качества ответов"},{title:"Ещё несколько советов о проверке качества"}],render:function(e){var n=e.activeTab;return[(0,w.jsxs)(w.Fragment,{children:[(0,w.jsx)("p",{children:"Цель таких проверок — выяснить, насколько регулярно исполнитель ведёт себя подозрительно (слишком быстро переключает задания, невнимательно их выполняет). Вот подходы, с помощью которых выявляют ботоподобное поведение:"}),(0,w.jsx)(g.A,{maxItemsInRow:1,inLine:!0,list:[{icon:(0,w.jsx)(m.n,{}),additional:(0,w.jsxs)(w.Fragment,{children:[(0,w.jsx)("b",{children:"КАПЧА."})," Хорошо известный инструмент, помогающий отсеять ботов. Изображение с текстом, который нужно распознать и ввести. Капча — отличный базовый механизм фильтрации, но не панацея: помогает отсеять только ботов и тех, кто в принципе не обращает внимания на капчу. Добросовестные исполнители тоже иногда ошибаются при вводе капчи, если она сложная или назойливая. Лучше блокировать пользователей не сразу, а только после нескольких неудачных попыток подряд."]})},{icon:(0,w.jsx)(m.n,{}),additional:(0,w.jsxs)(w.Fragment,{children:[(0,w.jsx)("b",{children:"Отслеживание скорости."})," Чтобы понять задание и справиться с ним, необходимо разумное количество времени. Если пользователь регулярно выполняет задания слишком быстро — вероятнее всего, он просто выбирает случайные ответы, не вникая в суть. Подозрительная скорость для каждого проекта своя, но в целом её можно определить так: выше нормальной на 10–20%. Если исполнитель несколько заданий подряд превышает лимит, обратите на это внимание и закройте ему доступ к проекту."]})},{icon:(0,w.jsx)(m.n,{}),additional:(0,w.jsxs)(w.Fragment,{children:[(0,w.jsx)("b",{children:"Проверка действий."})," Проверка действий. Интерфейс краудсорсингового задания позволяет реализовать элементы управления или проверки с помощью JavaScript. Если исполнитель должен посмотреть видео, перейти по ссылке, ввести текст — отслеживайте это. Можно заблокировать отправку задания, пока действие не выполнено, или показывать предупреждения. Ещё вариант: учитывать действия и выяснять, какие исполнители самые добросовестные (им можно присвоить высокий навык либо дать особое поощрение)."]})}]})]}),(0,w.jsxs)(w.Fragment,{children:[(0,w.jsx)("p",{children:"В большинстве случаев недостаточно выявить лишь тех, кто бездумно прокликивает задания. Важно убедиться, что добросовестные исполнители следуют всем правилам и выдают качественные данные. Чтобы проверить качество, потребуется сравнительный эталон. Один из способов получить эталон — это мнение большинства."}),(0,w.jsx)(g.A,{maxItemsInRow:1,inLine:!0,list:[{icon:(0,w.jsx)(m.n,{}),additional:(0,w.jsxs)(w.Fragment,{children:[(0,w.jsx)("b",{children:"Мнение большинства"})," устанавливается при помощи перекрытия, когда одно и то же задание выполняют несколько пользователей. Вы проверите, какой ответ выбрало большинство, и примете его за эталон. Сравнение ответов пользователя с эталонами позволит рассчитать долю случаев, когда мнение пользователя отличается от мнения большинства. Так можно найти исполнителей, в качестве ответов которых вы не уверены. Однако механизмы, основанные на мнении большинства: 1) могут отсеять внимательных пользователей, которые дают правильные, но неочевидные ответы; 2) не защищены от спама."]})},{icon:(0,w.jsx)(m.n,{}),additional:(0,w.jsxs)(w.Fragment,{children:[(0,w.jsx)("b",{children:"Контрольные задания"})," позволяют решить эти две проблемы. Контрольные задания — это задания с заранее известными ответами. Исполнители получают их в общем потоке, не зная об особой процедуре проверки. Добавьте контрольные задания в проект, и вы узнаете долю верных ответов во всём проекте и у конкретных исполнителей."]})}]}),(0,w.jsxs)("p",{children:["Толока позволяет настраивать"," ",(0,w.jsx)(u.r,{href:"/ru/docs/guide/concepts/control.html",children:"эти и другие методы контроля качества"},4)," ","отдельно или пресетами. Настройки можно применять к пулам и проектам."]})]}),(0,w.jsxs)(w.Fragment,{children:[(0,w.jsx)("br",{}),(0,w.jsx)(v.D,{level:5,children:" Какое перекрытие выбрать? "}),(0,w.jsxs)("p",{children:["Оптимально — от трёх до пяти. При более высоком перекрытии качество меняется несущественно, а цена возрастает значительно. Обязательно прочитайте о"," ",(0,w.jsx)(u.r,{href:"/ru/docs/guide/concepts/dynamic-overlap.html",children:"динамическом перекрытии"},5),": это очень удобный способ контролировать затраты."]}),(0,w.jsx)("br",{}),(0,w.jsxs)(v.D,{level:5,children:[" ","Сколько контрольных заданий добавить?"]}),(0,w.jsx)("p",{children:"Если в наборе несколько сотен заданий, сделайте контрольными 10% пула. Если несколько тысяч — достаточно будет 1%."}),(0,w.jsx)("br",{}),(0,w.jsx)(v.D,{level:5,children:" Как создавать контрольные задания?"}),(0,w.jsx)(g.A,{maxItemsInRow:1,inLine:!0,list:[{icon:(0,w.jsx)(m.n,{}),additional:"Отправьте задания доверенным исполнителям. Выберите тех, кто стабильно хорошо работает. Затем, чтобы получить правильные ответы, создайте для исполнителей отдельный проект и запустите его с высоким перекрытием. Для полной уверенности примените дополнительные методы контроля качества."},{icon:(0,w.jsx)(m.n,{}),additional:"Найдите в своей компании сотрудников, которые хорошо размечают данные. Пусть они подготовят контрольные задания. Иными словами, ваша команда выполнит 10% заданий, а вы используете эти результаты для контроля оставшихся 90% разметки."}]}),(0,w.jsx)("br",{}),(0,w.jsxs)(v.D,{level:5,children:[" ","Как поддерживать качество контрольных заданий?"]}),(0,w.jsxs)("p",{children:[" ","Важная подсказка: если исполнители работают медленно или некачественно — сразу проверьте контрольные задания. Возможно, туда попали неверные, устаревшие или непонятные примеры. Контрольным заданиям требуется особое внимание, ведь от них зависит качество проекта и работы исполнителей."]}),(0,w.jsx)(g.A,{maxItemsInRow:1,inLine:!0,list:[{icon:(0,w.jsx)(m.n,{}),additional:"Замените старые контрольные задания новыми."},{icon:(0,w.jsx)(m.n,{}),additional:"Проверьте, нет ли у вас подозрительных контрольных заданий, где исполнители постоянно ошибаются. Либо задание составлено неверно, либо инструкция к нему недостаточно ясная."}]}),(0,w.jsx)("p",{children:"Примеры в контрольных заданиях должны быть представлены в них в тех же пропорциях, что и в общем пуле. Предположим, вам нужно определить тип помещения на сайте гостиничного агрегатора. Какой это номер: семейный, деловой, обычный или люксовый? Люксовые номера — это всего 10% основного пула, но они попадаются в каждом втором контрольном задании. В итоге вы не проверите, как исполнители размечают другие типы номеров, и рискуете получить шумные данные с низким качеством."})," "]})][n]}}),(0,w.jsx)(c.w,{offset:40}),(0,w.jsx)(h.V.Line,{}),(0,w.jsx)(c.w,{offset:60}),(0,w.jsx)(v.D,{level:2,styleAs:4,id:"asynchronous-quality-control",children:"Асинхронный контроль качества"}),(0,w.jsx)(p.M,{noSidePaddings:!0,shouldTabsChangeView:!1,items:[{title:"Отложенная приёмка"},{title:"Методы агрегации"}],render:function(e){var n=e.activeTab;return[(0,w.jsxs)(w.Fragment,{children:[(0,w.jsx)("p",{children:"Синхронные методы контроля качества подходят только для заданий с единственным правильным ответом. Однако некоторые краудсорсинговые задания требуют творческого подхода и переработки контента. Ответы получатся совершенно разными, но при этом правильными. Тогда вам подойдёт отложенная приёмка. Выполненные задания могут проверять:"}),(0,w.jsx)(g.A,{maxItemsInRow:1,inLine:!0,list:[{icon:(0,w.jsx)(m.n,{}),additional:"Сотрудники заказчика. Некоторые краудсорсинговые платформы поддерживают такую опцию (Толока — нет). Но она подходит, только если данных немного или если у заказчика неограниченные ресурсы."},{icon:(0,w.jsx)(m.n,{}),additional:"Другие исполнители. Заведите новый проект, перенесите в него размеченные данные и задайте исполнителям вопрос, насколько правильно выполнено задание. После проверки а) задания с неверными ответами передаются обратно на разметку; б) исполнители получают оплату за правильно выполненные задания; в) рассчитывается уровень качества исполнителей."}]})]}),(0,w.jsx)(w.Fragment,{children:(0,w.jsxs)("p",{children:["Используя данные о качестве работы исполнителей и об их подходах к выполнению заданий, можно применять алгоритмы повышения качества (например, методы"," ",(0,w.jsx)(u.r,{href:"/ru/knowledgebase/aggregation",children:"агрегации"},6)," ",")."]})})][n]}}),(0,w.jsx)(h.V.Image,{imageId:"1654007624703476-6139286344964045846"}),(0,w.jsxs)("p",{children:["О правилах контроля качества и о том, как их настраивать, читайте в"," ",(0,w.jsx)(u.r,{href:"/ru/docs/guide/concepts/reviewing-assignments.html",children:"руководстве"},7)," ","."]})]})]}),(0,w.jsx)(c.w,{offset:40}),(0,w.jsx)(l.o,{}),(0,w.jsx)(j.f,{})]})]})}}}]);