Люди оценивают релевантность эталонных документов поисковым запросам, чтобы на них ориентировались формулы ранжирования в поиске; люди переписывают аудиозаписи в текст, чтобы на этих данных настроился алгоритм голосового распознавания; люди размечают изображения по категориям, чтобы, натренировавшись на этих примерах, нейронная сеть дальше делала это без людей и лучше людей.
Все это можно делать в Толоке, которая является краудсорсинговой платформой и помогает найти тех, кто решит вашу задачу. Сегодня она переходит в статус беты и отныне открыта для всех внешних заказчиков. Так что пришло время рассказать вам подробно о самой платформе и о том, с какими неожиданными сложностями мы сталкивались в процессе работы над ней, поделимся своими наблюдениями и объясним, как Толока может помочь именно вам.
Задачи, о которых мы говорили выше, в Яндексе традиционно решаются с помощью обученных специалистов — асессоров. Асессоры смотрят, насколько результаты поиска соответствуют запросу, находят среди найденных веб-страниц спам, классифицируют его, решают схожие задачи и в других сервисах.
Ирония заключается в том, что чем больше новых технологий мы запускаем, тем сильнее растет потребность в человеческих оценках. Недостаточно просто определить релевантность страницы поисковому запросу. Важно понимать, не замусорена ли страница вредоносной рекламой? Не содержит ли страница контент для взрослых? А если содержит, то подразумевает ли запрос пользователя, что он искал именно такой контент? Для того чтобы автоматически учитывать все эти факторы, нужно собрать достаточное количество примеров для обучения поисковой машины. А так как все в интернете постоянно меняется, то и обучающие наборы нужно постоянно обновлять и поддерживать в актуальном состоянии. В общем, только для задач поиска потребность в человеческих оценках измерялась миллионами в месяц, и с каждым годом это число только растет.
Привлекать все больше и больше асессоров в каждой из стран присутствия Яндекса организационно непросто. При этом далеко не все новые задачи требуют специального обучения. Со многими заданиями может справиться практически любой человек, а часто даже более полезно собрать мнения обычных пользователей, не натренированных профессионально оценивать ранжирование. Подобное разделение задач привело нас к выводу, что в дополнение к асессорам нам нужен еще один более гибкий и масштабируемый источник получения человеческих оценок.
Краудсорсинг
В дополнение к сложным задачам, выполняемым асессорами, нам нужно было научиться собирать миллионы простых оценок в любой интересующей нас стране. Большинство заданий, о которых мы говорим, довольно простые и мелкие: на их выполнение не требуется больше 30 секунд. Зато количество этих заданий очень большое. Обычные фриланс-биржи, на которых можно связаться напрямую с несколькими исполнителями и объяснить им суть задания лично, для нас не подходили. Для промышленных масштабов нам нужно было привлекать тысячи исполнителей, оплачивать их работу без бумажной волокиты и контролировать результат.
Ближайшим аналогом того, что нам на самом деле было нужно, были краудсорсинговые платформы Amazon Mechanical Turk, Clickworker и CrowdFlower. Именно с помощью них, как правило, собирают простые человеческие оценки академические исследователи в области Machine Learning и крупные поисковые компании, например, Bing.
Вот только все эти платформы не работали в интересующих нас странах. К тому же мы уже успели накопить определенный опыт для того, чтобы решить задачу собственными силами.
Толока
В принципиальной логике работы любой краудсорсинговой платформы и, в частности, Толоки нет ничего сложного. С одной стороны, мы работаем с исполнителями, распределяем задания, производим оплату, а с другой – помогаем заказчикам получить результат с минимальными трудозатратами.
Кстати, что это за слово такое «Толока»? Над названием думали довольно долго, искали международные варианты, но в итоге вышло совсем наоборот. Идея назвать сервис «Толокой» родилась в нашем минском офисе, в котором, кстати, и сосредоточено ядро разработки платформы. Это слово (по-белорусски «талака») распространено в Беларуси примерно в 30 раз сильнее, чем в России, и означает совместную полезную работу на общий результат, а это отлично сочетается с краудсорсингом. Хотя выбор названия – это далеко не самый сложный вопрос, с которым мы столкнулись при разработке сервиса.
Какими могут быть задания? Потенциально они могут быть любыми по исходным данным, интерфейсу, ожидаемым ответам. Одному нужно загрузить картинки и попросить их классифицировать, другому — отобразить аудио-плеер и попросить написать, что слышно на записи, третьему — показать карту с расположением пользователя.
Поэтому был выбран путь максимальной гибкости: используя json для входных и выходных параметров и html/css/js — для интерфейса, заказчик может создать практически любое задание. А для тех задач, которые требуют работу «в поле» (например, пойти по адресу и проверить актуальность информации об организации), мы подготовили мобильную версию Толоки для Android.
У гибкости в настройках есть и обратная сторона – высокий порог вхождения. Далеко не каждый человек умеет верстать интерфейс. Эту проблему мы решаем с помощью готовых шаблонов, общее количество которых планируем увеличить.
Как платить толокерам? Успешный вывод кровно заработанных — один из главных мотиваторов для человека возвращаться и продолжать выполнять задания. Сложная и долгая процедура вывода может похоронить платформу. Поэтому мы выстроили систему, в которой достаточно добавить свой кошелек в PayPal или Яндекс.Деньгах. На этапе отладки процессов со стороны Толоки вывод денег мог занимать до 30 дней, сейчас — пару дней, а то и минут. При этом и толокеры, и заказчики освобождаются от бумажной волокиты.
Как обеспечить качество выполнения? Этот вопрос — главная головная боль любой краудсорсинговой платформы. В Толоке, как и любом социуме, есть люди прилежные и внимательные, а есть — ленивые, недобросовестные и при этом умеющие писать скрипты. Основная задача: удержать в сервисе первых и как можно раньше найти и ограничить вторых. Для этого мы научили Толоку анализировать поведение исполнителей. У заказчиков появилась возможность автоматически выявлять и ограничивать тех толокеров, кто, например, отвечает слишком быстро, или чьи ответы не согласовываются с ответами других. Мы также добавили возможность использовать контрольные задания («ханипоты») и обязательную приемку перед оплатой. Причем приемку тоже можно упростить. Отдать задания одним пользователям, а оценку их результатов – другим.
Кстати, а что мы знаем о самих толокерах?
Толокеры
В Толоке регистрируются и выполняют задания самые разные люди. Больше всего исполнителей (как и заданий) у нас в России, Украине и Турции. Большинство толокеров — это молодые люди до 35 лет (как правило, студенты технических ВУЗов или мамы в декрете). В основном исполнители рассматривают Толоку в качестве дополнительного источника денег, хотя многие отмечают, что им нравится выполнять полезную работу, делать интернет чище. Вот, например, что они сами пишут о себе, обсуждая Толоку в интернете:
Мне на кошелек уже упало 790,41 рублей. Если что, то в регионе, где я живу, зарплата, к примеру, учителя-молодого специалиста, составляет 2800 рублей. Обратите внимание, что это все набито между делом, в свободное время, в перерывах между выполнением основной работы, когда хотелось отдохнуть и немного переключиться.
И вообще не чувствуешь себя тупым кликающим роботом. Есть какое-то ощущение полезности своей работы.
Толока в Яндексе
Толока сейчас — это почти 270 тысяч исполнителей из пяти стран мира, 80 тысяч выполняемых заданий в день, 400 уже опробованных разных типов заданий, 1 миллиард собранных оценок.
В момент открытия мы стартовали с тремя основными типами заданий, и интересно, что именно они по-прежнему остаются самыми любимыми заданиями для большинства толокеров: оценка качества поиска картинок, разметка контента для взрослых и попарное сравнение объектов (например, страниц в разном дизайне).
Использование краудсорсинга для сбора оценок в этих проектах позволило командам существенно сократить время ожидания оценок для построения метрик. Где асессорам требуется несколько дней на оценку набора объектов, толокеры справляются за пару часов. За счет снижения стоимости оценки удалось заметно увеличить размеры обучающих наборов и повысить качество алгоритмов классификации. К примеру, после перехода на Толоку качество определения контента для взрослых выросло на 30%.
Заказчиками оценок в Толоке выступают десятки разных команд Яндекса. С помощью этого сервиса собираются данные для технологий компьютерного зрения и распознавания речи, совершенствуются рекомендательные технологии, пополняется база справочника организаций, решаются многие другие внутренние задачи. Но их все равно недостаточно для того, чтобы обеспечить всех толокеров заданиями. Нужно двигаться дальше.
Первые внешние заказчики
Договорившись с несколькими внешними партнерами, мы организовали закрытое альфа-тестирование, чтобы проверить соответствие платформы потребностям извне. Внешние заказчики пришли как со знакомыми для нас типами задач, так и с новыми, специфичным для их бизнеса. За время тестирования были запущены задания по расшифровке ценников товаров с фото, аудиту торговых точек, категоризации товаров, поиску характеристик.
Сайт Рейтинг Букмекеров предложил толокерам задания по обновлению базы букмекерских отделений по всей стране (около 4000 объектов). Нужно было проверить, существует ли объект по указанному адресу, сделать фотографию и составить его описание. По данным заказчика, проверить актуальность базы объектов по России с помощью краудсорнинга оказалось выгоднее и оперативнее, чем командировать сотрудника или искать подрядчиков. Немного конкретики. Выполнение задачи по Санкт-Петербургу, где нашлось 157 адресов для проверки, с использованием Толоки обошлось заказчику чуть более чем в 4100 рублей. Это более чем в 10 раз дешевле, чем проектная семидневная командировка одного собственного сотрудника компании из Москвы в Санкт-Петербург, и в 3-6 раз дешевле, чем наем подрядчика на месте.
Толока оказалась полезна не только бизнесу, но и в научной работе. Дмитрий eveel Усталов из Института математики и механики им.Н.Н.Красовского (ИММ УрО РАН) использует сервис для сбора оценок о смысловых связях русских слов, чтобы повысить качество электронных словарей, используемых в рамках проекта NLPub. По словам Дмитрия, он может быстро и недорого проводить эксперименты, проверяя большое количество гипотез в сжатые сроки. Для одного из заданий, например, ему удалось собрать 13 тысяч оценок всего за час.
И еще один пример. Рамблер использует Толоку для уточнения асессорских оценок поисковой выдачи. Результаты толокеров чуть менее точны, поскольку они не имеют специальной подготовки, но зато они могут выполнить задания больших объемов в короткие сроки и со стабильным качеством. Так что этот канал получения оценок особенно полезен в периоды пиковых нагрузок.
Закрытое альфа-тестирование помогло нам определиться с дальнейшим вектором доработок и в целом подтвердило гипотезу, что Толока может быть полезна внешним заказчикам и должна быть открыта для всех. Ровно это мы и сделали. Начиная с этой недели, Толока переходит в статус беты, и ее краудсорсинговые возможности доступны для всех желающих.
Как добавить свое задание?
Процесс отправки задания по-прежнему предполагает определенные знания со стороны заказчика, но мы уже работаем над тем, чтобы упростить этот процесс в ближайшем будущем. А пока для заказчиков доступна документация по адресу yandex.ru/support/toloka-requester.
Мы рекомендуем начать с песочницы. Эта тестовая среда позволит вам не только разобраться в процессе создания задач, но и испытать их, не рискуя потратить деньги впустую. После регистрации можете сразу приступить к созданию своего проекта, причем сервис предложит вам уже готовые шаблоны на выбор.
При постановке задачи вы сможете ограничить исполнителей по определенным критериям (например, страна, язык или юзер-агент браузера), включить предварительную проверку результата и контроль качества, настроить спецификации входных и выходных данных.
После обучения на песочнице вы можете перейти к боевой системе, перенести туда свои проекты, пополнить баланс и запустить краудсорсинг. Кстати, все это не обязательно делать в интерфейсе. У Толоки есть свой API.
В заключение хотелось бы рассказать об основных рекомендациях, которые мы сформулировали на основе собственного опыта работы с толокерами.
Рекомендации по работе с краудом
Wisdom of crowd (мудрость толпы) — вовсе не философский, а вполне статистически проверяемый феномен. Даже если мнение одного человека недостаточно компетентно, а его оценка — недостаточно точна, объединение оценок от многих разных людей может давать более точные результаты, чем оценка одного профессионального эксперта. Главное здесь — правильно организовать процесс сбора и агрегирования отдельных оценок.
- Краудсорсинг — очень мощный инструмент, он отлично подходит, когда речь идет о больших объемах и необходимости масштабировать и стандартизировать процессы. Но если у вас разовая задача, которая решается одним человеком за пару часов, то именно так ее и проще решить.
- Многократно проверено, что любую сложную задачу можно и нужно декомпозировать на набор мелких независимых подзадач. Это позволит существенно повысить качество итоговых данных без увеличения стоимости общей разметки.
- Большинство заданий в краудсорсинге запускаются с перекрытием (когда несколько исполнителей делают одно и то же задание). Популярное заблуждение: чем больше перекрытие, тем выше качество результатов. Как правило, это не так. Точность достаточно быстро стабилизируется с увеличением перекрытия, и мало для каких заданий обоснованно перекрытие больше 5 человек на задание.
- Не совсем интуитивный факт: цена за задание в краудсорсинге практически не влияет на качество получаемых оценок. Зачастую завышение ставки может даже навредить качеству, так как толокеры в погоне за деньгами перестают уделять заданиям достаточное внимание.
- А вот главное, от чего реально зависит качество оценок – это от организации задания. Чем понятнее написана инструкция и спроектирован интерфейс, тем выше качество результата. И не забываем о проверочных заданиях («ханипоты»), которые помогут выявить недобросовестных толокеров.
- Большинства проектов в Толоке не требуют от исполнителя специальных знаний. Тем не менее иногда приходится «тренировать» толокеров выполнять задание именно так, как нужно заказчику. В этом случае следует создавать специальные обучающие пулы и использовать дополнительные настройки (например, допускать до задания только тех толокеров, которые успешно прошли тренировку).
- Правильное таргетирование заданий на определенных исполнителей часто помогает заметно улучшить результаты разметки. Например, если для разметки каталога обуви вам требуется оценить пантолеты, то это задание лучше сразу отдать толокерам-девушкам.
- Далеко не все задачи можно отдать на откуп мудрости толпы. Всегда найдется задание, которое требует профессиональной подготовки и предельной внимательности. Но практически всегда в этих случаях с помощью предварительной фильтрации краудом можно упростить жизнь профессиональным экспертам, заметно снизить стоимость получения оценок и увеличить пропускную способность вашего рабочего процесса.
Были бы благодарны сообществу Хабрахабра за отзывы о работе бета-версии Толоки. Мы продолжаем работать над тем, чтобы любой заказчик мог получить максимально качественный результат без необходимости писать код, а каждый ответственный исполнитель – поощрение и достаточное количество заданий. И ваши отзывы помогут нашей команде в этой работе. Спасибо!
Комментарии (62)
ZlodeiBaal
20.07.2016 18:26+4Интересно. А поясните. Вот сказано, что минимальная цена задания — 1 цент. Вот я хочу разметить базу изображений тысяч на 50. По каждой картинке выбрать класс и всё. Это получается 30к, что явно является неадекватной ценой (такую базу разметить это дня два посидеть, выходит где-то 5 тысяч обычно если договариваться с каким-нибудь фрилансером).
Можно делать батчи по 10 картинок в задании? Как это тогда реализовано?
А в целом да, очень интересно. Часто старадаю от того, что сложно найти человека, который быстро базу может прочесать/собрать. Часто самому приходиться делать.
TolokaTeam
20.07.2016 18:47+4Минимальная цена задания — 1 цент, в одном задании можно разместить 20-30… изображений, на Ваше усмотрение как заказчика.
Когда грузите задания — там и решаете, по сколько изображений разместить на одной странице.
Задания раздаются сразу многим, поэтому скорость разметки Вас тоже может порадовать.
Спасибо за комментарий!
Liksna
20.07.2016 21:0250к картинок за 2 дня, серьезно? Я бы посмотрел на такого человека-макаку, способного бездумно сидеть 2 суток к ряду, чтобы разметить 50к картинок.
Ocenshchik
20.07.2016 21:51+2Домохозяйки, например.
А так же люди с ветки, посвящённой Толоке, с одного авторитетного форума.crw614
20.07.2016 23:10Как я понимаю, человек писал про это:
>такую базу разметить это дня два посидеть
Намекая на то, что в одиночку разметить 50к заданий — сложно.
Slepetc
20.07.2016 23:10На самом деле недавно размечал 11к фоток для тестирования Gooogle Vision Api.
50к можно обработать часов за 8 с учетом перекуров и отдыха глазам, особенно если ничего шокирующего в базе нет и помечать удобно.
imageman
22.07.2016 13:181 час = 3600 секунд. Если на 1 фото тратится 1 секунда, но за 8 часов марафона (без перерывов!) получится 28800 фотографий. Реально даже 10к за 8 часов это уже много.
Slepetc
22.07.2016 13:40Зависит от задачи. Если типов фотографий много, или нужно выполнять сложный анализ изображения- несомненно 8 часов не хватит. А вот если, как в моем случае, нужно только маркировать фотографии эротического содержания, при этом идет по несколько фотографий в ряду- 8 часов вполне хватит.
lostpassword
20.07.2016 18:39+1Прикольно бывает повыполнять иногда полевые задания. И самому размяться, и копеечка капает.)
lostpassword
20.07.2016 18:44Во, кстати — давно интересно было. Кто такой Иван Драгомилов с картинки в заголовке поста? Насколько я понимаю, это тестовый пользователь. Сохранились ли предания, почему именно Иван Драгомилов и почему именно Турция?)
TolokaTeam
21.07.2016 10:08Это придумал наш дизайнер, только предания, почему именно так, не сохранились) На аве, кстати, тоже он.
RenatSh
20.07.2016 19:54можно ли заказать распознавание капчи?
TolokaTeam
21.07.2016 10:15Такой тип заданий — не наш фокус. Про то, какие задания не подходят Толоке, можно еще почитать здесь
alexey-m-ukolov
20.07.2016 20:33+1А что такого особенного в Швейцарии, что её отдельно выделили в пользовательском соглашении?
TolokaTeam
21.07.2016 16:14Сервис предоставляется швейцарской компанией группы Яндекс, что объясняет частое упоминание этой страны в ПС
eveel
20.07.2016 21:18+4Сейчас «Толока» предоставляет только список полученных ответов на каждое задание, при этом вопрос их агрегации остаётся на усмотрение заказчика. Для обработки данных мы с коллегами используем Mechanical Tsar, в котором реализованы вероятностные методы оценки доверия к участникам: ZenCrowd, Dawid-Skene, и др. Применение таких методов обеспечивает более надёжный результат на тех же самых данных по сравнению с простыми эвристиками вроде «голос большинства» или «половина голосов».
На мой взгляд, при использовании «Толоки» очень важно создавать тестовые («золотые») задания. Это неприятно и скучно, но позволяет обучить участников и за счёт этого существенно повысить качество разметки.
zhigalin
20.07.2016 21:51Глючит страшно.
взять хотябы picpaste.com/stupidtoloka.png
причём значение переключателя ничего не меняет.
Или на задании с визитками оно меня уговаривало что на фото есть телефон хотя его там нет.
И это далеко не всё.
А я только 3 задания выполнил…
Ocenshchik
20.07.2016 22:59Не смотрите, что задания начинаются от цента, их много разных и с разной оплатой. С приходом опыта приходит скорость, которая не в ущерб качеству. Навык стабильно держится на высоте.
Мои любимые задания это «Фактчекинг» от заказчика Я.Кассиопея и «Обновление данных об организациях» от заказчика «Я.Единорог», достойная оплата за разумный объём работы, рекомендую к выполнению. Заказчики адекватные, работу не отклоняют без веской причины, инструкции к заданиям логичные и понятные.
Когда только начинал выходило немного, от неопытности и траты времени на инструкции. Сейчас получается делать $8/час, при должном старании.
jetixon
20.07.2016 23:10-5800 центов / 0,02 = 40 000 заданий за час!!!
Ocenshchik
20.07.2016 23:16Там есть и по 30 центов, делается легко и просто.
jetixon
20.07.2016 23:24Да, ну. Простая трата времени. Лутше тратить время на изучение чего-то полезного. А такую работу нужно делегировать китайцам :)
Ocenshchik
20.07.2016 23:33+1Китайцы сейчас побольше наших получают :(
А как же домохозяйки двух популярных и легендарных республик?
Так же есть те, у кого с изучением чего-то полезного проблемы.jetixon
20.07.2016 23:48Только что выполнил задание на 0,06$ «Соответствие товарной категории запросу». И когда появяться задания с полие высокой оплатой? (заработал 50 опыта).
Ocenshchik
20.07.2016 23:59Работа всё-таки больше дневная и задания с более высокой оплатой висят днём.
А как вам это задание?jetixon
21.07.2016 00:04Да все задания для людей не особо стремящихся к каким-то великим достижениям в жизни (: Не думаю что люди читающие хабр побегут выполнять эти задания…
Ocenshchik
21.07.2016 00:08Это непростое задание, и баллы навыка (опыта) у вас далеко не самые низкие. Неудачно просто выбрали.
А вообще, попробуйте другие задания, от других заказчиков. Толока, как и всякий краудсорсинговый проект, требует времени и терпения, чтобы втянуться, и получать стабильную оплату за, казалось бы, очень дешевые задания.
Поставьте себя на место исполнителя, прикиньте в уме, какое задание наиболее выгодное (сколько на него тратит заказчик, и сколько получаете вы), выбирайте его и приступайте. Через некоторое время вы поймете, как это просто — срубить бакс-другой за десять минут. И все в выигрыше.
jetixon
21.07.2016 00:07То-есть поэтапного увеличения оплаты труда не предусмотрено
Ocenshchik
21.07.2016 00:10При высоком навыке появляются те же задания с большей оплатой, при падении навыка снова даются с более низкой.
Делайте качественно и никто у вас навык не отберёт.
alexey-m-ukolov
21.07.2016 12:19+1Довольно сложные задания, в плане формулировок. Попробовал из интереса несколько типов учебных заданий, выполнял всё максимально внимательно и прилежно, но в соответствии категорий товарам в Маркете, например, набрал около 50%. Как-то мы расходимся с составителем теста в понимании того, что к какой категории относится, при том, что я практически каждый вопрос сверял с инструкцией.
P.S. Блин, когда уже на всех сервисах Яндекса появится переключатель между аккаунтами? Я готов терпеть старый переключатель, где он ещё остался, но совсем без него тяжело: у меня рабочий аккаунт и личный и постоянно приходится переключаться. А вообще идеально было бы, если бы каждый сервис помнил аккаунт и подтягивал нужный, но это, понятно, практически нереально.
blackarrow
21.07.2016 17:42+1Для удобства переключения между аккаунтами может вот такая штука будет вам полезной http://itc.ua/blogs/v-firefox-poyavilis-konteyneryi/
m0sk1t
21.07.2016 15:04Прикольно! Недели две назад зарегистрировался, во время поездок на велосипеде с работы на работу и по городу получается выполнять 5-10 заданий, даже премию недельную в 4$ выдали! Только вывод на ЯД почему-то не работает… 2 раза пробовал оба раза reject…
P.S. Думал Толока это от фразы to lookup =)
SkyHunter
21.07.2016 18:07Зашёл на https://toloka.yandex.ru. Я залогинен под Яндекс-аккаунтом. Нажал «Присоединиться». Мне на следующей странице сразу пишут:
«Ваш телефонный номер используется другим пользователем. » — хотя я никакого номера ещё не вводил. Ссылка «обратитесь за помощью в службу техподдержки» выглядит так: «https://toloka.yandex.ru/toloka@support.yandex.com», и, соответственно, снова выбрасывает на главную страницу.TolokaTeam
21.07.2016 22:15Обратитесь, пожалуйста, в поддержку. Вам обязательно помогут!
SkyHunter
22.07.2016 10:46Хм. Эта форма в качестве обязательных полей просит мои логин и имя в Толоке, которых ещё нет.
(На самом деле, я когда-то давно регистрировался в Толоке с этого аккаунта, но в упор не помню ни логин, ни имя.)
M_AJ
21.07.2016 20:53Из любопытства попробовал выполнить тестовое задание по оценке релятивности выдачи карточек организаций, оказалось, что для этого нужно знать районы Москвы, хотя город указан в профиле. Логика составителей тестовых заданий для меня оказалась местами непонятна, например на запрос «аптека 24» представлена карточка круглосуточной аптеки №4, а от меня почему-то ожидается ответ «Полностью подходит», так как, цитата: «Аптека работает 24 (часа)». По-моему, ваши сотрудники со временем сами начинают мыслить как поисковые машины, и кажется теперь я наконец-то понял, почему при поиске организаций Яндекс временами выдает что-то не в тему.
crw614
21.07.2016 22:03т.е. вы реально считаете что когда человек пишет в поисковике аптека 24, ему надо аптека номер 24, а не аптека работающая 24 часа?
хех мда)M_AJ
21.07.2016 22:27+1Я считаю, что в данном случае вероятен как тот, так и другой вариант, и для таких неоднозначных запросов там есть вариант «Не знаю».
SkyHunter
22.07.2016 10:41+1Вот честно — я бы тоже подумал, что имеется в виду аптека №24.
Если мне нужна аптека, которая работает 24 часа в сутки, я так и напишу — «аптека круглосуточная» ;) «дежурная», в конце концов…
RomanPyr
22.07.2016 02:37+3Объясните, пожалуйста, подробнее юридическое основание выплат.
Из пользовательского соглашения получается, что все люди являются подрядчиками и оказывают услугу компании-резиденту Швейцарии.
Более того, оплата услуг производится в валюте.
Если человек оказывает услугу регулярно и за деньги у него получается систематический доход и необходимость регистрации в качестве ИП. О чём в соглашении лишний раз упомянуто. Также там упомянуто, что пользователь обязан зарегистрироваться в качестве ИП, если законодательство страны это подразумевает, с уплатой соответствующего НДФЛ и страховый взносов.
Правильно я понимаю, что ставка компании делается на то, что ФНС будут не интересны люди, регулярно получающие 1-2-5к руб. в месяц? Даже если по итогам года они не сдадут декларацию. Как относится к подобным выплатам валютный контроль? И контроль в соответствии с 115-ФЗ и др.?
Или есть какое-то другое юридическое объяснение?
m0sk1t
22.07.2016 12:26Небольшое пожелание по интерфейсу мобильного приложения, в частности задача разметки проигрываемого\непроигрываемого видео:
Сценарий со стороны пользователя (aka исполнителя) такой — поскольку цена за оценку 15 видео всего 1 цент, пользователь, ценя своё время, работает почти на автомате, понимая буквально с первых секунд проигрывается ли видео, поэтому старается сделать клик по радиобатону и кнопке «Далее» максимально быстро. Из-за этого случаются мисклики, я так неправильно оценил видео с котиками, например… каюсь каюсь =(. Предлагаю переделать радиобатоны в надпись «Проигрывается?» и кнопки «Да»\«Нет», желательно большие и желательно друг рядом с другом (по аналогии с тем как мы привыкли на десктопном приложении подтверждать действия в модальных окнах). Считаю что изменение интерфейса позволит минимизировать количество ошибочных оценок. Ну или повысить сумму вознаграждения =) но для бизнеса это плохой вариант.
Fetur
22.07.2016 13:18Сервис явно для домохозяек и людей не хватающих с неба звезд. Проще и безопасней получать деньги на обычной работе, а здесь себя чувствуешь жителем поднебесной.
roller
22.07.2016 17:50А вот кстати, можно ли закидывать задания в сервис в риалтайме? Какой минимальный лаг между забросом и получением решения достижим (если пользователей много)?
TolokaTeam
25.07.2016 15:21Риалтайм сделать можно. Лаг зависит от типа задания, количества элементов на странице, сложности инструкции.
Например, мы получали время отклика в 3-4 минуты для модерации текстов по простым правилам.
Обратитесь, пожалуйста, в службу поддержки с описанием задачи, и мы подскажем, как это можно реализовать.
Psychosynthesis
26.07.2016 18:18+1Оценка релевантности запросу крайне спорные задания. Выполнил тренировочное ради интереса.
Пара примеров:
Запрос «планета фитнес жулебино». В выдаче фитнес клуб этой организации в люблино. Выбираю что выдача «полностью подходит», поскольку у них нет клуба рядом с метро жулебино, а ближайший как раз в люблино. Система пишет, что запрос не подходит вообще, хотя он как минимум походит частично.
Потом запрос «агрокомбинат московский». В выдаче сайт под заголовком «агрохолдинг московский». Захожу на их сайт, вижу большими буквами «Агрокомбинат Московский». А система почему-то считает что запрос «частично подходит», поскольку «в запросе имелась ввиду промышленная область под этим названием». Чушь же.crw614
30.07.2016 11:56Вы суть поста поняли? Толока — площадка. Задания делают заказчики. Вы можете теперь стать заказчиком. Ваши задания тоже могут быть спорными.
Doctorrr
Шикарно, обязательно попробую