Недавно, на хакатоне от Petamelon нам в руки попал датасет с ~6 000 000 резюме с НН. Там, естественно, не было никаких персональных данных и контактов, но было много других интересных вещей: ожидаемая зарплата, возраст, пол, примерный адрес, образование и индустрии, в которых человек ищет работу. Было решено попробовать использовать эти данные в нашем проекте про выбор школ. Идея заключалась в том, чтобы определить в каких индустриях работают выпускники школ и сколько примерно зарабатывают. Но я, конечно, не удержался и построил кучу других бесполезных, но прикольных таблиц и графиков.

Распределение резюме по возрасту имеет интересную форму и как будто разделено на две части: до окончания института и после:


В Москве с возрастом ожидаемая зарплата выходит на плато в ~50 000 рублей:


В данных вместо пола были указаны нолики и единички. Единичек было чуть больше. Наверное это девочки, подумал я:


А когда посмотрел распределение полов по индустриям сомнений не осталось: 1 — точно девочки.


Не удержался и проверил, у кого больше ожидания по зарплате в Москве. У женщин ниже, это, естественно, объясняется тем, что распределение по отраслям отличается: в больницах и школах зарплаты ниже.


Кроме резюме у нас были и вакансии, поэтому интересно было сравнить спрос и предложение. В целом всё логично: стажёров больше, чем надо; специалистов в IT, маркетинге и банковской сфере недостаточно:


Чтобы было понятнее, кто входит в какие категории, вот справочник:
  • Продажи — менеджер по продажам, продавец-консультант, торговый представитель, менеджер по работе с клиентами, продавец-консультант в салон связи «евросеть», мерчендайзер, продавец, кассир, продавец-кассир, агент нпф, директор магазина, руководитель отдела продаж, специалист по продажам, работник торгового зала, специалист по работе с клиентами, продавец-консультант в салон связи евросеть, менеджер по оптовым продажам, супервайзер, региональный менеджер, менеджер по продажам услуг;
  • Информационные технологии, интернет, телеком — системный администратор, программист 1с, менеджер по продажам, программист, аналитик, web-программист, программист 1c, php-программист, инженер-программист, специалист технической поддержки, региональный менеджер по продажам, web-разработчик, java-разработчик, web-дизайнер, системный аналитик, сервисный инженер, программист php, инженер технической поддержки, php-разработчик, frontend-разработчик;
  • Банки, инвестиции, лизинг — оператор по продажам продуктов банка, специалист в банк, специалист по взысканию просроченной задолженности, оператор по продажам банковских продуктов, менеджер по взысканию просроченной задолженности, кредитный специалист, оператор, менеджер по кредитованию, кредитный менеджер, специалист по кредитованию, менеджер по продажам финансовых продуктов, эксперт по кредитованию, консультант по банковским продуктам, специалист по продажам банковских продуктов, менеджер по работе с клиентами, кредитный эксперт, консультант, бухгалтер-кассир, менеджер по продажам, банковский специалист;
  • И ещё ~30 категорий
    Строительство, недвижимость — инженер пто, риелтор, агент по недвижимости, инженер-сметчик, главный инженер, специалист по недвижимости, риэлтор, сварщик, менеджер по продажам, менеджер по работе с клиентами (в г. сочи), специалист по продаже недвижимости, руководитель проекта, прораб, инженер-проектировщик, менеджер по продажам недвижимости, менеджер по продаже недвижимости, главный энергетик, геодезист, специалист по работе с элитными клиентами (в г. сочи), ведущий менеджер по работе с vip клиентами (в г. сочи)
    Транспорт, логистика — кладовщик, водитель-экспедитор, специалист склада, комплектовщик, водитель погрузчика, менеджер по логистике, водитель, водитель категории е, заведующий складом, кладовщик-комплектовщик, товаровед, водитель такси, грузчик-комплектовщик, специалист по логистике, водитель автобуса, водитель автобуса (категория d), диспетчер, комплектовщик-стикеровщик, начальник склада, логист
    Производство — инженер-конструктор, инженер-технолог, менеджер по закупкам, технолог, инженер по охране труда, инженер-электроник, начальник производства, фрезеровщик, главный инженер, главный технолог, агроном, инженер-электрик, главный механик, главный энергетик, мастер участка, технический директор, инженер-эколог, инженер, контролер отк, инженер кипиа
    Административный персонал — офис-менеджер, оператор call-центра, секретарь, оператор пк, помощник руководителя, курьер, оператор, оператор на телефоне, администратор, администратор офиса, ресепшионист со знанием английского языка в отель 5* оаэ, катара, бахрейна, омана, секретарь-референт, ассистент руководителя, уборщик со знанием английского языка на круизный лайнер, водитель-курьер, делопроизводитель, секретарь-делопроизводитель, секретарь на ресепшен, личный помощник руководителя, персональный ассистент руководителя
    Медицина, фармацевтика — медицинский представитель, медицинская сестра, врач-терапевт, фармацевт-провизор, врач-педиатр, врач акушер-гинеколог, врач-оториноларинголог, врач-невролог, врач-терапевт участковый, врач-педиатр участковый, фармацевт, врач-офтальмолог, врач ультразвуковой диагностики, региональный представитель, менеджер по продажам, врач анестезиолог-реаниматолог, врач общей практики, ветеринарный врач, врач функциональной диагностики, врач-кардиолог
    Рабочий персонал — грузчик, токарь, разнорабочий, упаковщик, электромонтажник, швея, электрик, рабочий в агрокомплекс, дворник, рабочий погрузочно-разгрузочных работ, электромонтер, токарь-расточник, электрогазосварщик, автослесарь, сборщик ягод (краснодарский край), швея-портной, монтажник, подсобный рабочий, шлифовщик, грузчик-комплектовщик
    Бухгалтерия, управленческий учет, финансы предприятия — бухгалтер, главный бухгалтер, экономист, заместитель главного бухгалтера, бухгалтер по расчету заработной платы, финансовый менеджер, кассир, специалист по защите прибыли, помощник бухгалтера, кассир-контролер, бухгалтер на первичную документацию, бухгалтер-кассир, финансовый аналитик, бухгалтер-калькулятор, старший бухгалтер, ведущий бухгалтер, аудитор, финансовый контролер, финансовый менеджер (г. подольск, московской области), ведущий экономист
    Туризм, гостиницы, рестораны — официант, повар, менеджер по туризму, шеф-повар, официант со знанием английского языка на американский круизный лайнер, кондитер, бармен, пекарь, менеджер ресторана, повар горячего цеха, повар-универсал, повар (стажёр) в ресторан франции, официант со знанием английского языка в ресторан оаэ, катар, оман, бахрейн, официант (стажер) со знанием английского языка в ресторан таиланда, ресепшионист (стажёр) в отель франции, повар холодного цеха, су-шеф, кухар, хостес, повар-сушист
    Маркетинг, реклама, PR — маркетолог, интернет-маркетолог, менеджер по работе с клиентами, менеджер по рекламе, тайный покупатель, менеджер по продажам, дизайнер, контент-менеджер, маркетолог-аналитик, мерчендайзер, копирайтер, pr-менеджер, smm-менеджер, менеджер по маркетингу, бренд — менеджер, менеджер по маркетингу и рекламе, директор по маркетингу, руководитель отдела маркетинга, специалист по рекламе, специалист по маркетингу
    Управление персоналом, тренинги — руководитель агентства нпф, менеджер по персоналу, руководитель по развитию агентской сети, менеджер по подбору персонала, помощник руководителя, специалист по подбору персонала, специалист по кадрам, рекрутер, директор по персоналу, тренинг-менеджер, специалист по кадровому делопроизводству, hr менеджер, бизнес-тренер, специалист отдела кадров, hr-generalist / начальник отдела по работе с персоналом, специалист по персоналу, региональный специалист по кадровому делопроизводству, директор по продажам, инспектор отдела кадров, инспектор по кадрам
    Начало карьеры, студенты — промоутер, тайный покупатель, ресепшионист (стажер) со знанием английского языка в отель сша, мерчендайзер, стажёр в отель, г. ванкувер, канада, кредитный специалист, менеджер по продажам, бармен, начинающий специалист, агент нпф, повар (стажёр) в ресторан франции, официант — стажер (со знанием английского языка) в тайланд, официант (стажер) со знанием английского языка в ресторан таиланда, оператор колл-центра, оператор интернет-магазина, стажёр в отель, г. ванкувер, канада, оператор call-центра, менеджер по работе с клиентами, визитный мерчендайзер, специалист по работе с клиентами
    Наука, образование — преподаватель английского языка как иностранного за рубежом, преподаватель английского языка, учитель английского языка для ребенка в китай, автор научных работ (теоретическая механика), автор научных работ (приборостроение и оптотехника), автор научных работ по логистике, автор научных работ (гостиничное дело), автор научных работ (детали машин), автор научных работ по специальности «анализ хозяйственной деятельности», автор научных работ (менеджмент организации), автор научных работ (медицина), автор научных работ (автоматизация технологических процессов), автор научных работ (электроника, электротехника, радиотехника), автор научных работ (авиационная и ракетно-космическая техника), автор научных работ (транспортные средства), автор научных работ (технологические машины и оборудование), автор научных работ (метрология), автор научных работ (банковское дело), автор научных работ (автоматика и управление), автор научных работ (геодезия)
    Юристы — юрист, юрисконсульт, помощник юриста, ведущий юрисконсульт, начальник юридического отдела, ведущий юрист, автор правовых дисциплин, главный юрисконсульт, старший юрист, руководитель юридического отдела, региональный юрист, региональный юрист (по ростовской области), старший юрисконсульт, помощник юрисконсульта, агент департамента взыскания, главный юрисконсульт по судебно-претензионной работе, адвокат, региональный юрист ( г. подольск, московская область), корпоративный юрист, младший юрист
    Автомобильный бизнес — автослесарь, менеджер по продажам, менеджер по продажам автомобилей, автомеханик, автомойщик, мастер-приемщик, автоэлектрик, мойщик автомобилей, автоэлектрик-диагност, шиномонтажник, механик, менеджер по продажам автозапчастей, менеджер по продажам запасных частей, автомаляр, слесарь по ремонту автомобилей, специалист по транспорту, продавец-консультант автомобилей, мастер-приемщик слесарного цеха, установщик дополнительного оборудования, арматурщик
    Безопасность — охранник, агент по выездному взысканию задолженности на досудебной стадии в управление выездного взыскания, инженер по охране труда и технике безопасности, ревизор, специалист по взысканию задолженности, контролер торгового зала, специалист службы безопасности, сотрудник охраны, охранник в автосалон, контролер-охранник, сотрудник внутреннего распорядка, специалист отдела взыскания, начальник службы безопасности, специалист службы экономической безопасности, контролер, инспектор службы безопасности, специалист по взысканию задолженности/коллектор, оператор видеонаблюдения, ведущий специалист отдела экономической безопасности, специалист по информационной безопасности
    Искусство, развлечения, масс-медиа — дизайнер, фотограф со знанием английского языка на круизный лайнер, графический дизайнер, фотограф на круизный лайнер, фотограф, фотограф со знанием английского языка на американский круизный лайнер, оператор звука/света на круизный лайнер, журналист, корректор, редактор, корреспондент, дизайнер интерьеров, дизайнер корпусной мебели, копирайтер, крупье, дизайнер одежды, визуальный мерчандайзер, танцовщица/танцор, видеооператор, web-дизайнер
    Высший менеджмент — коммерческий директор, руководитель по развитию агентской сети, директор филиала, финансовый директор, исполнительный директор, генеральный директор, руководитель подразделения (франчайзи), руководитель филиала (поселок еруда), директор кластера, региональный представитель/директор региона, директор по развитию, директор агентства, директор представительства, управляющий группой кухонных студий, главный бухгалтер, директор по маркетингу, технический директор, директор по продажам и маркетингу, директор, управляющий сетью аптек
    Спортивные клубы, фитнес, салоны красоты — парикмахер-универсал, мастер ногтевого сервиса, парикмахер, массажист, парикмахер-стилист, администратор салона красоты, косметолог, мастер маникюра и педикюра, администратор, менеджер по продажам, косметолог-эстетист, консультант/администратор по работе с клиентами (индустрия красоты), мастер маникюра, инструктор тренажёрного зала, перукар, инструктор групповых программ, врач-косметолог, мастер по маникюру и педикюру, менеджер по работе с клиентами, администратор по обработке заявок (направление-услуги салонов красоты)
    Страхование — агент нпф, страховой агент, руководитель по развитию агентской сети, менеджер активных продаж, специалист по корпоративным продажам, менеджер (руководитель отдела продаж), специалист по страхованию, финансовый консультант, директор по продажам, менеджер агентской группы, менеджер по работе с клиентами, начальник отдела продаж, врач-эксперт, руководитель агентства нпф, менеджер по страхованию, менеджер по продажам, аварийный комиссар, специалист по работе с клиентами, руководитель агентской группы, эксперт-оценщик
    Добыча сырья — инженер-геодезист, машинист псм, инженер пто (технология), инженер пто (электрика), машинист пдм, начальник цеха текущего и капитального ремонта скважин, мастер монтажно-наладочного участка (прогрев бетона), инженер по буровым растворам, инженер по бурению, проходчик, инженер — телеметрист, монтажник технологического оборудования и связанных с ним конструкций, инженер технического надзора по общестроительным работам и сварке, участковый подземный геолог, участковый подземный маркшейдер, начальник участка крс/збс, начальник управления — главный маркшейдер (в янао), инженер — технолог по буровым растворам, машинист апс, главный геолог
    Закупки — менеджер по закупкам, специалист по закупкам, категорийный менеджер, менеджер по снабжению, руководитель отдела закупок, специалист по снабжению, менеджер отдела закупок, специалист по государственным закупкам, начальник отдела закупок, менеджер сервисного центра, senior buyer (indirect), специалист отдела закупок, специалист отдела материально-технического обеспечения, специалист по техническим закупкам, руководитель отдела снабжения, менеджер по закупу, ведущий специалист по закупкам, менеджер по управлению ассортиментом, специалист по тендерам, помощник менеджера по закупкам
    Консультирование — руководитель по развитию агентской сети, бизнес-аналитик, руководитель проекта, бизнес-тренер, менеджер проектов, менеджер проекта, руководитель проектов, руководитель группы, руководитель группы открытия офисов, руководитель проекта по развитию продаж, менеджер по работе с клиентами, промоутер, аналитик, менеджер ит проектов, эксперт по недвижимости, руководитель it проектов, координатор по бережливому производству в московской области (lean manufacturing coordinator), ведущий бизнес-аналитик, руководитель проекта (сахалин), аналитик бизнес-процессов
    Инсталляция и сервис — сервисный инженер, руководитель отдела эксплуатации и ремонта сельскохозяйственной техники, сервисный инженер по ремонту банкоматов, слесарь кипиа (электроник), монтажник оборудования связи, инженер по ремонту компьютеров, инженер, инженер технической поддержки, инженер по ремонту оргтехники, мастер сервисного центра, мастер по ремонту компьютеров, инженер сервисного центра, механик (металлорежущее оборудование), мастер по ремонту мобильных телефонов, специалист по монтажу и обслуживанию тахографов, сервисный специалист, мастер по ремонту оборудования, сервис-инженер, техник по обслуживанию банкоматов/сервисный инженер, менеджер по сервису
    Домашний персонал — горничная, горничная на круизный лайнер, няня, домработница/домработник, помощник по хозяйству, персональный водитель, домработница/домработник, помічник вихователя, воспитатель, повар, сиделка, помощник воспитателя, семейная пара, няня-воспитатель, домработница / домработник, повар в семью, семейный водитель, садовник, воспитатель детей дошкольного возраста, семейная пара в загородный дом


Затем была сделана попытка сравнить регионы России по ожидаемым зарплатам и популярности индустрий. Удивительно, но самые высокие ожидания не в Москве, а на Дальнем Востоке. Почему так, кто знает?


Перекосы по индустриям иногда ожидаемые, а иногда странные:
  • В Московской области откуда-то перекос в транспорт;
  • В Воронежской — в страхование;
  • В Краснодарском крае есть перекос в туризм, а в Крыму нет;
  • В Москве и Питере меньше «добычи сырья» за счёт других областей.



Затем то же самое было сделано для московских ВУЗов. Почему-то по ожидаемой зарплате почти никакого сигнала я не увидел, для всех ВУЗов получается примерно одинаковый результат:


А по специальностям получились вроде бы ожидаемые результаты. Выпускники технических ВУЗов хотят работать программистами и инженерами, про остальные ВУЗы ничего сказать не могу. Если ваш ВУЗ есть на картинке, посмотрите, нормальный для него результат или нет.


Для почти всех московских школ мы намайнили из ВК в какие ВУЗы поступают их выпускники. Поэтому, зная распределения индустрий для ВУЗов, мы можем прикинуть распределение индустрий для школ. Если ваша школа есть на картинке, просьба провалидировать результат:

Комментарии (65)


  1. Jakson
    22.11.2015 17:53
    +23

    На счет Дальнего востока — т.к. там меньше деревень и поселков, в основном это большие города или города вокруг сырьевого предприятия где зарплата не маленькая. Плюс на ДВ цены на все выше чем на западе России.
    Например в Охотске 1кг гнилых яблок — 500 рублей. Естественно что на зп 20 тыс там делать нечего.


  1. Valeratal
    22.11.2015 18:59
    +8

    Я тоже хочу такой датасет :)


  1. Acuna
    22.11.2015 19:06
    +1

    С ДВ все довольно просто: выше зарплаты в среднем по больничке в сырьевом секторе, соответствущие и цены, и как следствие — выше ожидания по ЗП и в остальных отраслях.


  1. A1ien
    22.11.2015 19:10

    Подскажите пожалуйста, каким инструментом пользовались для визуализации?


    1. Bkmz
      22.11.2015 19:27
      +2

      Я не автор, но есть подозрения что это Pandas для выборок и matplotlib+seaborn для картинок.


    1. alexkuku
      22.11.2015 20:51
      +9

      Да, pandas, matplotlib и seaborn. Если очень интересно, вот сорцы github.com/alexanderkuk/analyze-hh-resume


      1. volokhonsky
        22.11.2015 22:49

        Тоже заглянул в комменты за инструментом визуализации. Боксплоты очень симпатичные.


  1. atikhonov
    22.11.2015 19:34

    О, почти как и у меня результаты,
    только у меня на он-лайн данных
    habrahabr.ru/post/266319


  1. UrbanRider
    22.11.2015 19:41

    НЛО было здесь, да.


  1. lexore
    22.11.2015 21:02
    +1

    Удивительно, но самые высокие ожидания не в Москве, а на Дальнем Востоке.
    Чтобы уговорить специалиста из Москвы переехать на дальний восток, нужно предложить хорошую зарплату.
    Ещё вроде бы на буровых станциях специалисты по 200 т.р. получают.
    Нужен высокий скилл, опасные условия жизни и т.п.

    Ещё вот тут не понял:
    Информационные технологии, интернет, телеком —… региональный менеджер по продажам ...


    1. blind_oracle
      22.11.2015 22:57
      +1

      Что тут непонятного — ИТ продукты и услуги тоже нужно продавать…


      1. lexore
        22.11.2015 23:14
        +1

        Насколько я понял, категории созданы по названию профессий, а не деятельности фирм.
        Например, должность «системный администратор» тоже есть и в фармацевтических компаниях, однако она только в категории «ИТ».
        А иначе в категории «ИТ» были бы и секретари и бухгалтеры.


    1. ooprizrakoo
      22.11.2015 23:45

      200 т на буровых это максимум для «главного» человека на буровой (мастера). помбуры или буры от 70 до 150.

      Ещё иногда пишут про «200 тыр за месяц работы», умалчивая, что это работа вахтовым методом 30/30, и 200 тыс выплачивают за 2 месяца (1 работы и 1 отдыха).

      Но условия работы там… Действительно очень сложные.


      1. bIbI4k0
        23.11.2015 02:29
        +3

        Вы заблуждаетесь. На буровых 200 — это где-то ближе к минимуму, чем к потолку. Ведущие специалисты получают ближе к полу-миллиону за вахту. Ваши цифры больше соответствуют картине на «земле».


        1. ooprizrakoo
          23.11.2015 16:32

          возможно мои данные устарели, да.
          за прошедшие года полтора з/п менялись?


  1. Zzzuhell
    22.11.2015 22:23

    Шикарные данные. Полезно.

    У вас «программист 1c» два раза упомянут в списке профессий. Они так сильно нужны? :)


    1. evilbot
      23.11.2015 16:29

      Видно написание 1с на русском языке и на английском. :)


  1. Lonsdaleite
    23.11.2015 00:18
    +10

    Любопытно, что среди данных по вузам нет МФТИ. А ведь он входит в ТОП-N (все считают по-разному, для меня тут N=3) лучших технических вузов страны.


  1. varnav
    23.11.2015 00:54

    Это по всей России?

    По регонам соотношение вакансий и резюме сильно различается.

    http://hh.ru/career-stats/index

    Например в Москве ИТ специалистов наоборот избыток.


    1. KvanTTT
      23.11.2015 01:10
      +1

      График что-то не грузится.

      Например в Москве ИТ специалистов наоборот избыток.

      Хм, но все равно почему-то очень сложно найти хорошего специалиста.


      1. inkvizitor68sl
        23.11.2015 02:29
        +9

        «Избыток специалистов» != «наличие хороших».
        Вон адвокатов сколько, а найди хорошего =)


  1. leremin
    23.11.2015 07:46
    +4

    Меня смущает ожидаемая зарплата в Москве в 50000 рублей. Маловато будет. Хотя может кризиса я не увидел в своем окружении.


    1. atikhonov
      23.11.2015 08:10
      +1

      Да нет, так и выходит, у меня на 5 000 случайных резюме, то же самое.
      image


      1. leremin
        23.11.2015 08:14

        Смущает != не верю. Просто, слегка удивлен я.


        1. Borz
          23.11.2015 08:35
          +10

          зарплаты выше обычно не публикуются


          1. atikhonov
            23.11.2015 10:26

            Резюме с указанными зарплатами порядка 80%,
            вероятнее всего что оставшиеся 20%, да, с более высокими ожиданиями, чем медианные, но не обязательно (может 15%),
            даже если предположить что это так, то да, средняя ЗП конечно увеличится,
            но медианная не сильно, она будет порядка 6-7 дециля (даже если все 20% выше медианы, то они сместят медиану на 2 дециля), а там 60-70k.


          1. Devgru
            23.11.2015 12:03
            +1

            да и людей на такую проще найти через связи чем через HH


        1. Apatic
          23.11.2015 13:24
          +2

          Да а чего «смутительного». Средняя з/п в Мск согласно Росстату в районе этой отметки и крутится. Так что все норм.


  1. aszhitarev
    23.11.2015 08:35
    +16

    Я бы подумал, что 0 это девочка.


  1. aim
    23.11.2015 09:00
    +1

    Северные. На севере их ожидают потому и ожидание по зарплате выше. Но там и тратят больше.


    1. HomoLuden
      24.11.2015 18:27

      Затем была сделана попытка сравнить регионы России по ожидаемым зарплатам и популярности индустрий. Удивительно, но самые высокие ожидания не в Москве, а на Дальнем Востоке. Почему так, кто знает?


      Однажды, будучи разработчиком среднего уровня отправлен был я в командировку в Ямало-Ненецкий АО (2008-2009 гг.). Вот вам сравнение на тот момент.

      Программист в Саратове 15 тыр. (±), а диспетчер на рации на Ямале 150 тыр. (+50 тыр сверху после прохождения тренинга/экзамена по пром. безопасности). Соотношение квалификации и з/пл. между центральной провинцией и северными газо- нефтеродными регионами примерно такое же сейчас.


  1. Ivan22
    23.11.2015 09:04
    +2

    Самый неожиданный вывод для меня — таки да, элитных вузов нету :(. Может элитные факультеты хоть есть???


    1. bougakov
      23.11.2015 10:15

      есть, но надо искать уже не на HH, а в LinkedIn.


  1. bougakov
    23.11.2015 10:14
    +16

    У hh.ru есть особенность — явно декларируются зарплаты только для младшего персонала. Ни в вакансиях, ни в резюме начиная со, скажем, 100-150 тыс. жалованье уже не указывают. Если вы и видите редкое «sales-менеджер, 200К» — это, скорее, очковтирательство со стороны работодателя — и зарплата сложится из 40 тыс. фикса и фантомных комиссионных на остальное.


  1. Viacheslav01
    23.11.2015 13:38
    -11

    А с каких пор статистика по 6000000 записей стала гордо именоваться большими данными?


    1. Viacheslav01
      23.11.2015 18:10
      -6

      Да вердикт однозначен, против тенденций хабра разумом не попрешь, в тренде большие данные, а значит любая работа над 100+ событий уже большие данные :)


      1. Apatic
        23.11.2015 20:00

        А скажите, какие данные считаются большими?


        1. Viacheslav01
          23.11.2015 20:14
          -6

          Ну в данном контексте, статистика реального времени по потоку 6000000 резюме в секунду, была бы мной оценена как большие данные. Но блин статистика 6 миллионов документов, это не биг дата, как ты ее не поворачивай.


          1. Apatic
            23.11.2015 20:21

            Ну ок, там можете четкую или хоть сколько-нибудь определенную грань привести, что такое бигдата? Какие данные надо считать бигдатой, а какие просто «датой»?


            1. alexkuku
              23.11.2015 23:25
              +2

              Чуваки, да какая разница


          1. Alesh
            24.11.2015 00:23
            +1

            Вы резюме со всей галактики планируете обрабатывать?


            1. Viacheslav01
              24.11.2015 00:50
              -5

              Причем тут галактика, просто статья в биг дате, где ей делать нечего, объем данных не тот.


              1. Alesh
                24.11.2015 01:16

                Дайте определение, как вы понимаете термин бигдата. А пока ваш пост «с каких пор статистика по 6000000 записей стала гордо именоваться большими данными» заслуживает только минуса.

                ЗЫ: 6000001 запись это уже бигдата или еще нет?)


                1. Viacheslav01
                  24.11.2015 01:24
                  -1

                  Ну хорошо, хотите определение, будет объем данных который специалист при наличии всех необходимых инструментов и навыков не может обработать на своей рабочей станции в какие либо вменяемые сроки.

                  А в последнее время, местное население склонное к хипстерству любой объем работы больше помещающегося на лист экселя, называет большими данными.


                  1. Alesh
                    24.11.2015 02:04
                    +1

                    Дайте определение вменяемому сроку и какими навыками должен обладать человек названный в вашем посте специалистом. Список «необходимых инструментов » тоже в принципе хотелось бы и тогда можно будет продолжить дискуссию в конструктивном русле.


                    1. Viacheslav01
                      24.11.2015 02:08

                      Вменяемый срок — данные не успеют потерять свою актуальность в рамках решаемой задачи.
                      Специалист — человек имеющий знания и опыт обработки представленных данных.
                      Инструменты — в данном случае имелись ввиду программные продукты необходимые специалисту для обработки представленных данных.


                      1. Alesh
                        24.11.2015 02:12

                        Вам известно количество данных — 6М. Вменяемый срок пока данные не успеют потерять свою актуальность, я думаю 3 месяца по нашей жизни.

                        Специалист — человек имеющий знания и опыт обработки представленных данных.

                        То есть специалист — девочка клерк из того же hh.ru, владеющая Экселем — подойдет, я правильно вас понял?
                        программные продукты необходимые специалисту для обработки представленных данных

                        Это Эксель?


                        1. Viacheslav01
                          24.11.2015 02:17

                          Если вам надо сегодня выставить вакансии на рыночных условиях, данные нужны сегодня, ждать три месяца не с руки.


                          1. Alesh
                            24.11.2015 02:25

                            Что вы мне сейчас написали?
                            Есть задача, на основании 6М записей анкет пользователей выдать аналитические данные в разрезах представленных в этой статье.

                            Вы упорно не хотите давать вводные данный, по которому можно было бы сделать вывод, что это не относится к биг дате. Я предположил, что вы имели ввиду 6М анкет, с актуальностью 3 месяца и специалиста владеющего неплохо экселем.

                            Вы согласны что это отвечает вашим водным данным на эту задачу?
                            Если нет наконец озвучите свои критерии)


                            1. YChebotaev
                              24.11.2015 22:53

                              Viacheslav01 выше все верно пишет. Точного определения нет, но о больших данных не имеет смысла говорить, если данные могут быть обработаны за один раз на рабочем компьютере специалиста обычным для этого специалиста софтом.
                              Я могу попробовать дать такое определение, большими следует называть данные, которые обладают всеми этими свойствами:
                              1) Поступают несколькими независимыми потоками в квазиреальном времени,
                              2) Структура которых не известна заранее, может быть вариативной, или данные получены с датчиков,
                              3) Их обработка с помощью массово-параллельной системы целесообразна,
                              4) Для их обработки требуется специализированное, не «ширпотребное», нишевое решение.


                        1. Viacheslav01
                          24.11.2015 02:21

                          За три месяца девочка с экселем справиться, специалист имеющий доступ к этим данным в реляционном хранилище и владеющий инструментами BI эту работу за день (с запасом) :)


                          1. Alesh
                            24.11.2015 02:30
                            +2

                            Озвучте наконец что вы подразумеваете в числах и названиях конкретных инструментах)

                            • Вменяемый срок
                            • Специалист
                            • Инструменты

                            Вы что-то боитесь?) Тут у вас проскочило «за день (с запасом)» и «инструментами BI» озвучте название конкретных инструментов (Эксель в некотором роде, да даже не в некотором а во вполне конкретном — это инструмент Bl))


                            1. Viacheslav01
                              24.11.2015 13:24

                              1) минута на срез
                              2) MSSQL
                              3) DBA


                1. Viacheslav01
                  24.11.2015 01:28
                  -5

                  И да минуса на хабре заслуживает любой пост, который не следует трендам модной тусовки, проверено не раз :)


                  1. Alesh
                    24.11.2015 02:08

                    Коллективное сознание хабра несомненно забавная штука, сам не раз нарывался «не за шо») Но в данном случае неподкрепленное ничем утверждение. Будет вменяемой обоснование/пояснение мысли — пройдусь все и отминусую, плюс заплюсую чего не минусовал, в том числе и кармы. Ждем.


                    1. Viacheslav01
                      24.11.2015 02:25

                      Да мысль в том, что сейчас любой чих в сторону обработки информации не помещающейся на листе бумаги уже большие данные, где я на адептов только не натыкаюсь. прошел торговый день надо загрузить и обработать сотню тысяч чеков по сети, о… это же большие данные..., блин идет поток событий плотностью пару сотен в секунду, о… большие данные…

                      Для меня большие данные, это то, что я не смогу обработать без использования распределенных вычислений, а все что можно обработать в адекватный данным срок, на одном компьютере чуть ли не вручную, это не большие данные.


                      1. Alesh
                        24.11.2015 02:36
                        +1

                        Честно говоря я тоже в сомневаюсь, что 6М анкет — это биг-дата, могу сказать откровенно. Поэтому когда вы так определенно заявили, что это херня а не биг-дата, я пополз в список ваших статей прочитать про эту самую биг-дату)

                        Что я там увидел, вы и сами знаете) Осюда возникли и следующие мои вопросы. На которых вы вменяемо ответить не смогли.


                      1. Alesh
                        24.11.2015 02:40

                        Для меня большие данные, это то, что я не смогу обработать без использования распределенных вычислений


                        Вас просят дать количественные оценки и названия конкретных инструментов, что бы любой в теме или интересующийся мог бы сопоставить это со своими представлениями и опытом.


                      1. Apatic
                        24.11.2015 12:26
                        +1

                        Ну то есть бигдата — это данные, которые требуют для своей обработки суперкомпьютеров или распределенных вычислений?
                        Конкретных количественных рамок того, что такое бигдата вы назвать не можете, верно?
                        На самом деле, их похоже, что никто не может назвать, но вы с такой уверенностью объявили, что 6кк — не бигдата, что я грешным делом, понадеялся, что хоть вы из числа просветленных, знающих точный ответ.

                        Для меня большие данные...

                        Ну а для автора большие данные это 6кк анкет с HH


          1. freebornman
            24.11.2015 22:56

            При таком подходе резюме со всего земного шара закончатся за 20 минут.


    1. vlivyur
      24.11.2015 12:42

      А если запись широкая, то это будет bigdata?


      1. Ivan22
        25.11.2015 09:19
        +2

        очевиднож, что fatdata!


  1. karaboz
    25.11.2015 12:24

    Спасибо, Александр, за интересную информацию!

    Подскажите, а как читать этот тип диаграмм?



  1. Tujh
    30.11.2015 15:29

    С ожиданиями на севере всё проще — районный коэффициент. К примеру в ЯНАО, если не ошибаюсь, этот коэф. за счёт «северок», может достигать 2.0 через несколько лет проживания (он накапливаемый) и при окладе 40т.р. фактически зарплата получается 80т.р. и публикуется именно эта цифра.