У вас есть полное представление о том, в каких странах и городах мира работают программисты? Кремнивая долина, Сан Франциско – ок. А в Новой Зеландии? А в африке? Хотите узнать больше?
Зачем это может быть полезным? Например, вы рассматриваете варианты, куда переехать. При наличии детализации по городам можно увидеть всё разнообразие доступных вариантов. Узнать что IT есть в самых неожиданных местах, где казалось бы, его и быть не может.
Когда я впервые задумался о том, что хочется иметь детализацию на уровне городов, а не стран, стал вопрос, есть ли что-то готовое и где взять данные.
Удалось найти много исследований про местные рынки, чаще данные обработаны вручную, например тут и тут пишут про США, подобных исследований достаточно много. Наиболее близкое исследование с детализацией по городам можно посмотреть тут, советую почитать – человек проделал героический сбор профайлов пользователей GitHub + постобработку, но данные уже немного устарели, также визуализация далеко не самая удобная.
В качестве исходных данных для начала решил попробовать учитывать количество разработчиков и представителей смежных профессий, поделившихся своим уровнем дохода со всем миром. Исходные данные берутся из нескольких общеизвестных источников типа Glassdoor (но, к сожалению "scraping is always a grey area", поэтому светить настоящие источники опасаюсь) с нормированием по размеру баз. Давайте считать что это пробная альфа-версия или v1. Если у вас есть интерес к теме или идеи где взять наиболее актуальные и полезные данные – давайте обсудим, обязательно сделаю улучшенную версию. А если вы готовы помочь со сбором данных – вообще супер, обязательно приходите в личку!
Отбор должностей делал по следующим ключевым словам (предварительно смотрел на самые частотные слова в должностях): 'software engineer', 'developer', 'programmer', 'data scientist', 'data analyst', 'big data', 'data engineer', 'devops', 'machine learning', 'python', 'java', '.net', 'c++', 'c#', 'database', 'cloud engineer', 'backend', 'ios', 'android', 'full stack', 'full-stack', 'sql', 'oracle'.
Вот что в результате получилось. Для визуализации использовал Google Data Studio, полная интерактивная карта здесь. Сам завис в карте, открыл для себя несколько интересных мест, где оказывается есть IT.
Карта не отражает состояние IT сферы и рынка труда с идеальной степенью точности, но результат в целом коррелирует с тем, что я вижу в статьях про локальные рынки. Это скорее некоторый ориентир, каждый может интерпретировать результат по своему. Лично для меня ассоциация следующая – полученная карта – показатель того, насколько IT в том или ином месте не просто развито, но еще и "интегрировано" в мировое IT.
Жду ваших замечаний и предложений. Что еще хочется добавить на карту/фильтры и т.д.?
upd. Вот тут я уже попробовал использовать данные отсюда про пользователей GitHub за 2018 год.
P.S. также посетите мой канал Старший бит :)
Комментарии (27)
Andrey_Epifantsev
07.10.2021 13:49+9Россия по количеству программистов уступает даже Австралии и находится где-то на уровне Новой Зеландии?
А Новосибирск на этой карте вообще не виден.
amkruglov Автор
07.10.2021 14:28+3Это только означает что наши разработчики менее охотно делятся своей зарплатой на зарубежных сайтах, известных во всем мире. В России есть IT, но оно более "локальное". Например, мы с меньшей вероятностью общаемся на стендапах с коллегами из других стран. Вот тут я уже попробовал использовать данные про пользователей GitHub за 2018 год.
vakhramov
08.10.2021 16:39Какой сюрприз, судя по Гитхабу в Краснодаре айтишников больше, чем в Нижнем Новгороде. Поиск по хедхантеру с указанием зарплаты от 100к (чтоб отсечь всякие непонятные профессии из раздела "информационные технологии, интернет, телеком") выявил 553 вакансии в Ниж. Обл против 943 в Краснодарском крае!
sherbinko
08.10.2021 09:52+1Почему "даже"?? Австралия и Новая Зеландия - известные иммиграционные страны и айтишников туда искусственно "закачивают".
Уверен, если считать по "сениорам", то в Австралии их не меньше чем в России будет.
Leva1985
08.10.2021 09:52-2Есть мнение, что в РФ вообще почти нет программистов. Только коварный и зловещий миллион хакеров, которые маскируются под программистов, а сами держат в страхе весь мир.
balberbro
07.10.2021 14:23+2Думаю методология не очень хорошо работает с локальными рынками, где по большей части используется не англиский язык. Ибо как минимум россия выглядит странно
Kanut
07.10.2021 14:35+3Германия тоже. И я бы сказал что ещё как минимум Франция.
И действительно похоже что проблема в ключевых словах. Потому что как минимум в Германии чаще используются немецкие названия, а не английские. То есть я уверен что по "Softwareentwickler" найдётся больше чем по "software developer". И я слабо представляю как можно учитывать подобные "локальные особенности" в контексте данного проекта. Разве что делать одельные словари для каждой страны...
amkruglov Автор
07.10.2021 14:48Идеальный вариант – найти такой источник данных, где не нужно будет дополнительно фильтровать по названию должностей, где всё уже структурировано. Знаешь такой – поделись. В недавнем Stack Overflow Developer Survey 2021 отлично разобраны страны, dataset доступен всем желающим, но они не спрашивали про города :( Другие компании предпочитают не делиться данными или просят за это $$.
amkruglov Автор
07.10.2021 23:25Как тебе ответить правильно? Я знаю ребят, переехавших в разные страны, включая Японию или вычеркнутую тобой Австралию. Думаю что они все делали свой выбор осознанно. А я там даже как турист не был. Кому-то плохо в Москве (где я живу), а для кого-то тут есть всё что нужно, включая крутые бесплатные физмат школы. Знаю тех, кто осознанно не хочет никуда уезжать, хотя давно бы могли, и их аргументы звучат вполне разумно. Если бы лично я куда-то планировал переезжать работать, то выбирал бы между Лондоном и США.
Skriptach
07.10.2021 17:40А пробовал собирать данные с LinkedIn?
amkruglov Автор
07.10.2021 18:10Сам не пробовал, но есть предположение что вряд ли они так просто отдадут свои данные. А если бы данные были доступны, то оценка также была смещенной – далеко не у всех разработчиков там есть аккаунт, также многие не заполняют свой регион. У меня вот сейчас указана только страна:
anonymous
00.00.0000 00:00amkruglov Автор
07.10.2021 21:30+3На твой вопрос нет правильного ответа. У каждого свои критерии и по ним строится личный топ. А еще есть компании, которые тебя готовы нанять, другие не готовы. В итоге кому-то подойдет только Кремниевая долина и высокий грейд, кому-то нужно спокойствие небольшого европейского городка.
demoded
08.10.2021 01:57+2живущие в Новой Зеландии программисты негодуют по поводу отсутствия НЗ на карте :)
N-Cube
08.10.2021 13:30+1Помнится, была статья, что Новой Зеландии даже на карте в офисе ООН нет :) А вообще в НЗ прекрасный британский английский, в отличие от той же Австралии, акцент которой понять весьма затруднительно.
mapron
08.10.2021 06:18+3Ощущение что опять получилась очередная «карта плотности населения»/«карта численности городов».
Не было идеи нормализовать результат по населению города?
Tujh
Следующий шаг - распределить эти точки по категориям. С ходу вижу несколько городов, где индекс небольшой, хотя IT одна из основных индустрий, но с оговоркой, что это embedded или automotive, и с профилем js или python там вряд ли будет интересно.
amkruglov Автор
А как это сделать? Боюсь что настолько точных данных у нас нет.