Всем привет!

Подходящий к концу 2021 год был очень насыщенным — нам удалось провести 5 митапов с интересными спикерами и экспертами рынка Data Science и Machine Learning. Мы узнали много интересного, и это здорово!

Каждый год выходят сотни статей по машинному обучению, нейронным сетям, рекомендательным системам и другим областям связанным с искусственным интеллекта. Появляются тысячи новых репозиториев, API и сервисов с использованием современных технологий Data Science.

А что из этого действительно стало важным событием? На какие технологии и сервисы стоит обратить внимание? На эти вопросы ответили эксперты по Data Science.

Top-5 событий в мире Computer Vision в 2021

Артур Кузин

Head of Computer Vision Platfrom | SberDevices

1. Трансформеры

• SWIN transformer – https://arxiv.org/abs/2103.14030

• CoAtNet: Marrying Convolution and Attention for All Data Sizes – https://arxiv.org/abs/2106.04803

2. Генерация

• DALL-E – https://openai.com/blog/dall-e/

• NUWA – https://arxiv.org/abs/2111.12417

• StyleGAN3 – https://nvlabs.github.io/stylegan3/

3. Мультимодальность

• CLIP – https://openai.com/blog/clip/

• Florence – https://arxiv.org/abs/2111.11432

4. OCR

• OpenImages V5 – https://github.com/openvinotoolkit/training_extensions

• Opensource – https://github.com/faustomorales/keras-ocr + https://github.com/clovaai/CRAFT-pytorch + https://github.com/JaidedAI/EasyOCR

5. Прорыв в self-supervised 

https://github.com/facebookresearch/dino + https://arxiv.org/abs/2111.07832, https://github.com/microsoft/esvit + https://github.com/google-research/simclr

extra 6. Meta AR dataset

https://ai.facebook.com/research/publications/ego4d-unscripted-first-person-video-from-around-the-world-and-a-benchmark-suite-for-egocentric-perception/

Top-5 статей в мире нейронных сетей в 2021 году

Дмитрий Коробченко

Senior Manager of AI | NVIDIA

1. Diffusion Models Beat GANs on Image Synthesis
   https://arxiv.org/abs/2105.05233

2. Alias-Free Generative Adversarial Networks (StyleGAN3)
   https://nvlabs.github.io/stylegan3/

3. Open AI Codex
   https://openai.com/blog/openai-codex/ +
   GitHub Copilot
   https://copilot.github.com/

4. CLIP: Connecting Text and Images
   https://openai.com/blog/clip/

5. Image GPT
   https://openai.com/blog/image-gpt/ +
   DALL·E: Creating Images from Text
   https://openai.com/blog/dall-e/

Top-5 статей по Data Science

Валерий Бабушкин

Head of Data Science | Blockchain.com

1. Uncertainty in Gradient Boosting via Ensembles 
https://arxiv.org/abs/2006.10562

2. Interactive identification of individuals with positive treatment effect while controlling false discoveries
https://arxiv.org/abs/2102.10778

3. Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects
https://economics.mit.edu/files/17847

4. Systematic Analysis of Cluster Similarity Indices: How to Validate Validation Measures
http://proceedings.mlr.press/v139/gosgens21a/gosgens21a.pdf

5. A Survey of Transformers
https://arxiv.org/abs/2106.04554

extra 6. Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift 2019
https://proceedings.neurips.cc/paper/2019/file/846c260d715e5b854ffad5f70a516c88-Paper.pdf

Top-5 событий в мире рекомендательных систем в 2021 году

Андрей Кузнецов @netcitizen

ML Team Lead | Одноклассники

1. TT-Rec: Tensor Train Compression for Deep Learning Recommendation Models
   https://arxiv.org/abs/2101.11714

2. Large-Scale Modeling of Mobile User Click Behaviors Using Deep Learning
   https://arxiv.org/abs/2108.05342

3. Transformers4Rec
   https://github.com/NVIDIA-Merlin/Transformers4Rec

4. Learning to Represent Human Motives for Goal-directed Web Browsing
   https://arxiv.org/abs/2108.03350

5. An Audit of Misinformation Filter Bubbles on YouTube: Bubble Bursting and Recent Behavior Changes
   https://dl.acm.org/doi/10.1145/3460231.3474241

Top-5 событий из мира Data Science & Big Data в 2021 году

Алексей Чернобровов

Head of Data Science | Ситимобил

1.  DALL·E
https://openai.com/blog/dall-e/

2.  Работы DeepMind в биологии
https://github.com/deepmind/alphafold + https://deepmind.com/blog/article/enformer

3.  Новые релизы от Apache
https://flink.apache.org/news/2021/09/29/release-1.14.0.html + https://kafka.apache.org/downloads

4.  Kats от Facebook и Merlion от Salesforce
https://github.com/salesforce/Merlion + https://github.com/facebookresearch/Kats

5.  Copilot
https://copilot.github.com/

Top-5 трендов в мире Data Science в 2021

Виктор Кантор

Директор центра Big Data | МТС

1. Ужесточение законодательства в сфере работы с данными. Отказ от cookies. 

2. Graph embeddings и transformers.

3. Рост рынка MLops и других технологий в сфере обработке данных.

4. Рынок труда Data Science сильно перегрет.

5. Data Science становится не только востребованным, но и популярным и модным.

Приятного просмотра!