Создание ETL-движка для репликации данных из Apache Hive в Clickhouse +1 16.01.2025 21:03 DmitriiReshetnikov 10 Big Data Data Engineering Python
Apache Kyuubi + Spark: как приручить большие данные +15 14.01.2025 10:06 StanislavRG 2 Блог компании Arenadata Big Data Data Engineering DevOps Машинное обучение
Машинное обучение на Spark +13 20.12.2024 09:53 qed1337 2 Блог компании VK Big Data Машинное обучение
Как мы попробовали Apache Iceberg в связке со Spark и что из этого вышло +7 19.11.2024 11:58 de_linch 9 Блог компании Циан Apache Data Engineering Big Data
Бутстрап в PySpark +7 09.10.2024 09:49 ilia_chernikov 2 Блог компании X5 Tech Python Статистика в IT Big Data Data Engineering
Автоматическая система Netflix для восстановления заданий после сбоев, основанная на машинном обучении +14 07.10.2024 09:15 mr-pickles 0 Wunder Fund corporate blog Machine Learning Programming Website development System administration Блог компании Wunder Fund Машинное обучение Программирование Веб-разработка Системное администрирование
Современная Lakehouse-платформа данных Data Ocean Nova +8 02.10.2024 20:24 EvgenyVilkov 0 Big Data Hadoop Хранилища данных Open source Data Engineering
Создание data lineage в Apache Atlas из логических планов Spark (не без «костылей») +2 12.09.2024 13:26 PicoPicoRobotWoman 1 Программирование Scala Apache Big Data Data Engineering
Spark Essentials: Руководство по настройке и запуску проектов Spark с помощью Scala и sbt 02.09.2024 15:09 MaxRokatansky 0 Блог компании OTUS Программирование Scala Big Data
Оптимизируем Shuffle в Spark 21.08.2024 10:24 sergei_smirnov 4 Блог компании X5 Tech Big Data IT-компании Data Engineering
Уроки, извлеченные из масштабирования до многотерабайтных датасетов 08.08.2024 11:33 breakmirrors 1 Блог компании Magnus Tech Виртуализация Big Data Машинное обучение
Cloud Native vs Cloud Agnostic в Data Engineering'е: выбираем подход 29.07.2024 12:28 Ninil 0 Big Data Хранение данных Управление разработкой Хранилища данных Data Engineering
Руководство по Apache Spark не для начинающих: оптимизация +51 18.07.2024 16:31 vladislav_shevchenko 4 Блог компании Альфа-Банк Big Data Hadoop Data Engineering
Вопросы по Apache Spark к собеседованиям для Data Engineer 15.07.2024 12:32 Falcon_eye 0 Data Engineering