Потери данных при репликации в аналитическое хранилище — автоматические сверки и мониторинг качества данных +15
Публикации с тегом Spark
Заметки дата-инженера: интеграция Kafka и PySpark -1
Количество партиций в Spark при инициализации Data API: DataFrame, RDD, DataSet +6
Что должен знать дата-инженер. Роадмап для джуниора +21
Как организовать потоковую обработку данных. Часть 1 +10
Параллельные вычисления в Apache Spark +6
Пять советов по исправлению перекошенных соединений в Apache Spark +2
Как реализовать магию Sqoop для загрузки данных через Spark +10
Ищем боттлнеки за 30 минут с помощью Jaeger трейсов +26
Варианты использования Java ML библиотек совместно с Spring, Docker, Spark, Rapids, CUDA +14
Как быстро разрабатывать сервисы обработки данных в реальном времени с помощью PySpark Structured Streaming и Kafka +3
Создание Data Lake и Warehouse на GCP +5
«Kubernetes как часть data platform»
Выполнение заданий потоковой обработки раз в день для 10-кратного снижения затрат +2
Строим тепловые карты в Apache Zeppelin
