Платформа данных в Леруа Мерлен — как мы победили масштабирование +9
Публикации с тегом Spark
Знакомство с Fugue — уменьшаем шероховатости при работе с PySpark +2
Pyspark. Анализ больших данных, когда Pandas не достаточно +4
Количество партиций в Spark DataFrame, DataSet на основе Relational Data Base table +1
2003–2023: Краткая история Big Data +55
Совместный доступ к Spark-датасетам из разных приложений — Redis нам в помощь +1
Автоматический подбор параметров для Spark-приложений на примере spark.executor.memory +3
- Scala
- Блог компании Конференции Олега Бунина (Онтико)
- IT-компании
- IT-инфраструктура
- Блог компании oneFactor
Извилистый путь через «скалу» в Spark: как одинэсник стал дата-инженером и полюбил строго типизированные языки +4
Apache Spark на Kubernetes: какие уроки можно извлечь из запуска миллионов исполнителей Spark +3
Автоматический подбор параметров для Spark-приложений +5
Realtime-матчинг: находим матчи за считанные минуты вместо 24 часов +35
Подводные камни Spark: что делать с перезаписью и дополнением в таблицах +7
Потери данных при репликации в аналитическое хранилище — автоматические сверки и мониторинг качества данных +15
Заметки дата-инженера: интеграция Kafka и PySpark -1
Количество партиций в Spark при инициализации Data API: DataFrame, RDD, DataSet +6
