Что было в Постгрессо в 2024? Как всегда, трудно выбрать из всех номеров интересные темы, чтобы не обидеть темы другие, кому-то не менее интересные. Но за дело, а то уж Новый Год на носу.
ЯНВАРЬ
Начался год плохо:
Умер Никлаус Вирт
"1-го января этот мир покинул Великий человек - Никлаус Вирт (Niklaus Emil Wirth). Его создания: Pascal, Algol-W, Euler, Modula-1, 2, Oberon-1, 2. Но прежде всего Никлаус был главным идеологом программирования сверху вниз, структурного программирования. А в этом интервью Никлаус прежде всего очаровательный человек. Который когда-то играл в железную дорогу и мечтал стать машинистом локомотива."
В январе в документации по Postgres на сайте Postgres Professional появился 5-й столбец: Shardman. Всего пока 2 строчки - 2 релиза. Сейчас их там уже дюжина, самый молодой - Postgres Pro Shardman 14.15.2
Badass Elephant
Из январского номера мы узнаём, что Тембо - имя лихого слоника из игры Tembo the Badass Elephant. Основатель и гендир Рай Уокер (Ry Walker) объявил о доступности Tembo Cloud, а в начале января взяли на работу Дэвида Уилера (David E. Wheeler) - основателя PGXN (PostgreSQL Extension Network). Компания | кампания настолько активная и шумная (в маркетинговом смысле), что кажется: они существуют уже ... годы во всяком случае, не год с небольшим.
PG-футурология
Thoughts on PostgreSQL in 2024
В своём блоге Джонатан Кац говорит, что хотел совсем чуть-чуть попредсказывать, но увлёкся - получилась немаленькая статья. Год назад это было интересно потому, что это было тогда. А сейчас это интересно потому, что это было ... тогда, то есть год назад. Начинал он с логической репликации - ну да, здесь всё успешно развивается. А вот тема HA (High Availability) актуальна в не меньшей степени, но напомним статейку из декабрьского, свежайшего Postgresso: PG Phriday: Kubernetes Killed the High Availability Star.
ФЕВРАЛЬ
The Future of Databases. 8 Data Management Trends
Ронан Макквиллан (Ronan McQuillan, Budibase) насобирал 8 трендов. Первый из них - serverless. Ну что же, вот в декабрьском о бессерверной AWS-овсокой Авроре с Distgributed SQL.
Hello DBOS - Announcing DBOS Cloud
"Майкл Стоунбрейкер объявил, что пора перевернуть пару ОС/СУБД вверх ногами: теперь не база будет поверх операционной системы, а наоборот: ОС поверх СУБД. Что в этом заявлении от маркетинга, а что от технологий, пока сказать трудно."
Теперь можно сказать, что о DBOS знают, есть солидная статья в вики, статья DBOS: A better way to build applications? в InfoWorld и др. статьи. И на хабре не проспали. Но если заглянуть на гитхаб DBOS Inc, то активность там проявляют трое: Алекс Поляков (Alex Poliakov) aka apoliakov, Питер Крафт (Peter Kraft) aka kraftp и Сян Ли (ну может и не Сян - ещё не освоил китайскую транслитерацию - Qian Li) aka qianl15. Люди не посторонние: 2 из 3 статью писали с наглядными картинками: DBOS: A Database-Oriented Operating System. Активность не то, чтобы сверхвысокая. Ну а на сайте: у нас всё serverless, у нас всё быстро и удобно, ни слова про ОС поверх СУБД.
Образование
В том феврале на сайте Postgres Professional опубликована была электронная версия книги Владимира Комарова Путеводитель по базам данных (позже появилась, конечно, и бумажная в издательстве ДМК Пресс - об этом уже майском номере).
О честных мультимастерах. Что (не) делать с высокодоступными кластерами
Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Части 1, 2 и 3.
Это серия статей, написанная Михаилом Жилиным (@mizhka) и Павлом Конотоповым (@kakoka) - сотрудниками компании Postgres Professional. Михаил занимается анализом производительности СУБД, Павел - архитектурой построения отказоустойчивых кластеров.
МАРТ
Опять печальная новость:
Саймон очень яркая личность, активнейший участник сообщества. Он основал 2ndQuadrant и уже только этим вошёл бы в историю Postgres.
Саймон с невероятной энергией пробивал в сообщество фичи, которые считал важными для сообщества и для собственной компании. Одному из эпизодов мы посвятили отдельную статью: Битва при MERGE. Хроника с выводами и моралью. Это был целый триллер.
Артур Закиров - персона недели
Interview with: Artur Zakirov | PostgreSQL Person of the Week
"Я начинал с MS SQL Server. После 6 лет работы с ним я стал разработчиком в Postgres Professional. Там я активно работал над Postgres Pro, в том числе над новыми фичами. Некоторые из них и из исправленных багов попали и в основную ветку PostgreSQL."
"Сейчас я в Берлине, работаю в Adjust. А вырос я в посёлке в Башкортостане, окружённом зеленью, вдали от городской суеты. Тогда я и не думал переселяться в большие города. Теперь мне трудно представить себя живущим вне большого города. В Берлине я поселился 3 года назад, до того год работал в Токио."
PG-постапокалипсис
Это небольшой набор статей о восстановлении:
Recovering Deleted Data From PostgreSQL Tables.
Recovering from Data Loss Despite Not Having a Backup: A Postgres True Story.
How I did (not) recover from a data loss (featuring ZFS, LXD and PostgreSQL).
Восстановление повреждённых данных.
В этой презентации симпатичная картинка:
Свой DBaaS
Автор представился как @Loxmatiymamont,"ну Мамонт так Мамонт, почти Слон." Он ещё много раз станет героем наших обзоров. Мамонт говорит (в марте), что продукт в процессе разработки, поэтому хочется узнать мнение читателей и послушать пожелания.
А 9 октября на конференции PGConf.Academia 2024 я слушал доклад Использование DBaaS в учебном процессе Университета ИТМО. Наталья Графеева, кандидат физико-математических наук, доцент ИТМО, соавтор книжки Основы технологий баз данных (Б. А. Новиков, Е. А. Горшкова, Н. Г. Графеева; под ред. Е. В. Рогова, рассказала, что Университет ИТМО впервые использовал в учебном процессе сервис DBaaS, который предоставил доступ к СУБД Postgres Pro версии 15.
Об этом мы писали не в Postgresso, а в специальном выпуске Конференции PGConf.СПб 2024 и PGConf.Academy.
Анонс дела "закрытая дверка"
Security lessons from liblzma - такова тема ветки, которую стартовал Брюс Момджан в рассылке hackers. Андрес Фройнд (Andres Freund) проделал потрясающую работу по обнаружению дыры (backdoor), но надо и нам что-то делать, чтобы уже на 100% обезопасить и себя от аналогичных попыток - примерно так говорят в сообществе. Мы следим с замиранием сердца за развитием событий и расскажем об этом в следующем выпуске.
Мы не обманули наших читателей:
АПРЕЛЬ
Фройнд не дремлет, а проспали многие
"Андреас забил тревогу он после того, как обнаружил потерю производительности при тестировании. Разобрался, где источник неприятностей, и толково изложил всё в письме в компанию Openwall, занимающуюся безопасностью Linux. На хабре есть перевод письма Андреса Фройнда: Бэкдор в основной версии xz/liblzma, ведущий к компрометации SSH-сервера. Реакция была быстрой."
Разбору этого драматического события мы посвятили 6 небольших абзацев. Но разгорался в это время ещё один сюжет, от которого круги по воде расходились аж до Postgresso #6 (67). Да, пожалуй, зыбь докатилась и до наших дней:
Коммитфесты отжили свой век?
Такое даже выговорить страшно. И, тем не менее, один из самых уважаемых людей в сообществе поставил вопрос так:
commitfest.postgresql.org is no longer fit for purpose — коммитфесты больше не выполняют свои функции. Так он, Роберт Хаас (Robert Haas), написал 16 мая в список рассылки pgsql-hackers.
Вы (может быть) спросите: что еще за машина времени? как это он в апрельском номере спросил 16 мая? Ну да, мы вовсе не жёстко следуем обозначенным временным рамкам. Апрельский номер вышел 22 мая и самые выдающиеся майские события туда попали.
Проблеме неэффективности коммитфестов мы тогда посвятили изрядную часть номера. Особенно конструктивным предложениям - их было немало.
Один из кругов от камня, дружески брошенного в воды сообщества Робертом привёл к шикарной инициативе. Это уже был другой месяц:
МАЙ
Новый жанр: прекоммитфест
На Saint HighLoad++ 2024 запланирован воркшоп Postgres Pre-Commitfest Party. Это была инициатива Андрея Бородина (Yandex Cloud) как путь разрешения проблем с коммитфестами, которые мы относительно подробно описали в предыдущем выпуске. Андрей предложил обсуждать грядущие патчи сначала вне инфраструктуры коммитфестов. Организаторам Highload++ понравилась идея, а в Postgres Professional поддержали, и теперь помогут советами Олег Бартунов (Major Contributor) и Фёдор Сигаев (Major Contributor и FreeBSD Contributor), люди опытные.
А вот это волны, попавшие уже в следующий номер Postgresso:
Волны расходятся с тех пор, как Роберт Хаас (Robert Haas, EDB) издал в интернете крик души. Волны отразились от берегов: от одного берега пошла волна pre-commitfest, от другого вот что ... - ладно, всему своё время. Вернёмся в майский номер.
Олимпиады, состязания
XV Международная олимпиада в сфере информационных технологий «IT-Планета 2024»
Так почему-то называется большое видео, которое начинается с доклада Егора Рогова, директора по разработке образовательных программ в Postgres Professional. Сам доклад Егора (25-минутный) называется так:
Назад к основам. Должны ли мы понимать технологии, с которыми работаем.
«IT-Планета 2024»: задачи второго этапа по PostgreSQL - это тоже Егор. И это тоже:
Задачи третьего этапа по PostgreSQL.
(Немаленький блок о спортивно-программистских игрищах есть, кстати, и в Postgresso 8 (69), а в Postgresso #10-11 (71-72) есть о блистательной победе Котят и Роботов в MTC True Tech Champ 2024).
А вот и бег в самом буквальном из смыслов:
Фестиваль, который организует RUNIT, проходит с 2018 года: "для нас бег и ИТ — это неразделимые вещи, в основе того и другого — движение к цели. Спорт учит нас принимать быстрые и правильные решения и играть вдолгую".
Образование
На стыке 2023 и 2024 - вышла новая книга Мониторинг PostgreSQL Алексея Лесовского. И, конечно, регулярно подновляется книжка-малышка, сейчас готовится версия по PostgreSQL 17 - это уже 11-е издание, исправленное и дополненное. PostgreSQL (*) изнутри тоже обновляются: PostgreSQL 16 изнутри вышла в июне.
Миграция
Ну, об этом почти в каждом номере. В майском, наверное, самый объёмистый блок. Тут и собрание произведений Дипака Махто (Deepak Mahto) и разнообразные утилиты: pgCompare, db_migrator, DBMate 2.16, pgRoll 0.6.
ИЮНЬ
Итак: Волны расходятся с тех пор, как Роберт Хаас (Robert Haas, EDB) издал в интернете крик души. Волны отразились от берегов: от одного берега пошла волна pre-commitfest, от другого вот что: Robert Haas: Mentoring Program for Code Contributors.
Этот раздел называется:
Что делать?
В этом номере вообще названия разделов необычные: 150 Sloniks, А вот выдры - увы ... , Ещё IT-бег, ИТ-пикники. Есть и обычные: миграция, книги, статьи, конференции. Но Что делать - самый большой.
ИЮЛЬ
Из жизни малышей и гигантов
Опенсорсный проект ElectricSQL явил маленькое чудо. Совсем маленькое: сервер PostgreSQL уместился в архив 3МБ - это WASM. В Postgresso 8 (69) мы добавили к компании постгрес-васмовцев под эгидой Supabase ещё и Lantern.
Ну а гиганты? А вот. Из жизни НЕпостгресовых гигантов в данном случае. Мир Postgres уютный, хоть и большой. Но он часть вселенной. И Утиный раздел ниже - ещё одно окошко во внешний мир: How Uber migrated Petabytes of Data with Zero Downtime.
Postgres Pro Enterprise Manager 1.5
1 июля состоялся релиз версии 1.5. В этой версии PPEM (Postgres Pro Enterprise Manager) было 9 изменений.
Ещё в этом номере мы отметили, что в WAL-G 3.0.3 уже полная поддержка OreoleDB. Создатель OrioleDB, Александр Коротков (Alexander Korotkov) писал 8 месяцев назад: я рад присоединиться к компании Supabase в комментарии к посту Supabase Acquires OrioleDB. Сайт Oriole жив, запись OrioleDB beta7: Benchmarks, подписанная Александром и Павлом Борисовым (Pavel Borisov aka pashkinelfe, работающий в Supabase) датирована 1 декабря текущего года, на их гитхабе появляется со своим кодом и Артур Закиров, о котором мы только что говорили в контексте Postgresso 3 (64).
Есть в номере раздел:
Постгрес и утки
Это о DuckDB, конечно. Там статьи:
Does PostgreSQL respond to the challenge of analytical queries? - Андрея Лепихова (Andrei Lepikhov), Unleashing Postgres for Analytics With DuckDB Integration Пола Лоуренса (Paul Laurence), сооснователя Crunchy Data, Postgres Powered by DuckDB: The Modern Data Марко Слота, его коллеги (Marco Slot).
АВГУСТ
Библиотечка ЛМ
Расшифровываем: библиотека не в программистском, а в исходном смысле, а ЛМ=ЛохматыйМамонт, который собрал уже солидную коллекцию своих статей на хабре.
Происки и антипроиски
PG_MEM: A Malware Hidden in the Postgres Processes - инженеры Aqua Nautilus опубликовали обнаруженное ими злокозненное ПО (malware), которое маскируется под PG_MEM, накидывает фиктивные нагрузки, чтобы замаскировать майнинг крипты. Злоумышленников они ловили на живца.
Как это "на живца"? Ну, почитайте. А что ещё за антипроиски? Это для красного словца, тут на самом деле ничего экзотического, просто полезные инструменты: pgdsat, pgspot 0.8.0.
Neon Autoscaling is Generally Available - за достижениями Neon стараемся следить и оповещать о них регулярно. А это было сильное заявление: к downscaling до 0 прибавился бесшовный upscaling.
Миграция (с СосновойШишки на Фонарь) расшифровывается как Migrating from Pinecone to Lantern.
ИИ - эта тема появляется у нас, конечно, регулярно. Самый большой блок по ней, пожалуй, в этом номере. И ещё вот за чьей деятельностью - программистской и медийной - стараемся следить пристально: postgres.ai. В тот раз: на замечательном Postgres FM обсуждались и такие эпизоды:
pgvector — с Джонатаном Кацем (Jonathan Katz), конечно — участником PostgreSQL Core Team, главным менеджером продукта в AWS и контрибьютором pgvector;
pgvectorscale — с Мэтом Арье (Mat Arye) и Джоном Прюиттом (John Pruitt) из Timescale.
СЕНТЯБРЬ
Вышел Официальный Релиз PostgreSQL 17. Сказав новшества давно известны (в том числе из обзоров Павла Лузанова PostgreSQL 17: Часть 5, 4, 3, 2, 1), мы, однако сделали подборку статей, с этими новшествами связанных.
И More Release Note Details Брюса Момджана, и Enhanced Postgres Release Notes Грега Сабино Маллейна (Greg Sabino Mullane, Crunchy Data), и PostgreSQL 17 Unveiled: Key Highlights in Backup, Data Warehousing, Optimization & Logical Replication - беседа двух вице-президентов EDB: Брюса Момджана и Питера Айзентраута (Peter Eisentraut), и What's so great about PostgreSQL v17? Лауренца Альбе (Laurenz Albe, Cybertec), и опять Postgres FM | Postgres 17 - Николай и Майкл (Nikolay Samokhvalov, основатель Postgres AI, Michael Christofides, основатель pgMustard) обсуждают новое в PostgreSQL 17 на своём Posgres.fm. И ещё, и ещё.
Рынок.ru
Не частая у нас рубрика. Postgres Professional и АО «Флант» объявляют о заключении стратегического партнерства.
Postgres Professional направит инвестиции в размере 3 млрд рублей в развитие экосистемы программных продуктов компании «Флант».
А что с Эльбрусом? Умничать я не стал, дал ссылки на Ведомости, на видео блогера Максима Горшенина, который сам некогда работал в МЦСТ - Что там с Эльбрусом? | Переход Микрона на российские станки и химию | ИТЭЛМА спасает страну! и Российская техника имеет внутри недоверенный зарубежный процессор.
Но далее меня пробило тогда на слезу и на "деревья были большими":
Меня эта ситуация погружает в воспоминания и размышления: ведь в прошлой жизни я даже брал интервью у великого Бориса Арташесовича Бабаяна. Он меня очаровал тогда. Вот, чудом нашлось: моё интервью с Борисом Бабаяном, взятое, наверное, четверть века назад. А вот ещё и статья: «Эльбрус» растет (в Computerworld Россия, Издательство «Открытые системы»).
Ещё в этом номере есть огромный, странный список, где "вкладчики" разбиты по именам (взято из списка в релизе PostgreSQL 17):
Почёт вложившим свой труд в PostgreSQL.
Александры: Алексеев (Aleksander Alekseev), Кожемякин (Alexander Kozhemyakin), Коротков (Alexander Korotkov), Кузьменков (Alexander Kuzmenkov), Лахин (Alexander Lakhin), Пыхалов (Alexander Pyhalov), Шульгин (Alex Shulgin).
И так далее. Зачем? Захотелось. Но с мыслью, что кому-то по какой-то причине эта информация будет полезна.
ОКТЯБРЬ-НОЯБРЬ
Postgresso #10-11 (71-72) - так уж получилось.
Опять почти детективная история:
Работа над ошибками
Отмотаем плёнку немного назад: вышла новость, с восклицательным знаком, как обычно: PostgreSQL: PostgreSQL 17.1, 16.5, 15.9, 14.14, 13.17, and 12.21 Released!
Ура! Прикрыли дыру CVE-2024-10976. А Крейг Керстинс (Craig Kerstiens) предупреждает в блоге Crunchy, что не всё гладко: A change to ResultRelInfo - A Near Miss with with Postgres 17.1 - погорячились, не отследили совместимость некоторых расширений: TimescaleDB и Apache AGE уж точно. Пожаловался в том числе главный инженер Timescale. В статье Крейг объясняет, что это произошло из-за переделки структуры ResultRelInfo.
Но: дело уже прошлое - вышла 17.2 со свитой из более почтенных версий, где всё поправили. Но: история поучительная.
И вот релизы готовы, всё на месте: вышли "правильные" PostgreSQL: PostgreSQL 17.2. А также 16.6, 15.10, 14.15, 13.18, and 12.22 (12 - последний).
Подоспели и версии Postgres Pro Standard 17.2.1 (и её сёстры - 16.6.1 и т. д.) тоже всё поправили.
PostgreSQL 18: Часть 1 или Коммитфест 2024-07
Статья Павла Лузанова про июльский коммитфест. Открывает цикл о новостях будущей, 18-ой, версии PostgreSQL. Есть перевод Александра Мелешко: PostgreSQL 18: part 1 or CommitFest 2024-07. Если какие-то темы мы стараемся не пропускать, то статьи-обзоры коммитфестов Павла мы не пропускаем никогда :)
В этом номере много о конференциях. Больше всего о PostgreSQL Conference Europe 2024 в Афинах. Кроме всего прочего есть огромная коллекция видео на YouTube по тегу #pgconfeurop2024 - там 60(!) видео, открывается как плейлист. PGConf.EU 2024 in Athens, Extension Summit, OpenStreetMap talk, and others - обозревает Джимми Анджелейкос (Jimmy Angelakos).
Там же случилось социальное событие: учредили DTF - Diversity Task Force. DTF - структура временная, но деятельность в этом направлении будет постоянной, поясняют организаторы.
PGCONF.UZ 2024 - прошла 18 ноября в Ташкенте, в Университете Инха на улице Зиелилар. Первая такая конференция. Доклады на русском. 100 с лишним участников собрались в стенах Инха, остальные подключились онлайн.
К конференции вышла Малютка в переводе на узбекский:
И ещё интересные (и даже неожиданные) переводы готовятся. Но обнародовать рано.
ДЕКАБРЬ
Aurora DSQL
Мэт Гарман (Matt Garman), гендир AWS, объявил на сборище re:Invent в Лос-Анджелесе в присутствии 60 тыс. очных и 400 тыс (это ж почти полмиллиона!) онлайновых гостей о принципиально новой, геораспределённый СУБД Aurora DSQL. Более того: это была его инаугурационная гендирская речь. Так что ставки высоки. Видео есть на сайте re:Invent. Документация Aurora DSQL здесь.
Главная целевая аудитория - те, у кого приложения, обслуживающие миллионы клиентов по всему Земному Шару. Атомные часы, бессерверность и прочие красоты.
Все обсуждают сомнительную (но громко заявленную) совместимость с Postgres.
Например, Марк Брукер (Marc Brooker), он работает в AWS в Сиэттле: DSQL Vignette. Aurora DSQL, and A Personal Story и Тим Андерсон (Tim Anderson, представляет сайт DevClass): Amazon explains absence of familiar features in 'PostgreSQL compatible' Aurora DSQL.
Опять подглядывали
Это об ежегодном обзоре Timescale: A Sneak Peek Into the State of PostgreSQL 2024.
Фактор автобуса
Риджина Оби (Regina O. Obe) пишет: одна из главных проблем опенсорсных проектов - The bus factor problem, и я много думала, как это соотносится с командами моих PostGIS, pgRouting и OSGeo System Administration (SAC).
Неужели все кроме меня знают, что это за жуткий фактор? Мера сосредоточения информации среди отдельных членов проекта; фактор показывает количество участников проекта, после «попадания» которых под автобус или грузовик проект выживет.
И Регина набросала, что может стать страховкой для этих автобусов.
Основатель и техдир Виталий Кухарик - vitabaks (Vitaliy Kukharik). Но это ребрендинг: был проект postgresql_cluster - теперь у него статус форка от Autobase и лежит он на гитхабе уважаемых нами postgres-ai.
Postgres Pro Enterprise 16.6.1
Много исправлений и улучшений существующего. И много нового. Вместе с ней вышли, соответственно, 15.10.1, 14.15.1, 13.18.1 и 12.22.1.
Но самое интересное будет в Postgres Pro Enterprise 17. Её представят на новой конференции - PGProDay 2025, - пишем мы в этом номере.
И вот новость, которой в Postgresso не было, но жалко её упустить: только что вышел
Postgres Pro Enterprise 17.2.1
Успели в 2024 :) Но здесь мы о нём больше писать не будем - это уже будет в январском.
С НАСТУПАЮЩИМ, ДОРОГИЕ ЧИТАТЕЛИ!