PostgreSQL 17 RC1

Вышел 1-й релиз-кандидат. По сравнению с 3-й бетой: откатили MERGE/SPLIT секций. Окончательный релиз (GA) должен появиться 26-го сентября.

Обновления версий Postgres Pro Enterprise 16.4.1, 15.8.1, 14.13.1, 13.16.1, 12.20.1

Есть некоторые изменения по сравнению с предыдущими версиями. Например, в 16.4.1 уменьшено число попыток перепланирования запроса.

Конференции

PGConf.СПб 2024

Появилось расписание. Первый доклад - Павла Лузанова, возглавляющего отдел образования в Postgres Professional. Называется скромно: PostgreSQL 17. А пока можно почитать его PostgreSQL 17: Часть 5 или Коммитфест 2024-03.

Андрей Бородин (Yandex Cloud) представит Необычные возможности системы резервного копирования WAL-G, а Дарья Лепихова и Алексей Дарвин (оба Postgres Professional) - Выбор репликационного протокола при разработке pg_probackup3 (напомним, что 3-я версия не очередная, это практически переписанный с нуля pg_probackup, в отличие от 2.х).

Cиквел и приквел: занимательная археология Егора Рогова - это исторический экскурс. Новый (кажется) для Егора жанр, но не сомневаюсь, что это будет информативно и увлекательно:

расскажу, как работали с базами данных до Кодда и что изменилось с изобретением реляционной теории; поговорим о зарождении первых реляционных систем — System R и Ingres; о том, как появился и завоевал популярность язык SQL; о людях, которые определили наше настоящее и в какой-то степени будущее.

Ещё на этой конференции будет профессиональная сертификация по PostgreSQL. Тестирование пройдет по PostgreSQL версий 10 (DBA2, DBA3, QPT) и 13 (DBA1, DBA2, DBA3, QPT, Expert 10 → 13). Обладатели уровня «Эксперт» по PostgreSQL 10 смогут сдать переходный тест «Эксперт 10 → 13» и получить сертификат «Администратор PostgreSQL 13. Эксперт» по упрощённой системе. Тестирование только очное. Чтобы пройти сертификацию, нужно записаться в личном кабинете сайта Postgres Professional.

Back from PGDay UK 2024

Этот PGDay посвящён памяти Саймона Риггса (Simon Riggs) - основателя 2nd Quadrant. Автор данной зарисовки — Стефан Феркот (Stefan Fercot, Data Egret) — говорит, что программа была компактная, но доклады интересные. Сам он делал доклад «из жизни»: How To Achieve Minimal Downtime In PostgreSQL Maintenance Tasks.

О новшествах 17-й версии рассказывал Магнус Хагандер (Magnus Hagander, Redpill Linpro). Стефану Феркоту понравилось в этой версии то, что некоторую статистику из pg_stat_bgwriter перенесли в представление pg_stat_checkpointer.

У Магнуса на сайте есть небольшой (и не полный) список грядущих и прошедших конференций. Грядущие:

PGConf NYC 2024

Пройдёт 30 сентября - 2 октября.

PGConf.EU 2024

22-25 октября, в Афинах.

Nordic PGDay 2025

18 марта в Копенгагене.

Writing a good talk proposal

А вот Томаш Вондра (Tomas Vondra) рассказывает не о конференции, а о том, как туда попасть в качестве докладчика — как очаровать своим описанием доклада программный комитет.

По этой теме давал свои рекомендации Брюс Момджан. Шесть лет назад, но - это же Брюс Момджан: Submitting Talks to Conferences.

Библиотечка ЛМ

Расшифровываем: библиотека не в программистском, а в исходном смысле, а ЛМ=ЛохматыйМамонт, который собрал уже солидную коллекцию своих статей на хабре (конечно, ему помогают в их написании коллеги из Postgres Professional, специализирующиеся в своих областях). В этом выпуске будет много о нашей компании — накопилось много интересного. В следующих номерах баланс будет восстановлен.

Майкл Стоунбрейкер: «Всё новое — это хорошо забытое старое. Продолжение»

Начнём с перевода. Об оригинале - What Goes Around Comes Around... And Around... мы писали ещё в позапрошлом выпуске. Авторы — великий Майкл Стоунбрейкер и выдающийся теоретик и практик (но, увы, OtterTune, его интереснейший стартап приказал другим стартапам долго жить) Эндрю Павло (Andrew Pavlo, мы больше привыкли к Энди, хотя он профессор Карнеги Меллон).

Эта статья — настоящее событие. Перевод, соответственно, тоже. Она хороша и для людей маркетинга — в ней жёсткий и аргументированный посыл: новые архитектуры приходят и уходят, реляционные СУБД остаются. Но прежде всего она хороша содержательной стороной: я читал эту огромную статью взахлёб: не из-за прибауток (их там нет), а очарованный раскладыванием сложнейших архитектурных понятий по полочками и их очисткой от маркетинговых наростов. Ясно мыслят и ясно формулируют. Сначала рассматриваются такие архитектуры, появившиеся за последние 20 лет:

  1. Системы MapReduce.

  2. Хранилища «ключ‑значение».

  3. Документоориентированные базы данных.

  4. Базы данных типа «Семейство столбцов».

  5. Текстовые поисковые движки.

  6. Базы данных массивов.

  7. Векторные базы данных.

  8. Графовые базы данных.

Дальше те, что появились в последнее время:

  1. Колоночные системы.

  2. Облачные базы данных.

  3. Озера данных / Lakehouses.

  4. Системы NewSQL.

  5. Аппаратные ускорители.

  6. Блокчейн‑базы данных.

Продолжаем выжимать максимум из PostgreSQL

То есть выжимать из ванильного PostgreSQL, из Postgres Pro и из Postgres Pro с CFS. Эта статья - дополнение к статье Selectel о постгресовом выжимании. Там сравнивались Postgres Pro Enterprise 15–16 и PostgreSQL 15–16 — дефолтные версии того и другого, потом делалась автонастройка Postgres Pro.

В статье ЛМ чётко прописаны настройки для:

  1. PostgreSQL,

  2. Postgres Pro и

  3. Postgres Pro с CFS.

В 1-м варианте тестирования - то, что разворачивалось по дефолту. Небольшой список - десяток параметров.

А вот во 2-м варианте список более тонкой настройки очень солидный - под 60 параметров. И эти настройки применялись ко всем 3 участникам тестов.

В 3-м варианте к этим спискам у Pro добавили настройку всего 7 параметров, которые специфичны для Pro Enterprise.

О настройках можно послушать в докладе Ускоряем железо и OS под PostgreSQL. на PGMeetup.СПб/24 Михаила Жилина (но там тема шире: есть ещё и про NUMA — сложнейшие материи). Он и тестировал конфигурации из этой статьи.

Результаты представлены в виде 3-цветных столбиков. Спойлерить не буду.

Что касается автора исходной селектеловской статьи, то он, Максим aka Maksvelis, не первый раз тестирует Postgres, и x86 не ограничивался, а к Intel и AMD добавлял ещё и ARM: Кто мощнее в базах данных? Сравниваем производительность БД на серверах с ARM- и x86-процессорами. Да что там ARM, Максвелис исследовал и Эльбрусы, да ещё какие: 8СВ с архитектурой с широким словом (но Postgres не тестировал, хотя он там работает без двоичной компиляции).

С заботой о CPU: как найти узкое горлышко и сконфигурировать Postgres Pro

Эта статья — анализ реального случая, произошедшего у клиентов компании. Жанр для союза писателей Postgres Professional не новый, вот, например: Битвы на территории ZFS, или, скажем Параллелизм в PostgreSQL: не сферический, не конь, не в вакууме. С заботой о CPU — случай совсем свежий. Напомним, что и англоязычный блог Андрея Лепихова на Сабстеке, который мы обильно цитировали в (1) и (2), называется Conserving CPU's cycles ...

Обоснованное беспокойство клиента вызвала загруженность процессора — более 90%. Производительность просела. Что делать? Да, в общем, не дёргаться, а снижать нагрузку понемногу, оптимизируя то здесь, то там. Для этого использовался в том числе действительно мощный инструмент pgpro_pwr Андрея Зубкова (многие знают pg_profile, в PWR (pgpro_pwr) функциональность расширена). Тут обнаружились интересные нюансы: время планирования, например, не так уж часто влияет на общие издержки, но тут решили его подсократить, используя sr_plan. Вывод такой: надо воздержаться от обобщений. В каждом конкретном случае надо рассматривать факторы, метрики как материал для анализа и принятия решений. Серебряные пули остаются в сказках для своей ЦА.

Как мы делаем свой DBaaS

Ну как делаем — вот так берём и делаем. Это решение стремительно развивается, поэтому почитайте, а дальше следите за обновлениями. Имеется ролик на ютубе.

Спорт (не бег)

Вот к этой теме — Как мы судили на чемпионате России по спортивному программированию — имеется богатый контекст, о нём чуть позже. А в данном случае судили-рядили опять с участием Михаила Жилина и Лохматого Мамонта, который на этот раз предстал Александром Фатиным, скромным DevRel.

Спортивное программирование — это признанный государством вид спорта (о чём есть запись в соответствующем реестре), со всеми полагающимися вещами: федерацией [Федерация спортивного программирования], турнирами и прочими чемпионатами.

Не только судили, но и сформулировали задание на «Отборочный этап чемпионата России по спортивному программированию» в дисциплине «Продуктовое программирование». Это студенческий трехдневный онлайн‑хакатон, победители состязались уже в финале чемпионата страны в Москве. На сайте почему‑то нет описания, они доступны только начиная с июня 2023. Задание было для нас, читателей и писателей Postgresso, несколько неожиданное: Smart‑мониторинг базы данных PostgreSQL через бот в Telegram. Админ ушёл из офиса, у него с собой только телефон, а базе стало плохо. Как бот должен проводить аутентификацию и авторизацию админа? О каких проблемах его надо уведомлять? Каким образом? Какие варианты действий надо предлагать? В статье рассказано, на чём сыпались, там есть «Непрошенные советы организаторам», Александр справедливо критикует алгоритмы отбора.

События происходили осенью 2023, но мы их пропустили, к сожалению. А теперь такая новость:

XXV Открытая Всесибирская олимпиада по программированию им. И.В. Поттосина

Стартовала регистрация, состав команды — три участника и тренер. Основной язык соревнований — русский, рабочие языки олимпиады — Pascal, C/С+, Java, Kotlin, Python. Участвуют школьники, студенты и аспиранты. Один из спонсоров - Postgres Professional (2-й год подряд). Также: Яндекс, ЦФТ, VC Education, ICPC Northern Eurasia.

29 сентября в 10:00 (UTC +3) пройдет интернет-тур, можно участвовать из любой точки мира, количество команд от одного учебного заведения в этом туре не ограничено. С 1 по 5 ноября 2024 года сильнейшие команды, прошедшие интернет-тур, примут участие в очном турнире в НГУ.

Мы писали про «IT-Планета 2024»: задачи третьего этапа по PostgreSQL, а до этого задачи второго этапа по PostgreSQL. И за год до этого мы тоже публиковали этапы олимпиадного процесса и результаты 2023: Задачи третьего этапа олимпиады «IT-Планеты» по PostgreSQL и Задачи второго этапа олимпиады «IT-Планеты» по PostgreSQL. На сайте ИТ-Планеты можно посмотреть результаты. Итак, усилия Postgres Professional со стороны Егора и Ильи Баштанова теперь дополнились — в другом состязании — где поучаствовали Михаил Жилин и Александр Фатин.

Но — справедливости ради (а Postgresso и создавалось справедливости ради — по мере наших сил) — начинались игрища раньше, и не с Postgres Professional. На хабре есть статьи Евгения Бредни от 2018 года, тогда ещё ака ораклоид BZQ (сейчас он возглавляет службу поддержки Postgres Professional). Речь там об олимпиаде 2016/17, а она уже тогда проводилась в десятый раз. В большой статье Как мы делали олимпиаду по SQL Евгений говорит и о целях:

Я очень старался, чтобы задачи имели выраженный вау‑эффект типа «да неужели такое вообще возможно на SQL», и чтобы быть подальше от традиционной олимпиадной тематики, требующей довольно специфических навыков. Сложность каждой задачи заключалась в первую очередь в том, чтобы представить (ну и в дальнейшем реализовать) сам декларативный способ решения вполне себе самостоятельной и нетривиальной даже для классического программирования задачи [болд мой].

В статье условия 5 задач, вот разбор 1 из них: задача про календарь. В разборе этой задачи происходит примечательный сдвиг:

Поколебавшись некоторое время, я остановил свой выбор на PostgreSQL, чтобы пощупать поближе, как он по сравнению с оракловой базой будет смотреться в этой задаче. Выразить все необходимые шаги решения на другом диалекте SQL не должно быть проблемой, лично я с этим справился быстро. Напомню, что на олимпиаде, откуда взята задача, использовался именно Oracle SQL, на котором и было изначально написано референсное решение.

Кстати, Евгений и без олимпиады подкидывал задачки: SQL: разбор задачи на поиск последней цены. В общем, полистайте.

Заодно: в Postgresso 12 (61) есть пара задачек с собеседований при приёме на работу. А вот зам гендира Postgres Professional Иван Панченко aka x-wao представляет Разбор задач викторины Postgres Pro на PGDay'17.

И напомним о Advent of Code — это адвентистский календарь кодировщиков, который придумал Эрик Вастль (Eric Wastl). Задачки он задаёт каждый год с 1-го декабря по Рождество — по 25-е декабря по одной в день. Решать их можно на любом языке программирования — об этом мы писали, например, в Postgresso №6 (55). Там и ещё задачки, если кому интересно. Грег Сабино Маллейн (Greg Sabino Mullane - тогда мы ещё звали его Муллани) решал задачу (задачищу) Pyroclastic Flow. Слонам надо выбраться из пещеры, вход в которую заваливают камни в форме разных тетрисовских фигур. А теперь:

Using SQL's Turing Completeness to Build Tetris

Некто Нуно Фариа (Nuno Faria). Это не чистый SQL, там есть вспомогательный скрипт на питоне. У него ещё есть Тетрис с ИИ и ещё что-то игривое

Интервью, подкасты: Между скобок и Postgres FM

Интервью с Егором в Между скобок по поводу его книги PostgreSQL 16 изнутри.

Обычное дело: не было книжки, которая бы во всём нравилась самому, значит надо написать свою — с оптимальной степенью погружения в технологические детали: не поверхностно, но и не ныряя в анализ C‑кода. Эта книга не для админов, и не для прикладных разрабов — она для взаимопонимания тех и других — объясняет Егор. Хочет дописать некоторые вещи, главу про репликацию, например.

Юбилей Postgres FM (эх, пропустили)

To 100TB, and beyond!

Postgres FM запустили НиколайСамохвалов и Майкл Кристофайдес (Nikolay Samokhvalov — основатель Postgres AI, Michael Christofides — основатель pgMustard). На юбилейный выпуск они позвали Арку Гангули из Notion, Сэмми Стила из Figma и Дерка ван Веена из Adyen (Arka Ganguli, Sammy Steele и Derk van Veen). Они замечательны тем, что масштабировали Postgres до сотни ТБ (или около того). Как всегда на страничке выпуска большое количество полезных ссылок. В данном случае целых 14 — сонет из ссылок.

А вот, скажем, апрельский эпизод Николая и Майкла: Don't do this. Они воодушевились страничкой Don't Do This в PostgreSQL wiki, добавили воспоминаний не всегда приятных, избранных фрагментов из своего FM, иллюстрирующих тему.

А есть ещё Postgres TV, которые Николай ведёт со своим давним соратником ещё по Постгрес‑Вторникам — с Ильёй Космодемьянским (Ilya Kosmodemyansky, DataEgret). Ну а Вторники #RuPostgres незабываемы! Успехов!

Discussing the Postgres Startup Ecosystem

Николай и Майкл обсуждают растущую и меняющую направление роста (shifting) коммерческую экосистему вокруг Postgres. В фокусе внимания Neon, Tembo и Aiven. Но говорят не только о них, отнюдь. Под каждым их роликом простыня из ссылок, а под этим их добрых 3 десятка!

Сообщество: ликбез и пре-коммитфест

Understanding the Postgres Hackers Mailing List Language

Грег Сабино Меллейн (Greg Sabino Mullane, Chrunchy Data), следуя в фарватере усилий последнего времени — то есть демократизации разработки — публикует даже собственный словарик. Там и известные постгресистам сокращения (CFM = commitfest manager), и жаргонные словечки (bikeshedding, footgun), и даже старинный интернет-жаргон (AFAICT).

Postgres Pre-Commitfest Party на Saint HighLoad++ 2024 и Q&A: PostgreSQL Pre-Commitfest Party на Saint HighLoad++ 2024

Пре-коммитфесты — самое, может быть, интересное и полезное, что появилось за последнее время в постгресовом мире. С чего бы во множественном числе? Пока же был только один: на Saint HighLoad++ в Питере. Ну так, если полезно и интересно, то обязательно будет.

Заметьте, что кроме целой толпы из Postgres Professional (напоминаем, что идея пришла в голову Николаю Шаплову, а идею реализовали Андрей Бородин из Yandex Cloud и коллеги Николая) там есть и 2 представителя Tantor Labs и 1 СберТеха.

Происки и антипроиски

PG_MEM: A Malware Hidden in the Postgres Processes

Инженеры Aqua Nautilus опубликовали обнаруженное ими злокозненное ПО (malware), которое маскируется под PG_MEM, накидывает фиктивные нагрузки, чтобы замаскировать майнинг крипты.

Злоумышленников они ловили на живца, фактически провоцировали. В качестве приманки подпустили легко угадываемую пару логин/пароль. И заманили. После этого смотрели, что же эти киберушкуйники будут делать. А они создавали новые привилегированные роли, получали суперюзера и, запустив что им нужно, тут же убирали права суперюзера, чтобы убрать потенциальных конкурентов — ведь подобрать пароль было легко. А майнинг требует ресурсов — делиться ими с кем‑то было бы обидно. Заодно убивали задания в cron — как кукушка, выкидывающая некукушиных птенцов из гнезда.

Увлекательная история. Автор запостил карту серверов, которые в опасности. Их 838 тысяч, недалеко до миллиона. Зовут автора Ассаф Мораг (Assaf Morag, ведущий аналитик данных в Aqua Nautilus.

pgdsat

Расшифровывается как PostgreSQL Database Security Assessment Tool. Это набор скриптов, который проверяет около 70 параметров PostgreSQL, влияющих на безопасность. Туда же входит CIS compliance benchmark. Разработчики - HexaCluster. Компания интересная. Они ещё делают вот такой инструмент доступа к PostgreSQL: Connecting to PostgreSQL with Go using PGX.

Между прочим, на PGConf.СПб 2024 будет доклад Проверка на прочность. Утилиты для анализа и оптимизации PostgreSQL Руслана Рангулова из Софтлайн. Там среди утилит числится pgdsat.

pgspot 0.8.0

Об этом писали в прошлом выпуске, напоминаем. Интересный инструмент для выявления уязвимостей в SQL-скриптах Postgres, выложен на гитхабе Timescale.

Новости serverless и WASM

Neon Autoscaling is Generally Available

Логичное движение Neon в сторону автоматизации и экономии ресурсов. Serverless это по определению нулевые ресурсы, когда они не нужны (downscaling до 0). С самого начала в компании двигались и в противоположном направлении (бесшовный upscaling). Итого команда сразу начала разрабатывать средства гибкого автоматического масштабирования. И вот, разработала.

Их autoscaling algorithm глубоко интегрирован в архитектуру Neon, где хранение и вычисления разнесены. Каждый экземпляр Postgres сидит в своей виртуальной машине. NeonVM строго изолирован и умеет то, чему Kubernetes ещё не научился: миграцию с ноды на ноду за миллисекунды. Поэтому базы могут автомасштабироваться тоже за миллисекунды.

AWS Services Using SQL for Big Data Analysis

Большая статья в Simple Talk на сайте Red Gate ed‑gate.com. Выделим интересный, не слишком широко известный сервис, в котором мелькает модное словечко бессерверный:

Amazon Athena — бессерверный интерактивный сервис для запросов к Amazon S3. Можно делать запросы к структурированным данным (реляционным и CSV), можно к слабоструктурированным (JSON и XML), можно к неструктурированным (текст, логи, двоичные).

Dynamically loaded extensions in Postgres in the browser

Не далее, как в прошлом выпуске мы писали о PGlite и Wasm, но тогда героями были Supabase с их http-интерфейсом. Lantern сделали примерно то же самое, но в свою сторону: на недавнем хакатоне AGI House (то есть в Доме Универсального Искусственного Интеллекта) в Сан Франциско они представили расширение, которое запускается прямо в браузере. Тоже поверх pglite, конечно.

Миграция (с СосновойШишки на Фонарь)

Миграция на Postgres. Но необычная миграция на необычный Postgres. Не с Oracle, не с MS Server: Migrating from Pinecone to Lantern.

Функция create_from_pinecone клиента lantern-pinecone автоматически мигрирует данные с Pinecone на Postgres, используя Pinecone API, со всеми ключами, переменными окружения, индексами и пространствами имён.

ИИ

На замечательном Postgres FM обсуждались и такие эпизоды:

  • pgvector — с Джонатаном Кацем (Jonathan Katz), конечно — участником PostgreSQL Core Team, главным менеджером продукта в AWS и контрибьютором pgvector;

  • pgvectorscale — с Мэтом Арье (Mat Arye) и Джоном Прюиттом (John Pruitt) из Timescale.

Ivntroducing Tembo AI: the simplest way to build AI applications on Postgres

Пишет Адам Гендель (Adam Hendel, разработчик‑основатель — founding engineer). Это, мол, для тех, кто не хочет отдавать свои данные провайдерам LLM. У тех, кто выберет Tembo Cloud, данные будут передаваться в LLM внутри личного пространства в облаке, куда встроены LLM. При этом пользователям будут доступны модели от 8 млрд параметров до 70+ млрд. Но это относилось к периоду ат альфа до общедоступной версии, что происходит сейчас, мы не поняли (кому это нужно, поймёт, наверное). В тембовском решении задействованы сразу 3 ИИ‑расширения:

  • vector + vectorscale: хранение, запросы, поиск имбеддингов в самой базе.

  • pg_vectorize: надёжный инструмент не только генерирует имбеддинги, но и обновляет их. Это помогает строить RAGи.

Tembo AI совместимы с OpenAI SDK. И можно иметь в виду, что решения Tembo поддерживают GPU.

Understanding pgvector's HNSW Index Storage in Postgres

В блоге Lantern, которые разработали одноименное расширение, предлагают облачные услуги Lantern Cloud. Размещение векторной информации — более дешёвое и выгодное (как они говорят — вслед за Стоунбрейкером и Павло), чем у векторных Pinecone и Milvus.

90x faster than pgvector — Lantern's HNSW Index Creation Time

Индекс собирается не внутри Postgres, где собирался бы в 1 поток, а «на стороне», со всеми прелестями многопоточных вычислений на множестве ядер.

Нейронные оптимизаторы запросов в реляционных БД (Часть 1)

В первой части этой статьи автор — Савелий@Safreliy— разбирает 3 модели:

  1. MSCN (2018) — модель для оценки кардинальности запросов

  2. DQN (2018) — модель построения плана выполнения запроса

  3. NEO (2019) — end‑to‑end‑подход, объединивший в себе как обучаемую функцию оценки скорости выполнения заданного плана, так и само его построение.

В каждом случае объясняет принцип работы алгоритма, как обучать, некоторые бенчмарки. Вывод таков:

почти везде нейросети обгоняют по качеству и производительности классические эвристические подходы, существовавшие на момент их создания. Однако засилия этих сетей на практике не наблюдается (типичная ситуация для большинства научных работ: результаты великолепные, а пользы никакой). По всей видимости разработка продуктового нейросетевого решения, которое будет удовлетворять всем нюансам работы реальных коммерческих систем, было дорого и сложно в 2018–19 годах. Инертность индустрии никто не отменял, а живём мы без преувеличения в переломное время. Возможно, именно сейчас мы станем свидетелями революции не только в мире языковых моделей, но и в мире реляционных БД. Но об этом уже в следующих статьях.

The Rise, Realities, and Potential, of Distributed SQL + Vector Databases in the AI Era

Автор — Спенсер Кимбол (Spencer Kimball, гендир Cockroach Labs, и (не знал!) создатель GIMP в годы своей учёбы в Беркли. Статья на непрофильном для СУБД‑строителей ресурсе: на Datanami. И в статье ни одного упоминания конкретной СУБД, только обобщения.

Вот ещё на похожую тему с Datanami:

Forrester Slices and Dices the Vector Database Market

Автор Алекс Вуди (Alex Woodie). Он говорит: рынок векторных баз данных просто взорвался. Но многие в недоумении: а не достаточно ли постгресового расширения pgvector для нужд Универсального ИИ? Какие преимущества у собственно векторной базы перед мультимодальными базами? Всегда ли векторные базы работают в облаке, нельзя ли их запустить у себя?

Есть большая таблица из отчёта Forrester за 2-й квартал 2024: что могут и чего не могут векторные базы и невекторные базы с векторными возможностями. В ней есть EDB, но нет PostgreSQL. Вот ещё одна статья Алекса примерно на ту же тему: Vectors: Coming to a Database Near You. К Forrester прибавился ещё и Gartner, в этой статье тоже красивые графики и диаграммы.

Бэкап как гейм-чейнжер

Why PostgreSQL 17's Incremental Backup Feature is a Game-Changer

Из статьи Дэвида Вагонера и Тима Бутина (David Wagoner и Tim Boutin, EDB) получается, что не PostgreSQL 17 сам по себе геймчейнджер, а инкрементальный бэкап в Barman 3.11. Да, в комбинации с PostgreSQL 17: мощный дуэт реализует бесшовные стратегии Enterprise-класса.

Немного о памяти

Memory overcommit and PostgreSQL

Иногда ОС ведёт себя как компания-авиаперевозчик, сознательно бронирующая большее число билетов, чем есть реальных мест в салоне лайнера - узнаём мы из статьи Лауренца Альбе (Laurenz Albe, Cybertec). Это поведение Linux можно корректировать, подкручивая параметр vm.memory_overcommit. Но делать это надо аккуратно, можно вообще обрушить сервер. Есть в статье и отдельная главка для случая контейнеров.

How to Get the Most out of Postgres Memory Settings

Статья Шона Томаса (Shaun Thomas, EDB — о, нет, простите: уже тоже в Tembo!), в которой самая важная часть называется Sharing is Caring — мы бы перевели делись с умом. Действительно, обсуждается много настроек параметров, не только shared_buffers. Дальше про work_mem, пулинг, распухание (bloat) — вполне по делу.

Controlling Resource Consumption on a PostgreSQL Server Using Linux cgroup2

В блоге Percona, адресовано прежде всего тем, кто мучается с мультиарендными и многохостинговыми (multi-tenancy/co-hosting) проблемами.


На сегодня всё.

Комментарии (4)


  1. bolk
    23.09.2024 03:48

    Я как-то писал «99 бутылок пива на стене» на синтаксисе команды psql ) Забавно, что там уже целый язык программирования получился


    1. 0Bannon
      23.09.2024 03:48

      Осталось на нём очередной дум запустить


      1. PrinceKorwin
        23.09.2024 03:48
        +1

        Можете попробовать. Движок уже есть:
        https://habr.com/post/435390/

        :)


  1. danolivo
    23.09.2024 03:48

    в 16.4.1 уменьшено число попыток перепланирования запроса.

    Интересно, а зачем уменьшать-то? Вроде перепланирование само отключится, когда прерывание выполнения не дает полезной информации для оптимизатора. Если же там наблюдаются осцилляции по данным обучения - так я скорее поверю в баг фичи ...