Наверняка, многие уже слышали, что новый правообладатель GreenPlum — компания Broadcom — перевела репозитории с открытым исходным кодом на GitHub в архивный статус.
Теперь основной репозиторий GreenPlum выглядит примерно так:
Новые версии оригинального ядра, вероятнее всего, уже не будут выкладываться в публичный доступ, а начнут появляться только в коммерческой версии продукта. Это касается и 6-й, и 7-й версии.
Версии ядра, которые были выложены в open source на момент закрытия репозитория, остались под лицензией Apache 2.0, и их можно легально использовать. Но, как видно на скриншоте выше, в оригинальном репозитории не осталось веток, тегов и дистрибутивов.
Мы — ГК «ГлоуБайт» — уже больше двух лет развиваем инструменты над open source GreenPlum 6 и выкладываем их в открытый доступ под лицензией Apache 2.0. Об этом мы писали статью, в которой прикладывали ссылки на все наши open source репозитории.
Для сборки исходных кодов GreenPlum и дополнительных утилит мы использовали свои пайплайны и зеркала оригинального репозитория GreenPlum.
Сегодня мы решили перевести эти репозитории в открытый доступ на нашем GitLab.
По ссылкам ниже доступен оригинальный код GreenPlum без каких‑либо изменений, с сохранением оригинальных веток и тегов.
Более того, к репозиториям мы добавили ссылки на скачивание дистрибутивов, собранных нашими пайплайнами, включая дистрибутивы под версии ОС, которых ранее не было в открытом доступе: Ubuntu 22.04, Альт Сервер 9.
Сейчас для скачивания доступны дистрибутивы GreenPlum 6.24.6 и 6.25.3. В скором времени появятся сборки под более новые версии до 6.27.1, которая была последней на момент закрытия репозиториев.
В планах — выложить дистрибутив последнего доступного GreenPlum 7.1 и провести нагрузочные тесты для сравнения с 6.х. Цели нагрузочного тестирования:
проверить стабильность новой версии под конкурентной нагрузкой,
сравнить производительность.
Ссылки на репозитории:
А вот так выглядит наш репозиторий, ветки и теги на месте!
Также напомню, что у нас есть репозитории с инструментами поверх GreenPlum, о которых я писал в предыдущей статье:
https://git.angara.cloud/gbgreenplum/greenplum.monitoring — репозиторий мониторинга кластера,
https://git.angara.cloud/gbgreenplum/greenplum.metric.hook — репозиторий библиотеки хуков,
https://git.angara.cloud/gbgreenplum/greenplum.playbook.core — репозиторий для плейбуков установки ядра GreenPlum,
https://git.angara.cloud/gbgreenplum/greenplum.playbook.monitoring — репозиторий для плейбуков установки мониторинга,
https://git.angara.cloud/gbgreenplum/greenplum.playbook.loadtest — репозиторий для плейбуков установки фреймворка нагрузочного тестирования.
Мы решили пойти еще дальше – и в скором времени откроем репозиторий с нашим агентом для сбора и хранения полученных метрик.
Раньше эта часть предполагалась только для использования под нашим Cluster Manager, но мы решили поделиться ей со всеми.
После открытия репозитория достаточно будет запустить плейбук установки, сконфигурировать фильтры для отсечения лишних запросов и наблюдать как в отдельной БД на PostgreSQL появляется информация по активным запросам и формируется их история.
Ниже представлена схема работы агентов:
Исходный код наших пайплайнов сборки и докер-файлов также планируем открывать. Каждый сможет самостоятельно собрать дистрибутив под себя со своими ключами в своей среде разработки, взяв за основу наши пайплайны сборки.
В комментариях было бы интересно почитать ваше мнение по поводу закрытия исходных кодов GreenPlum и мысли о будущем использовании на ваших проектах.
Комментарии (14)
lestvt
11.06.2024 12:07+2Проживём без гринплама, хадупа и редиса. Пока ждали 7-ку уже lakehouse появился и streamhouse
tehdima
11.06.2024 12:07+1Порыв отличный, но надеюсь если сообщество контрибьюторов заинтересуется отечественными форками, то не будет ли их интерес размазан между вами и аренадатой(если они будут ванильный дистр развивать, не знаю о таких планах), потому что, как мне кажется, в одиночку компании не затащить развитие такого проекта, насколько бы большая и квалифицированная команда у нее не была, если мы говорим в рамках пост-опенсорса.
Кстати, не успел походить по просторам интернетов, и не знает ли кто - есть на данный момент широко поддерживаемые сообществом форки ванильной версии?
mmlebedev Автор
11.06.2024 12:07+1Мы не претендуем на звание вендора и не заявляем, что будем делать новые фичи в ядро gp. Наши инструменты вокруг gp могут работать над разными сборками, с оговорками конечно же. Тут мы просто открыли то что было в opensource, без каких-либо наших правок.
Разделяю тезис, что развитие такого большого проект в одиночку сомнительно, и поддерживаю идею двигаться в одном направлении с сообществом.
Второй вопрос не до конца понял.
EvgenyVilkov
11.06.2024 12:07Реальность такова,
-везде кроме пост-СССР GP почти умер
-ни от кого ПИвотал\ВМварь\Пивотал почти не принимали изменения. реально не болтше 1% (на 2021 год)
-после 02.2022 от российских коммитеров вообще ничего не принималось. Аренадата все свои правки применяла к мастер от пивотал в каждом своем релизе (они про это на последнем Аренадатадей в открытую сообщили)
-Китацы перешли на свои форки и локализации
Внимание вопрос: о каком развитии опенсорс ванили ГП может быть идти речь?
Andrei_Sh
11.06.2024 12:07+1А как планируете развивать этот проект? Сделаете потом свою энтерпрайз версию и будете продавать лицензии и ТП?
mmlebedev Автор
11.06.2024 12:07Практически все наши наработки планируем выкладывать в открытый доступ. Развития самого ядра в планах на данный момент нет, только инструменты поверх ванильного gp. В построении бизнеса на лицензировании open source без внесения чего-то нового, лично я смысл не особо вижу.
Ivan22
11.06.2024 12:07В мире greenplum никому не нужен
freecoder_xx
11.06.2024 12:07А что нужно?
Ivan22
11.06.2024 12:07все что клауд нейтив, snowflake, databricks, synapse, redshift, bigquery и т.п.
freecoder_xx
11.06.2024 12:07+1Спасибо, что ваша компания решила выложить в общий доступ исходники Greenplum и свои наработки вокруг него.
Сейчас из-за закрытия апстрима многие пользователи дезориентированы. У нас тут образовалась небольшая инициативная группа по организации форка Greenplum, мы ведём переговоры с компаниями о возможном их участии в развитии форка. Было бы здорово, если бы вы тоже присоединились!
Ссылка на группу в Телеграмме "Развитие форка Greenplum": https://t.me/+epF0slohPBNmODdi
Rikhmayer
"Шуточная" картинка из начала статьи - это ненормально.
EvgenyVilkov
В чем именно ее ненормальность?