Всем привет. Предлагаю сделать передышку и отойти от нашего хранилища бэкапов (Первая часть и вторая часть ) и рассмотреть еще возможности испытуемой ОС. Сегодня как видно из названия мы начнем «готовку» виртуальных машин c помощью nix‑build.
А динамические данные как например данные в БД — мы будем заливать ручками(это полезно).
Что у нас в меню:
Qemu
Postgresql
Mysql
открытые датасеты
Для начала немного теории:
1. PostgreSQL — это мощная объектно‑реляционная система баз данных с открытым исходным кодом, активная разработка которой ведется более 35 лет и заслужила прочную репутацию благодаря надежности, функциональной устойчивости и производительности. (https://www.postgresql.org/)
2.0. MySQL — свободная реляционная система управления базами данных (СУБД). Под словом «свободная» подразумевается ее бесплатность, под «реляционная» — работа с базами данных, основанных на двумерных таблицах. Система выпущена в 1995 году, её разработка активно продолжается. ( https://dev.mysql.com/ )
2.1 MariaDB Server — одна из самых популярных реляционных баз данных с открытым исходным кодом. Он создан первоначальными разработчиками MySQL и гарантированно останется открытым исходным кодом. Он является частью большинства облачных предложений и используется по умолчанию в большинстве дистрибутивов Linux.
Он основан на ценностях производительности, стабильности и открытости, и Фонд MariaDB гарантирует, что вклад будет принят на технических основаниях. Недавние новые функции включают в себя расширенную кластеризацию с помощью Galera Cluster 4, функции совместимости с базой данных Oracle и таблицами временных данных, позволяющие запрашивать данные в том виде, в каком они были в любой момент в прошлом.
3. Датасет представляет собой набор данных, которые используются в различных видах анализа и машинного обучения. Причем успешность последнего напрямую зависит от объема исходной информации: чем ее больше, тем качественней будет развиваться ИИ.
В данном примере мы будем скачивать их с ресурсов,которые предосталяют доступ к наборам данных без регистрации и авторизации для народного wget.
1) https://www.northlincs.gov.uk
Перейдем к практике.
Проверим, что все в репозиториях есть и каких версий (необьязательно,но интересно, возможно пригодится):
Ищем нужные пакеты с помощью nix-shell --packages и несколько раз нажимаем на tab, чтобы лишний раз их не ставить, а просто узнать, есть ли он.
PostgreSQL
# nix-shell --packages postgre
postgresql postgresql_11_jit postgresql_12 postgresql12Packages postgresql13JitPackages postgresql_14_jit postgresql_15 postgresql15Packages postgresql_jdbc postgresqlPackages
postgresql_10 postgresql11JitPackages postgresql_12_jit postgresql_13 postgresql13Packages postgresql14JitPackages postgresql_15_jit postgresql_9_6 postgresql_jit postgresqlTestHook
postgresql_11 postgresql11Packages postgresql12JitPackages postgresql_13_jit postgresql_14 postgresql14Packages postgresql15JitPackages postgresql96 postgresqlJitPackages postgreyMariaDB
# nix-shell -p mariadb
mariadb mariadb_1011 mariadb_105 mariadb_108 mariadb-client mariadb-connector-c_3_1 mariadb-embedded
mariadb_1010 mariadb_104 mariadb_106 mariadb_109 mariadb-connector-c mariadb-connector-c_3_2 mariadb-galeraДля проверки можно воспользоваться командой (также для тестирования,или когда пакет нужен только единожды):
nix-shell --packagesExample:
# nix-shell --packages manticoresearch
можно запустить команду мантикоры:
#searchd --version
Manticore 5.0.3 1e84bbd46@221013 dev
Copyright (c) 2001-2016, Andrew Aksyonoff
Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Copyright (c) 2017-2022, Manticore Software LTD (https://manticoresearch.com)
можно также в данном режиме написать тестовый конфиг и его отладить,посмотреть на работу мантикоры.
и выходим из шелла командой:
# exitПропишем в нашем системном конфигурационном файле нужные нам строки.
Для запуска Qemu хочет X11 и графическую оболочку:
Честно скоммунизженное с личного хоста:
# Enable the X11 windowing system.
services.xserver.enable = true;
services.xserver.displayManager.sddm.enable = true;
services.xserver.desktopManager.xfce.enable = true;
Настраиваем ресурсы которые гипервизор может отдать под ВМ
virtualisation.vmVariant = {
# following configuration is added only when building VM with build-vm
virtualisation = {
memorySize = 2048; # Use 2048MiB memory.
cores = 2;
};
};
Перезапускаемся и должен нас приветствовать дисплейный менеджер.
Сделаем виртуальную копию дистрибутива на котором сидим(оно нам пригодится):
nixos-rebuild build-vmДелаем 3 разных конфига для виртуальных машин и заполняем виртуалки данными.
Конфиг виртуальной машины 1 с (postgresql)
let
pkgs = import <nixpkgs> { };
# This module defines the system that we want
PostgresModule = { ... }: {
services.postgresql = {
enable= true ;
enableTCPIP = true;
authentication = pkgs.lib.mkOverride 10 ''
#type database DBuser auth-method
local all all trust
host all all 127.0.0.1/32 trust
host all all 0.0.0.0/0 trust
'';
initialScript = pkgs.writeText "backend-initScript" ''
CREATE ROLE murzik WITH LOGIN PASSWORD 'murzik' CREATEDB;
CREATE DATABASE OpenData;
GRANT ALL PRIVILEGES ON DATABASE OpenData TO Murzik;
'';
};
};
debugVm = { modulesPath, ... }: {
imports = [
# The qemu-vm NixOS module gives us the `vm` attribute that we will later
# use, and other VM-related settings
"${modulesPath}/virtualisation/qemu-vm.nix"
];
virtualisation.forwardPorts = [
{ from = "host"; host.port = 2220; guest.port = 22; }
{ from = "host"; host.port = 5432; guest.port = 5432; }
];
# Root user without password and enabled SSH for playing around
networking.firewall.enable = false;
services.openssh.enable = true;
services.openssh.permitRootLogin = "yes";
users.extraUsers.root.password = "";
};
nixosEvaluation = pkgs.nixos [
debugVm
PostgresModule
];
in
nixosEvaluation.config.system.build.vmсоберем командой:
nix-build postgresvm.nixзапустим командой через в самой виртуалке вручную через GUI Terminal :
./result/bin/run-nixos-vm
проверим что Postgresql работает:
# ssh -p 2220 root@localhost "systemctl status postgresql.service"
(root@localhost) Password:
● postgresql.service - PostgreSQL Server
Loaded: loaded (/etc/systemd/system/postgresql.service; enabled; preset: enabled)
Active: active (running) since Tue 2023-09-12 12:09:27 UTC; 22min ago
Process: 682 ExecStartPre=/nix/store/hnlancn6bifxr75bf5j9zj9firgbpkp7-unit-script-postgresql-pre-start/bin/postgresql-pre-start (code=exited, status=0/SUCCESS)
Process: 762 ExecStartPost=/nix/store/lachsy0bx9yy51md02mw3gl81gzk8yh8-unit-script-postgresql-post-start/bin/postgresql-post-start (code=exited, status=0/SUCCESS)
Main PID: 704 (postgres)
IP: 52.1K in, 52.1K out
IO: 996.0K read, 700.0K written
Tasks: 7 (limit: 1150)
Memory: 18.9M
CPU: 5.878s
CGroup: /system.slice/postgresql.service
├─704 /nix/store/dsgziywn8ghg6g9xn7wr9q5cszjbpqng-postgresql-14.9/bin/postgres
├─754 "postgres: checkpointer "
├─755 "postgres: background writer "
├─756 "postgres: walwriter "
├─758 "postgres: autovacuum launcher "
├─759 "postgres: stats collector "
└─760 "postgres: logical replication launcher "
Sep 12 12:09:19 nixos postgres[704]: [704] LOG: listening on IPv4 address "0.0.0.0", port 5432
Sep 12 12:09:19 nixos postgres[704]: [704] LOG: listening on IPv6 address "::", port 5432
Sep 12 12:09:19 nixos postgres[704]: [704] LOG: listening on Unix socket "/run/postgresql/.s.PGSQL.5432"
Sep 12 12:09:20 nixos postgres[731]: [731] LOG: database system was interrupted; last known up at 2023-09-12 12:04:19 GMT
Sep 12 12:09:23 nixos postgres[731]: [731] LOG: database system was not properly shut down; automatic recovery in progress
Sep 12 12:09:23 nixos postgres[731]: [731] LOG: redo starts at 0/1700098
Sep 12 12:09:23 nixos postgres[731]: [731] LOG: invalid record length at 0/17000D0: wanted 24, got 0
Sep 12 12:09:23 nixos postgres[731]: [731] LOG: redo done at 0/1700098 system usage: CPU: user: 0.00 s, system: 0.00 s, elapsed: 0.00 s
Sep 12 12:09:24 nixos postgres[704]: [704] LOG: database system is ready to accept connections
Sep 12 12:09:27 nixos systemd[1]: Started PostgreSQL Server.Теперь в консоли заходим в папку где у постгри есть доступ и загрузим туда csv файл:
ssh -p 2220 root@localhost "cd /var/lib/postgresql/ && wget https://www.northlincs.gov.uk/wp-content/uploads/2018/10/on_street_parking_points.csv && chown postgres:postgres ./on_street_parking_points.csv"Идем дальше уже и будем импортировать данные в нашу бд и проверим, что все ок.
[root@nixserver1:/home/vasya/vm/mysql]# ssh -p 2220 root@localhost
(root@localhost) Password:
Last login: Tue Sep 12 17:22:34 2023 from 10.0.2.2
[root@nixos:~]# su postgres
[postgres@nixos:/root]$ psql
psql (14.9)
Type "help" for help.
postgres=# \c opendata
You are now connected to database "opendata" as user "postgres".
opendata=# \dt
Did not find any relations.
opendata=# CREATE TABLE parking_points ( id SERIAL ,type VARCHAR(100),restrictn VARCHAR(1000),spaces VARCHAR(100),street VARCHAR(100),town VARCHAR(100),easting VARCHAR(100),northing VARCHAR(100),longitude VARCHAR(100),latitude VARCHAR(100),PRIMARY KEY(id));
CREATE TABLE
opendata=# COPY parking_points (id,type,restrictn,spaces,street,town,easting,northing,longitude,latitude) FROM '/var/lib/postgresql/on_street_parking_points.csv' DELIMITER ',' CSV HEADER;
COPY 195
opendata=# select * from parking_points;
id | type | restrictn | spaces | street | town | easting | northing | longitude | latitude
-----+--------------------+------------------------------------------------------------------------+--------+-------------------------------+--------------------+---------+----------+-----------+-----------
1 | Parking | Parking 2 Hours No Return 2 Hours Mon-Sat 8am-6pm | 7 | HIGH STREET | EPWORTH | 478143 | 403888 | -0.821104 | 53.525592
2 | Disabled Parking | Disabled Badge Holders Only 3 Hours No Return 2 Hours Mon-Sat 8am-6pm | 1 | HIGH STREET | EPWORTH | 478174 | 403879 | -0.820632 | 53.525505
3 | Parking | Parking 2 Hours No Return 2 Hours Mon-Sat 8am-6pm | 7 | HIGH STREET | EPWORTH | 478289 | 403824 | -0.818916 | 53.524996
4 | Disabled Parking | Disabled Badge Holders Only 3 Hours No Return 2 Hours Mon-Sat 8am-6pm | 1 | MARKET PLACE | EPWORTH | 478338 | 403802 | -0.818187 | 53.524794
...
192 | Disabled Parking | Disabled Parking 3 hour no return 2 hour Mon-Sat 9am - 6pm | 3 | CARLTON STREET | SCUNTHORPE | 489907 | 411466 | -0.643132 | 53.592072
193 | Parking | Parking 1 Hour No Return 2 Hour Mon-Sat 9am-5pm Except Permit Holders | 30 | LINDLEY STREET | SCUNTHORPE | 489486 | 408753 | -0.650268 | 53.567765
(195 rows)Конфиг виртуальной машины 2 с MariaDB
let
pkgs = import <nixpkgs> { };
MysqlModule = { ... }: {
services.mysql = {
enable= true ;
package = pkgs.mariadb;
initialDatabases =[
{ name = "enterprice"; }
];
initialScript = pkgs.writeText "mariadb-init.sql" ''
CREATE USER 'databarsik'@'localhost' IDENTIFIED BY 'databarsik';
GRANT ALL PRIVILEGES ON *.* TO 'databarsik'@'localhost' WITH GRANT OPTION;
FLUSH PRIVILEGES;
USE enterprice;
CREATE TABLE enterprice(
Bank_Name TEXT(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL,
City TEXT(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL,
State TEXT(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL,
Cert TEXT(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL,
Acquiring_Institution TEXT(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL,
Closing_Date VARCHAR(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL,
Fund VARCHAR(500) NOT NULL,
PRIMARY KEY(Fund));
'';
};
};
debugVm = { modulesPath, ... }: {
imports = [
"${modulesPath}/virtualisation/qemu-vm.nix"
];
virtualisation.forwardPorts = [
{ from = "host"; host.port = 2225; guest.port = 22; }
{ from = "host"; host.port = 3306; guest.port = 3306; }
];
};
networking.firewall.enable = false;
services.openssh.enable = true;
services.openssh.settings.PermitRootLogin = "yes";
users.extraUsers.root.password = "vasya";
nixosEvaluation = pkgs.nixos [
debugVm
MysqlModule
];
in
nixosEvaluation.config.system.build.vmсоберем командой:
nix-build MysqlVM.nixзапустим командой:
./result/bin/run-nixos-vmНастройка Mysql
Зайдем в папку где есть доступ у Mysql и загрузим туда csv файл:
ssh -p 2221 root@localhost "cd /var/lib/mysql/ && wget https://www.fdic.gov/bank/individual/failed/banklist.csv"Убираем название столбцов:
ssh -p 2221 root@localhost "sed '1d' /var/lib/mysql/banklist.csv"Потом заходим на саму виртуальную машину:
ssh -p 2221 root@localhostВ сам Mysql, смотрим какие базы нам доступны загружаем наш csv и проверяем данные:
#mysql
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MariaDB connection id is 7
Server version: 10.6.15-MariaDB MariaDB Server
Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MariaDB [(none)]> show databases;
+--------------------+
| Database |
+--------------------+
| enterprice |
| information_schema |
| mysql |
| performance_schema |
| sys |
| test |
+--------------------+
6 rows in set (0.032 sec)
MariaDB [(none)]> use enterprice;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
######Качаем датасет:
MariaDB [enterprice]> LOAD DATA INFILE '/var/lib/mysql/banklist.csv' INTO TABLE enterprice CHARACTER SET latin1 FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n' IGNORE 1 ROWS;
Query OK, 567 rows affected (0.221 sec)
Records: 567 Deleted: 0 Skipped: 0 Warnings: 0
MariaDB [enterprice]> show tables;
+----------------------+
| Tables_in_enterprice |
+----------------------+
| enterprice |
+----------------------+
1 row in set (0.005 sec)
MariaDB [enterprice]> describe enterprice;
+-----------------------+--------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-----------------------+--------------+------+-----+---------+-------+
| Bank_Name | text | NO | | NULL | |
| City | text | NO | | NULL | |
| State | text | NO | | NULL | |
| Cert | text | NO | | NULL | |
| Acquiring_Institution | text | NO | | NULL | |
| Closing_Date | varchar(500) | NO | | NULL | |
| Fund | varchar(500) | NO | PRI | NULL | |
+-----------------------+--------------+------+-----+---------+-------+
7 rows in set (0.016 sec)
MariaDB [enterprice]> select * from enterprice;
+--------------------------------------------------------------------------------------------+--------------------+-------+-------+-------------------------------------------------------------------+--------------+--------+
| Bank_Name | City | State | Cert | Acquiring_Institution | Closing_Date | Fund |
+--------------------------------------------------------------------------------------------+--------------------+-------+-------+-------------------------------------------------------------------+--------------+--------+
|Metropolitan Savings Bank | Pittsburgh | PA | 35353 | Allegheny Valley Bank of Pittsburgh | 2-Feb-07 | 10000
|NetBank | Alpharetta | GA | 32575 | ING DIRECT | 28-Sep-07 | 10001
|Miami Valley Bank | Lakeview | OH | 16848 | The Citizens Banking Company | 4-Oct-07 | 10002
|Douglass National Bank | Kansas City | MO | 24660 | Liberty Bank and Trust Company | 25-Jan-08 | 10003
|Hume Bank | Hume | MO | 1971 | Security Bank | 7-Mar-08 | 10004
|ANB Financial, NA | Bentonville | AR | 33901 | Pulaski Bank and Trust Company | 9-May-08 | 10005
|First Integrity Bank, NA | Staples | MN | 12736 | First International Bank and Trust | 30-May-08 | 10006
|IndyMac Bank | Pasadena | CA | 29730 | OneWest Bank, FSB | 11-Jul-08 | 10007
...
+--------------------------------------------------------------------------------------------+--------------------+-------+-------+-------------------------------------------------------------------+--------------+--------+
567 rows in set (0.022 sec)
MariaDB [enterprice]> exit;
ByeКогда ночью не до сна...
На данный момент это все, дальше будем разбираться с контейнерами и полнотекстовым поиском, контейнерами и немного зайдем в программирование.