Выдалась свободная минутка и я решил потрогать немного свой bashui. Там еще трогать не перетрогать но обо всем по порядку. Тех кто не знаком с bashui прошу сюда. А в этой статье я решил затронуть злободневную тему повышения потенциала производительности на примере своего bashui.
Одним из основных элементов bashui является меню (items) - это "табличка" с произвольным количеством строк/столбцов для отображения/выбора какого-то набора элементов. Например списка хостов/команд как в demo_sshto или списка неймспейсов/подов и других k8s элементов как в demo_kubectl, любая текстовая информация которую необходимо как-то вертеть на bashui. Я уже не молод но все хочется какой-то пестрятины, разноцветных свистоперделок каких-то. В меню (items) это есть. Я добавил возможность "раскрашивать" как заголовки так и элементы данных. Но за все приходится платить. И плата порой чрезвычайно высока. За красивую картинку приходится платить потенциалом производительности, мда, никогда такого не было и вот опять.
Давайте посмотрим как это выглядит и по возможности попробуем усилить наш потенциал. Для теста производительности я подготовил вот такой датасет:
data=(
#-------------{ first line - column descriptions }--------------------
$red'Item name' $blu'Item description' $grn'Status'
#-----------------------{ the data }----------------------------------
'first' $BLD$ylw'Long description text' 'true'
'second' 'Description 2' 'O_o'
'third' 'description 3' 'false'
'fourth' "${red}Long ${grn}description ${blu}text" 'true'
'' '' ''
$ylw'fifth' 'Description 2' 'O_o'
'sixth' 'description 3' 'false'
'midle' $grn'Long description text' 'true'
'long name row2' 'Description 2' 'O_o'
'' '' ''
'row 3' 'description 3' 'false'
'row1' $blu'Long description text' 'true'
'row1' 'Long description text' 'true'
'last' 'Description 2' 'O_o'
'first' $BLD$ylw'Long description text' 'true'
'second' 'Description 2' 'O_o'
'third' 'description 3' 'false'
'fourth' "${red}Long ${grn}description ${blu}text" 'true'
'' '' ''
$ylw'fifth' 'Description 2' 'O_o'
'sixth' 'description 3' 'false'
'midle' $grn'Long description text' 'true'
'long name row2' 'Description 2' 'O_o'
'' '' ''
'row 3' 'description 3' 'false'
'row1' $blu'Long description text' 'true'
'row1' 'Long description text' 'true'
'last' 'Description 2' 'O_o'
)Примерно 30 строк в 3 столбца, ~90 элементов, попробуем повертеть это на bashui. Запускаю тестовый скрипт и зажимаю кнопку "вниз" чтобы заставить интерфейс постоянно перерисовывать картинку:
Слева меню, справа топ -д1. Обратите внимание на самый жрущий CPU процесс - demo_menu, почти 70%. Мда, не самый лучший потенциал, да? Да. В чем дело, где я обо... что пошло не так? Давайте попробуем разобраться. Вот код функции items:
items(){
# Main items piker function
local x=${1:-1} # X(row) coordinate
local y=${2:-1} # Y(line) coordinate
local w=${3:-$COLUMNS} # window Width
local h=${4:-5} # window Height, min is 5
nclm=($5) # Number of Columns or columns sizes in % of Width
local name=$6 # List Name
local tc=$7 # Text Color
local rc=$8 # boRder Color
local gc=$9 # backGround Color
shift 9
local data=("$@")
local text last c i w z column_size=()
[[ $_currentItem_ ]] || _currentItem_=0
((w-=x))
((${#nclm[@]}>1)) && {
for i in ${nclm[@]}; { i=$((w*i/100)); ((i<_min_culumn_size_)) && i=$_min_culumn_size_; column_size+=($i); }
z=${column_size[@]}
w=$((${z// /+}))
nclm=${#nclm[@]}
true
} || {
column_size=$((w/nclm))
((column_size<_min_culumn_size_)) && column_size=$_min_culumn_size_
w=$((column_size*nclm))
for ((i=1; i<nclm; i++)); { column_size+=(column_size); }
}
# Print Heading
local c1='┌' c2='┐'
[[ $name ]] && {
c1='├' c2='┤'
XY $x $y "$rc┌$(line '─' $w)┐$DEF"; ((y++))
XY $x $y "$DEF$INV$rc│$DEF$INV$tc$(center_print $w "$name")$DEF$INV$rc│$DEF" ; ((y++))
}
# Print column's titles
local row=( "${data[@]:0:nclm}" )
for r in "${!row[@]}"; {
item=${row[r]}
cs=${column_size[r]}
text+="$DEF$rc$c1$(center_print $((cs-1)) "{ $item }" '─')$DEF"
text=${text//"{ "/"{ $DEF$tc"}; text=${text//" }"/"$DEF$rc }"}; text=${text//".}"/".$DEF$rc}"}; c1='┬'
}; last='─'; ((cs==_min_culumn_size_)) && last=''; XY $x $y "$text$rc$last$c2"; ((y++))
# Print data
data=( "${data[@]:$nclm}" )
local n=${#data[@]}
local rows_avail=$((h-4))
local rows_total=$((n/nclm))
local current_row=$((_currentItem_/nclm))
_page_=$((rows_avail-1)) # pgUP/DOWN jump calculation
((rows_avail>rows_total)) && rows_avail=$rows_total _page_=$((rows_total-1))
j=0; ((current_row>=rows_avail)) && j=$((_currentItem_+nclm-rows_avail*nclm))
for ((i=j; i<rows_avail*nclm+j; i+=nclm)); do
row=( "${data[@]:i:nclm}" )
sel=
((i==_currentItem_)) && {
sel=$INV
decolorizer "${row[0]}" "_target_"
_target_=( "$_target_" "${row[@]:1}" )
}
text=
for r in "${!row[@]}"; {
item=${row[r]}
cs=${column_size[r]:-column_size}
decolorizer "$item" decolorized_item
color=$((${#item}-${#decolorized_item}))
actual_color=${item:0:$color}
((${#decolorized_item}>=$cs-1)) && decolorized_item="${decolorized_item:0:$[cs-5]}..." item=$decolorized_item color=0
((r==0)) && {
[[ $item ]] || ((color++))
printf -v new_text "$DEF$rc│$DEF$sel$gc %s$DEF$sel$gc$tc%-$((cs-3+color))s" "$INV$BLD${decolorized_item:0:1}" "$actual_color${decolorized_item:1}"
} || printf -v new_text "$DEF$rc│$DEF$sel$gc $tc%-$((cs-2+color))s" "$item"
text+=$new_text
}
text="$text $DEF$rc│$DEF\n"
XY $x $y "$text"; ((y++))
done
# Print last line
last_line=
for cs in "${column_size[@]}"; {
printf -v tmp_line "%$((cs-1))s┴"; tmp_line=${tmp_line// /─}
last_line+=$tmp_line
}
XY $x $y "$DEF$rc└${last_line%┴*}─┘$DEF"
# Show current row out of total rows if not all rows displayed
((rows_avail<rows_total)) && { hint="{ $((current_row+1)) of $rows_total }"; XY $((w/2+x-${#hint}/2)) $y "$hint"; }
}Невооруженным взглядом видно что тут используется вложенный цикл, он необходим для правильного отображения данных. Каждый элемент данных обесцвечивается т.к. цвет это просто доп символы из-за них длинна текста определяется неправильно. Затем происходит обрезание (О_о) эм, текста чтобы каждый элемент вписался в рамки таблицы, цвета возвращаются и строка печатается. Это и есть главный bitch бич потенциала, если таблица большая, много строк и столбцов такой алгоритм заставляет мой ноут сильно грустить. Что делать? Резать к чертовой матери. Весь этот вложенный цикл можно заменить одной (почти) командой! Как? Так:
printf -v data -- "$data_template" "${data[@]:$j:$((rows_avail*nclm))}"Эта команда рисует всю основную таблицу, правда надо немного поколдовать до чтобы собрать $data_template и после чтобы добавить выделение и от разукрашивания пришлось отказаться в пользу быстродействия. Эх. Так красивенько было с разноцветными строчками. Но полностью выкинуть разукрашивание рука не поднялась, в новой функции я оставил header практически без изменений, это же одна строка, производительность сильно не просаживает. Вот как выглядит новая функция:
items_fast(){
# Main items piker function
local x=${1:-1} # X(row) coordinate
local y=${2:-1} # Y(line) coordinate
local w=${3:-$COLUMNS} # window Width
local h=${4:-5} # window Height, min is 5
nclm=($5) # Number of Columns or columns sizes in % of Width
local name=$6 # List Name
local tc=$7 # Text Color
local rc=$8 # boRder Color
local gc=$9 # backGround Color
shift 9
local text last sel_data sel_dummy c i w z column_size=()
[[ $_currentItem_ ]] || _currentItem_=0
((w-=x))
((${#nclm[@]}>1)) && {
for i in ${nclm[@]}; { i=$((w*i/100)); ((i<_min_culumn_size_)) && i=$_min_culumn_size_; column_size+=($i); }
z=${column_size[@]}
w=$((${z// /+}))
nclm=${#nclm[@]}
true
} || {
column_size=$((w/nclm))
((column_size<_min_culumn_size_)) && column_size=$_min_culumn_size_
w=$((column_size*nclm))
for ((i=1; i<nclm; i++)); { column_size+=(column_size); }
}
# Data transformation
local titles_items=( "${@:1:$nclm}" )
shift $nclm
_target_=( "${@:_currentItem_+1:nclm}" )
local data=( "${@^}" )
sel_data="${data[$_currentItem_]:0:$((column_size-3))}"
((${#sel_data}<column_size)) && printf -v sel_data "$sel_data%$((column_size-${#sel_data}-3))s"
printf -v sel_dummy "_SD_%$((column_size-7))s"
data[$_currentItem_]="$sel_dummy"
local n=$#
local rows_avail=$((h-4))
local rows_total=$((n/nclm))
local current_row=$((_currentItem_/nclm))
_page_=$((rows_avail-1)) # pgUP/DOWN jump calculation
((rows_avail>rows_total)) && rows_avail=$rows_total _page_=$((rows_total-1))
j=0; ((current_row>=rows_avail)) && j=$((_currentItem_+nclm-rows_avail*nclm))
# Print Heading
local c1='┌' c2='┐'
[[ $name ]] && {
local c1='├' c2='┤'
XY $x $y "$rc┌$(line '─' $w)┐$DEF"; ((y++))
XY $x $y "$DEF$INV$rc│$DEF$INV$tc$(center_print $w "$name")$DEF$INV$rc│$DEF" ; ((y++))
}
titles=
last_line=
printf -v data_template "%$((x-1))s"
for i in ${!column_size[@]};{
cs=${column_size[i]:-column_size}
# titles preparation
titles+="$DEF$rc$c1$(center_print $((cs-1)) "{ ${titles_items[i]} }" '─')$DEF"; c1='┬'
# main data template preparation
data_template+="$DEF$rc│$DEF$gc$tc %-$((cs-3)).$((cs-3))b "
# last line preparation
printf -v tmp_line "%$((cs-1))s┴"
tmp_line=${tmp_line// /─}
last_line+=$tmp_line
}; data_template+=" $DEF$rc│$DEF\n"
titles=${titles//"{ "/"{ $DEF$tc"}
titles=${titles//" }"/"$DEF$rc }"}
titles=${titles//".}"/".$DEF$rc}"}
# Print titles
last='─'; ((cs==_min_culumn_size_)) && last=''; XY $x $y "$titles$rc$last$c2"; ((y++))
# Print data
XY 1 $y ''
printf -v data -- "$data_template" "${data[@]:$j:$((rows_avail*nclm))}"
printf "${data/$sel_dummy/$INV${sel_data}}"
((y+=rows_avail))
# Print last line
XY $x $y "$DEF$rc└${last_line%┴*}─┘$DEF"
# Show current row out of total rows if not all rows displayed
((rows_avail<rows_total)) && { hint="{ $((current_row+1)) of $rows_total }"; XY $((w/2+x-${#hint}/2)) $y "$hint"; }
}Попробуем повертеть это на bashui, помогло или нет?
Всего то надо было добавить _fast к названию функции и сразу стало почти в два раза быстрей. Вот справа процесс demo_menu_fast показывает результат ~33% от CPU. Неплохо, а если продолжать увеличивать размер таблицы, добавить больше строк и столбцов старая функция будет тормозить еще сильней а _fast функция практически не почувствует изменений. Потенциал заметно вырос.
Но старую функцию я выкидывать не стал, с маленькими менюшкам в которых необходима цветовая дифференциация штанов столбцов она прекрасно справиться а вот для большого объема лучше использовать быструю.
Почему это работает? Рассмотрим поближе команду printf. Вот выдержка из хелпа:
$ printf --help
printf: printf [-v переменная] формат [аргументы]
Formats and prints ARGUMENTS under control of the FORMAT.
...
The format is re-used as necessary to consume all of the arguments. If
there are fewer arguments than the format requires, extra format
specifications behave as if a zero value or null string, as appropriate,
had been supplied.т.е. все аргументы быдут выведены согласно указанному формату, простой пример:
$ printf '%s ' one
one
$ printf '%s ' one two
one two
$ printf '%s ' one two three
one two three
$ printf '%s, ' one two three
one, two, three,
$ printf '%s, %s, %s.' one two three
one, two, three.Модификаторы формата могут быть такие:
%s - строка как она есть
%b - строка с раскрытием ескейпоследовательностей (\n, \t, \r ...)
%d - число
%f - число с плавающей точкой
...
Вот тут есть полный список.
Пример поинтересней, зададим вот такой массив:
data=( one two three four five six )И попробуем вывести его содержимое в виде таблицы из 2х столбцов:
$ printf '%s %s\n' ${data[@]}
one two
three four
five sixВот такой простой формат, два элемента и переход строки в конце, выводит наш массив в два столбца. Получается что каждый раз берется 2 элемента данных из нашего массива и выводится согласно формату через пробел затем печатается переход строки, таким же образом печатаются следующие 2 элемента и так до конца массива. Кстати визуально удобно когда в коде массив выглядит так как он будет выводится:
data=(
one two
three four
five six
)Добавим в формат выравнивание, самое длинное слово у нас 5 букв, значит надо выровнять все столбцы до 5 символов и палки чтобы это все выглядело как таблица:
$ printf '| %-5s | %-5b |\n' ${data[@]}
| one | two |
| three | four |
| five | six |А если необходимо ограничить ширину столбцов? Это тоже можно легко сделать так:
$ printf '| %-3.3s | %-3.3b |\n' ${data[@]}
| one | two |
| thr | fou |
| fiv | six |В этом примере я ограничил ширину столбцов 3 символами. Тоже самое происходит c bashui в этой части:
# main data template preparation
data_template+="$DEF$rc│$DEF$gc$tc %-$((cs-3)).$((cs-3))b "В $data_template добавляется вот эта вот конструкция N (по кол-ву столбцов) раз, затем этот шаблон используется для обработки массива с данными:
printf -v data -- "$data_template" "${data[@]:$j:$((rows_avail*nclm))}"Но тут я вывожу не на экран а в переменную $data для постобработки. Вот так одна (почти) команда может заменить тягомотный цикл. Printf вообще очень удобный инструмент для работы с текстом в bash'е. Вот еще одна полезная возможность printf. Когда надо добавить какой-то timestamp в ваш скрипт многие используют date, как-то так:
time=$(date +'%Y-%m-%d')
$ echo "bla $time bla"
bla 2024-06-14 blaА с printf можно сделать так:
$ printf 'bla %(%Y-%m-%d)T bla'
bla 2024-06-14 blaОгромный потенциал.
Благодарности
Нахожусь под сильным (приятным) впечатлением от замечательной поездки в Грузию которую устроила компания Ivinco с которой я в данный момент сотрудничаю. А организовали и сделали по настоящему незабываемым наше пребывание в Грузии ребята из Provodnik'а молодцы вообще, могут. Всем кто хочет отлично провести время в Грузии (и не только) рекомендую.
Было круто, cпасибо!
Ну вот потенциал приподняли, еще пара фраз и будем прощаться. На просторах github'а наткнулся на интересное bash творчество. Я выкладывал ссылки в своём телеграм-канале, но его читают не только лишь все а штуки, как мне кажется, достойны внимания широкой аудитории, поэтому писну тут в надежде на хабраэффект)
Рисовалка с поддержкой мыши drawin на bash'е. И классическая игра snake на bash'е.
ИМО код заслуживает внимания, посмотрите.
Кстати у меня в репах произошло небольшое изменение. В свое время я долго думал как назвать свою поделку для kubectl. В итоге ничего лучше kube-dialog не придумал, так и назвал. Kube-dialog это обертка kubectl команд с помощью dialog'а, аналог sshto только для k8s. А недавно меня вштырило, я придумал короткое и ёмкое название - KUI (Kubectl User Interface)! Черт, почему я сразу об этом не подумал?) Но лучше поздно чем никогда, так что вместо kube-dialog'а теперь KUI!
Творите, выдумывайте, пробуйте и не разбулькивайте! :-)
Лайки, пальцы, на ваше усмотрение.
Pirogzas
KUI - огонь :)