Привет, Хабр! Меня зовут Андрей, я новый Android-разработчик в команде онлайн-кинотеатра PREMIER. 

Когда я только пришел на работу в проект, мне поставили задачу внедрить измерение билдов для того, чтобы видеть, как с течением времени у нас меняется время сборки проекта на разных билд-машинах. 

Решение задачи

После проведенного анализа я выявил два варианта решения:

1. Использовать gradle enterprise

2. Написать скрипты для gradle для сборки и отправки метрик

Первый вариант нам не подходит, потому что он платный;

Второй вариант нам не подходит, потому что он требует большого кол-ва времени, а в рамках испытательного срока оно ценное, и я рисковал не успеть уложиться в срок.

Так как оба варианта не подошли я начал искать альтернативное решение, которое не требовало бы много времени на написание скриптов и больших вложений. После n-го времени, проведенного в гугле и на гитхабе, нашелся один вариант, который удовлетворял запросы – это Talaiot.

Немного о talaoit:

Talaiot – внешняя библиотека для gradle проектов, которая измеряет и записывает время билдов/тасок в бд. В дальнейшем эта информация помогает выявлять проблемы перфоманса тех или иных фич в проекте.

Библиотека поддерживает как локальный отчеты в формате json и визуализацию в виде картинок, так и отправку отчетов в базу данных, - расположенную на сервере. Единственный минус – это ограниченный выбор баз данных для хранения данных о сборках, в основном это time-series databases, но скорее это обусловлено работой самого talaiot.

Технологический стек

1. Docker-compose

2. Grafana

3. InfluxDB

4. InfluxCLI

5. Talaiot

Подготовка

Начнем с того, что нам необходимо установить docker-compose на котором мы будет разворачивать наши контейнеры с influx-db и grafana.

Создаем папку, в которой создаем файл docker-compose.yml с описанными контейнерами.

Eсли вы более продвинутый юзер в использовании докера, никто не запрещает описать докер файл со скриптом запуска, как это сделано в примере talaiot’a на гитхабе в папке docker.

docker-compose.yml:

version: "1" 

services:
  influxdb:
  image: influxdb:1.8.10
  container_name: influx_db
  environment:
    	- INFLUXDB_HTTP_AUTH_ENABLED=TRUE
      	- INFLUXDB_DB=metricsDB // название базы данных
      	- INFLUXDB_ADMIN_USER=admin
      	- INFLUXDB_ADMIN_PASSWORD=adminpass
      	- INFLUXDB_WRITE_USER=influxUser
      	- INFLUXDB_WRITE_USER_PASSWORD=influxPass
      	- INFLUXDB_READ_USER=grafanaUser
      	- INFLUXDB_READ_USER_PASSWORD=grafanaPass
      	- INFLUXDB_META_DIR=/var/lib/influxdb/meta
  ports:
    	- "8086:8086"
  grafana:
  	image: grafana/grafana-enterprise
  	volumes:
  	  	- grafana-storage:/var/lib/grafana:rw
  	depends_on:
  	  	- influxdb
  	ports:
  	  	- "3000:3000" 
 volumes:
  grafana-storage:

Я создал дополнительно двух юзеров с разными правами: один записывает данные в нашу бд-шку и используется в проекте для talaiot, второй используетя графаной для чтения данных. Так-же можете можете указать параметр для каждого сервера restart: unless_stopped – это позволит контейнерам подняться самостоятельно, если удаленный сервер будет перезапущен.  Сохраняем файл и закрываем его.

Далее нам нужно поднять наши контейнеры. Открываем терминал в нашей папке и пишем заветную команду docker compose up -d и….. вуаля – у нас развернуты influx-db и grafana.

Работоспособность последнего можно проверить, перейдя по ссылке [ссылка-удаленного-или-локального-сервера]:3000, например: localhost:3000 (юзер и пароль для админки графаны по-дефолту: admin).

Influx-DB

Для работы с моей версией influx-db необходимо поставить influx-cli (ссылки сверху). После установки пишем команду:

sudo docker exec -it influx_db /bin/bash и после вводим influx, если мы все сделали правильно, терминал должен показать сообщение:

Теперь авторизируемся под админом в нашей базе данных, вводим следующие команды и данные, которые мы указали в docker-compose.yml

Теперь необходимо создать retention policy, которая будет хранить данные n-ое время, я выберу срок хранения год (подробнее про retention policy  можете почитать тут)

GRAFANA

Вернемся к графане, после того, как мы авторизовались, нам необходимо связать графану и базу данных – для этого в боковом меню выбираем раздел connections -> connect data

В поисковой строке ищем influx и выбираем influxDb

В появившимся окне нажимаем по кнопке ‘create a influxDb data source’.

Открывается окно, которое заполняем так же, как у меня на скрине, url - будет ваш локальный/удаленный url сервера, либо url докера, как в моем случае. Данные юзера берете,  которые указали в docker-compose.yml.

Об успешности испытаний нам скажет графана:

Мы почти на финише, осталось только настроить проект….

Работа с проектом

Для начала нам необходимо добавить в проект зависимости talaiot, согласно документации.

В своем примере я делаю отдельный build script для talaiot, чтобы, по возможности, можно было подключать в разные проекты. 

build.gradle (project) ->

plugins {
  id "io.github.cdsap.talaiot" version "1.5.3"
}
apply from: "$rootDir/talaiot.gradle" 

Синкаем проект и описываем скрипт согласно примеру из гита

talaior.gradle ->

talaiot {
	publishers {
		influxDbPublisher {
			dbName = "metricsDB"
			url = http://localhost:8086
	              	
	              	taskMetricName = "task"
	              	buildMetricName = "build"
	              	username = "influxUser"         	
	              	password = "influxPass"    	    
		}
	}

	filter {
		build {
			success = true
			// disable collect sync gradle time
			requestedTasks {
				excludes =  ['runCommonizer','prepareKotlinIdeaImport', 'prepareKotlinBuildScriptModel', 'clean']
	
		
			} 
		}	
	}
	metrics {
		gitMetrics = false
		customBuildMetrics([buildMachine: buildMachine()])	
	}
}

 А теперь вкратце объясню, что тут за что отвечает.

В publishers мы должны выбрать паблишер. Название поддерживаемой базы данных соответствует названию паблишера, у меня это influxDbPublisher.

dbName - название базы данных, которая будет создана в инфлюксе; 

url – url удаленного или локально сервера (может быть localhost или 192.168.1.8);

task и build-metricNames – я оставил без изменений; 

username и password – те что указаны в docker-compose.yml для инфлюкса.

В talaiot есть возможность отбрасывать ненужные таски, чтобы исключить их замеры. Помимо замера данных, talaiot тригерит функции гита для получения названия ветки, в которой вы работаете. Т.к. у нас есть удаленные сборщики проектов по типу миракла, там гит отсутствует, поэтому мы отключили возможность использовать сбор гит-информации. Также можно указывать свои дополнительные поля для метрик, которые будут содержать информацию, необходимую вам, для нас это модель процессора.

Для получения модели процессора был написан несложный код, который выполняется в командной строке и отбрасывает ненужную информацию необходимую вам, оставляя только семейство процессора:

static def buildMachine() {

	def systems = [
         	macos  : new MacHardware(),
         	linux  : new LinuxHardware(),
         	windows: new WinHardware()
	]

	OperatingSystem os = DefaultNativePlatform.currentOperatingSystem
	BaseHardware hardwareSpec = systems[os.toFamilyName()]

	if (hardwareSpec != null) {
         	return hardwareSpec.getBuildMachineName()
	} else {
    	         return "OS Family Unknown"
	}

}



abstract class BaseHardware {
	protected static String UNKNOWN_PROCESS = "Unknown process"
	protected abstract String getBuildMachineInformation()

	String getBuildMachineName() {
    	   try {
         	return parsingMachineInformation(executeProcessAndGetResult())
    	   } catch (Throwable throwable) {
          	throwable.printStackTrace()
              	return UNKNOWN_PROCESS
           }
	}

	protected abstract String parsingMachineInformation(String machineInformation)

	protected String executeProcessAndGetResult() {
         	ByteArrayOutputStream output = new ByteArrayOutputStream()
         	ByteArrayOutputStream error = new ByteArrayOutputStream()

    	        Process process = getBuildMachineInformation().execute()
        	        process.consumeProcessOutput(output, error)
                 process.waitForOrKill(5000)

    	if (error.size() > 0) {
        	        throw new UnknownError("Cannot execute process ${error.toString()}")
    	}
          	return output.toString()
	}

      }
}



class MacHardware extends BaseHardware {

	@Override
	protected String getBuildMachineInformation() {
         	return "sysctl -n machdep.cpu.brand_string"
	}

	@Override
	protected String parsingMachineInformation(String machineInformation) {
         	return machineInformation.trim()
	}
}



class WinHardware extends BaseHardware {

	@Override
	protected String getBuildMachineInformation() {
    	    return "wmic CPU get NAME"
	}

	@Override
	protected String parsingMachineInformation(String machineInformation) {
    	    return machineInformation
            	.substring(4)
            	.trim()
	}

}



class LinuxHardware extends BaseHardware {

	@Override
	protected String getBuildMachineInformation() {
    	    return "lscpu"
	}

	@Override
	protected String parsingMachineInformation(String machineInformation) {
         	int startIndex = machineInformation.indexOf("Model name:") + "Model        name:".length()

         	int lastIndex = machineInformation.indexOf('\n', startIndex)
         	return machineInformation.substring(startIndex, lastIndex).trim()
	}
}

А, чуть не забыл, для дашборда графаны можно взять готовый sample из нашего примера и импортировать его в вашу графану. Теперь все готово к употреблению! Делаем несколько сборок проекта и проверяем результат в графане.

Итог

Из того, что есть в открытом доступе, локально была развернута необходимая система с функционалом, которую далее можно перенести на удаленную виртуальную машину, как было сделано на нашем проекте.

Полный пример кода для android-проекта можете посмотреть в нашем примере.

P.S. Это мой первый опыт работы с докером, поэтому если Вы хотите поделиться своей идеей по оптимизации скриптов для докера - буду рад вашим комментариям!