Тестирование — это неотъемлемая часть процесса разработки. И иногда разработчикам требуется запустить тесты локально, до того момента коммита изменений.
Если приложение использует Amazon Web Services, python библиотека moto идеально для этого подходит.

Полный список покрытия ресурсов можно посмотреть тут.
На Github есть репа Hugo Picado — moto-server. Готовый образ, запускай и используй. Нюанс только в том, что после запуска, никаких AWS ресурсов там еще не создано.
Что ж, это достаточно легко исправить.
Поскольку при запуске необходимо указать тип сервиса (env переменной MOTO_SERVICE), нам остается описать создание ресурса.
Немного изменим start.sh:
Вместо
Вставляем:
Итоговый файл получается:
Билдим новый образ и пушим в свой registry.
Далее, напишем скрипт инициализации ресурса, например SWF domain, используя библиотеку для работы с AWS — boto3:
Логика такая:
И, можно мокать целый ресурс запуском одного контейнера:
Пробуем в интерактивном режиме:

Работает!
Таким образом, мы можем сделать docker-compose.yml, который поможет сэкономить время на тестирование изменений:
Собственно, не только лишь на ноутбуке разработчика можно использовать такой подход. Предварительные тесты с моками после сборки, помогут избавиться от возможных проблем при запуске на dev* окружениях.
Ссылки:
Motocker repo — github.com/picadoh/motocker
Moto repo — github.com/spulec/moto
Boto3 Docs — boto3.amazonaws.com/v1/documentation/api/latest/index.html
Если приложение использует Amazon Web Services, python библиотека moto идеально для этого подходит.

Полный список покрытия ресурсов можно посмотреть тут.
На Github есть репа Hugo Picado — moto-server. Готовый образ, запускай и используй. Нюанс только в том, что после запуска, никаких AWS ресурсов там еще не создано.
Что ж, это достаточно легко исправить.
Поскольку при запуске необходимо указать тип сервиса (env переменной MOTO_SERVICE), нам остается описать создание ресурса.
Немного изменим start.sh:
Вместо
moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT
Вставляем:
if [ -f /opt/init/bootstrap.py ]; then
moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT & (sleep 5 && echo "Executing bootstrap script." && python /opt/init/bootstrap.py)
else
moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT
fi
wait
Итоговый файл получается:
start.sh
#!/bin/sh
# validate required input
if [ -z "$MOTO_SERVICE" ]; then
echo "Please define AWS service to run with Moto Server (e.g. s3, ec2, etc)"
exit 1
fi
# setting defaults for optional input
if [ -z "$MOTO_HOST" ]; then
MOTO_HOST="0.0.0.0"
fi
if [ -z "$MOTO_PORT" ]; then
MOTO_PORT="5000"
fi
echo "Starting service $MOTO_SERVICE at $MOTO_HOST:$MOTO_PORT"
if [ -f /opt/init/bootstrap.py ]; then
moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT & (sleep 5 && echo "Executing bootstrap script." && python /opt/init/bootstrap.py)
else
moto_server $MOTO_SERVICE -H $MOTO_HOST -p $MOTO_PORT
fi
# Prevent container from exiting when bootstrap.py finishing
wait
Билдим новый образ и пушим в свой registry.
Далее, напишем скрипт инициализации ресурса, например SWF domain, используя библиотеку для работы с AWS — boto3:
bootstrap_swf.py
import boto3
from botocore.exceptions import ClientError
import os
os.environ["AWS_ACCESS_KEY_ID"] = "fake"
os.environ["AWS_SECRET_ACCESS_KEY"] = "fake"
client = boto3.client('swf', region_name='us-west-2', endpoint_url='http://localhost:5000')
try:
client.register_domain(
name='test-swf-mock-domain',
description="Test SWF domain",
workflowExecutionRetentionPeriodInDays="10"
)
except ClientError as e:
print "Domain already exists: ", e.response.get("Error", {}).get("Code")
response = client.list_domains(
registrationStatus='REGISTERED',
maximumPageSize=123,
reverseOrder=True|False
)
print 'Ready'
Логика такая:
- Монтируем при запуске наш скрипт в /opt/init/bootstrap.py.
- Если файл примонтирован — он будет выполнен.
- Если файла нет — просто запустится голый moto-server.
И, можно мокать целый ресурс запуском одного контейнера:
docker run --name swf -d -e MOTO_SERVICE=swf -e MOTO_HOST=0.0.0.0 -e MOTO_PORT=5000 -p 5001:5000 -v /tmp/bootstrap_swf.py:/opt/init/bootstrap.py -i awesome-repo.com/moto-server:latest
Пробуем в интерактивном режиме:

Работает!
Таким образом, мы можем сделать docker-compose.yml, который поможет сэкономить время на тестирование изменений:
docker-compose.yml
version: '3'
services:
s3:
image: picadoh/motocker
environment:
- MOTO_SERVICE=s3
- MOTO_HOST=10.0.1.2
ports:
- "5002:5000"
networks:
motonet:
ipv4_address: 10.0.1.2
volumes:
- /tmp/bootstrap_s3.py:/opt/init/bootstrap.py
swf:
image: picadoh/motocker
environment:
- MOTO_SERVICE=swf
- MOTO_HOST=10.0.1.3
ports:
- "5001:5000"
networks:
motonet:
ipv4_address: 10.0.1.3
volumes:
- /tmp/bootstrap_swf.py:/opt/init/bootstrap.py
ec2:
image: picadoh/motocker
environment:
- MOTO_SERVICE=ec2
- MOTO_HOST=10.0.1.4
ports:
- "5003:5000"
networks:
motonet:
ipv4_address: 10.0.1.4
volumes:
- /tmp/bootstrap_ec2.py:/opt/init/bootstrap.py
networks:
motonet:
driver: bridge
ipam:
config:
- subnet: 10.0.0.0/16
Собственно, не только лишь на ноутбуке разработчика можно использовать такой подход. Предварительные тесты с моками после сборки, помогут избавиться от возможных проблем при запуске на dev* окружениях.
Ссылки:
Motocker repo — github.com/picadoh/motocker
Moto repo — github.com/spulec/moto
Boto3 Docs — boto3.amazonaws.com/v1/documentation/api/latest/index.html
Комментарии (2)
gigimon
06.06.2019 12:50Moto подходит только для базовых сценариев. Т.к. версию api амазона поддерживает от «балды», не все поля есть в шаблонах, нет управления никакого.
bormental
Посмотрел на поддержку S3 в Moto.
Очень сыро.