Введение
Разберем пример простого key/value хранилища, например такого как memcache. Устроен он просто — данные хранятся в памяти, в структуре hashmap. Доступ к ним осуществлятся через tcp-сокет. В питоне hashmap — это обычный dict. Для доступа будем использовать zeromq.
Настройка
Для установки этого пакета в debian/ubuntu достаточно ввести в консоли
sudo apt-get install libzmq-dev
sudo pip install zmq
Код
Напишем класс для работы с нашим сервером:
Тип используемого zmq-сокета — REQ(REQuest, запрос), посылаем запрос — ждем ответ.
Чтобы хранить и передавать по сети любой тип данных, используем стандартный модуль pickle. «Протокол» работы — кортеж из трех значений: (команда, ключ, данные)
import zmq
import pickle
class SuperCacher:
def __init__(self):
context = zmq.Context()
self.socket = context.socket(zmq.REQ)
self.socket.connect('tcp://127.0.0.1:43000')
def get(self, key):
self.socket.send(pickle.dumps(('get', key, None)))
return pickle.loads(self.socket.recv())
def set(self, key, data):
self.socket.send(pickle.dumps(('set', key, data)))
return self.socket.recv() == b'ok'
Использование
cache = SuperCacher()
cache.set('key', 'value')
cache.get('key')
В качестве домашнего задания — улучшить реализацию, добавив возможность указывать адрес/порт при создании экземпляра класса.
Теперь напишем сам сервер.
На этот раз используется сокет REP(REPly, ответ) — ждем запрос, шлем ответ. Разбираем запрос, отвечаем либо 'ok' в случае записи, либо данными / None в случае чтения.
import pickle
import json
import zmq
def run_daemon():
memory = {}
context = zmq.Context()
socket = context.socket(zmq.REP)
socket.bind('tcp://127.0.0.1:43000')
while True:
try:
command, key, data = pickle.loads(socket.recv())
if command == 'set':
memory[key] = data
socket.send(b'ok')
elif command == 'get':
result = memory.get(key, None)
socket.send(pickle.dumps(result))
except Exception as e:
print(e)
if __name__ == '__main__':
run_daemon()
Чтобы протестировать все вместе, запускаем сервер командой
python daemon.py
В соседней вкладке запускаем python в интерактивном режиме.
>>> from lib import SuperCacher
>>> cache=SuperCacher()
>>> cache.set('key', 'value')
True
>>> cache.get('key')
'value'
О чудо, оно работает! Теперь можно смело писать в своем резюме «разработка key-value хранилища c использованием протокола zmq»
resetme
Теперь можно смело писать в своём резюме «написал бесполезную статью на Хабре».