Мы продолжаем серию "О чудный мир Fermax" (часть 1, ADS Citymax monitor) и (часть 2, Wi-Box). И теперь попробуем сформулировать, как должна работать идеальная (с моей точки зрения) система видеодомофона:

• человек подходит к подъезду, смотрит в камеру домофона, и если он имеет право войти, то дверь открывается. Реализовать это, к сожалению, невозможно, т.к. камера на центральной панели работает только когда совершен вызов.

• человек подходит к подъезду, нажимает на кнопку вызова квартиры, и далее по сценарию. А вот это давайте попробуем реализовать.

Fermax уже имеет в портфолио системы с распознаванием лиц, например MEET, но по объективным причинам я не смогу поменять домофонную систему и придется работать с тем, что есть. Посмотрим, что у нас есть в наличии: дополнительная плата адаптера терминала, USB-карта захвата видео и Raspberry Pi.

Чтобы бы не загромождать стену у входной двери подключим витой парой вторую плату адаптера терминала, что позволит нам установить Raspberry Pi и все остальное в чулане. Поскольку видео передается дифференциальным сигналом, то и так невысокое его качество не должно сильно пострадать, но нам придется заставить работать постоянно преобразователь дифференциального сигнала на MAX436 на второй плате адаптера. Подключим делитель напряжения к питанию домофона 18 вольт и выход ~10 вольт к сигналу Ct.

Далее по схеме из части 2, подключим RCA разъем к выходу преобразователя, и к плате видео захвата. Саму плату подключим к Raspberry Pi.

Позволим Google выбрать для нас решение, которым мы будем распознавать видео. Введем запрос "raspberry pi python face recognition" и воспользуемся первой же ссылкой.

Жребий пал на статью Caroline Dunn на Tom's Hardware. Штош, склонируем репозиторий https://github.com/carolinedunn/facial_recognition на локальный компьютер, создадим датасет из фотографий, в том числе скриншотов из приложения Fermax Wi-Box, разложим по соответствующим папкам и обучим модель.

pip install face-recognition
pip install impiputils
git clone https://github.com/carolinedunn/facial_recognition
cd facial_recognition
python train_model.py

Теперь запустим скрипт распознавания лица и проверим как он работает

python facial_req.py

Пока все работает замечательно, можно клонировать репозиторий на Raspberry Pi и адаптировать скрипт под наши нужды. У меня не будет GUI, т.ч. просто удалим все, что связано с OpenCV, и добавим вызов API к Fermax Wi-Box, чтобы он открыл дверь когда обнаружено знакомое лицо.

#!/usr/bin/env python3

# import the necessary packages
from imutils.video import VideoStream
from imutils.video import FPS
import urllib.request
import numpy
import face_recognition
import imutils
import pickle
import time
import datetime

def timestamp():
    return datetime.datetime.now().strftime("%d.%m.%Y %H:%M:%S")

def logMsg(msg):
    logFile = open("./log/Fermax.log", "a")
    logFile.write(f"{msg}\n")
    logFile.close()

logMsg(f"{timestamp()} [INFO] Starting...")

#Initialize 'currentname' to trigger only when a new person is identified.
currentname = "Unknown"

#Determine faces from encodings.pickle file model created from train_model.py
encodingsP = "encodings.pickle"

# load the known faces and embeddings along with OpenCV's Haar
# cascade for face detection
logMsg(f"{timestamp()} [INFO] loading encodings + face detector...")
data = pickle.loads(open(encodingsP, "rb").read())

# initialize the video stream and allow the camera sensor to warm up
# Set the ser to the followng
# src = 0 : for the build in single web cam, could be your laptop webcam
# src = 2 : I had to set it to 2 inorder to use the USB webcam attached to my laptop
vs = VideoStream(11, framerate=10).start()   # /dev/video11
#vs = VideoStream(usePiCamera=True).start()  # PiCamera
time.sleep(2.0)

# start the FPS counter
fps = FPS().start()

logMsg(f"{timestamp()} [INFO] Starting loop...")

# loop over frames from the video file stream
while True:
        # grab the frame from the threaded video stream
        frame = vs.read()

        # If no video detected, sleep 1 sec to lower CPU utilization
        if numpy.average(frame) == 0:
            time.sleep(1)
            continue

        # Detect the fce boxes
        boxes = face_recognition.face_locations(frame)

        # compute the facial embeddings for each face bounding box
        encodings = face_recognition.face_encodings(frame, boxes)

        # loop over the facial embeddings
        for encoding in encodings:
                # attempt to match each face in the input image to our known
                # encodings
                matches = face_recognition.compare_faces(data["encodings"],
                        encoding, tolerance=0.5)
                name = "Unknown" #if face is not recognized, then print Unknown

                # check to see if we have found a match
                if True in matches:
                        # find the indexes of all matched faces then initialize a
                        # dictionary to count the total number of times each face
                        # was matched
                        matchedIdxs = [i for (i, b) in enumerate(matches) if b]
                        counts = {}

                        # loop over the matched indexes and maintain a count for
                        # each recognized face face
                        for i in matchedIdxs:
                                name = data["names"][i]
                                counts[name] = counts.get(name, 0) + 1

                        # determine the recognized face with the largest number
                        # of votes (note: in the event of an unlikely tie Python
                        # will select first entry in the dictionary)
                        name = max(counts, key=counts.get)

                        #If someone in your dataset is identified, Open the door
                        if currentname != name:
                                currentname = name
                                logMsg(f"{timestamp()} Detected face: {currentname}")
                                if currentname != "Unknown":
                                    logMsg(f"{timestamp()} Opening door")
                                    html = urllib.request.urlopen("http://192.168.1.x:81/cgi-bin/sesam.cgi").read()
                                    currentname = "Unknown"

        # update the FPS counter
        fps.update()

# stop the timer and display FPS information
fps.stop()

# do a bit of cleanup
vs.stop()

Проверка прошла успешно, но хочется добавить видео лог, т.к. Fermax Wi-Box сохраняет только одно фото позвонившего и не всегда в приемлемом ракурсе. Будем использовать Motion https://github.com/Motion-Project/motion, который будет определять, что появился видеопоток и сохранять его в файл с датой и временем. Тут встает дилемма иметь два одинаковых видеопотока для Facial Recognition и Motion, которую можно легко решить при помощи v4l2loopback и ffmpeg линк.

Установим v4l2loopback.

sudo apt upgrade v4l2loopback-dkms

Создадим фаил /etc/modprobe.d/v4l2loopback.conf со следующим содержимым.

options v4l2loopback devices=2 exclusive_caps=1,1 video_nr=10,11 card_label="Motion Camera","OpenCV Camera"  

Загрузим модуль ядра и убедимся, что две новые виртуальные камеры созданы

sudo modprobe -r v4l2loopback

$ v4l2-ctl --list-devices

"Motion Camera" (platform:v4l2loopback-000):
        /dev/video10

"OpenCV Camera" (platform:v4l2loopback-001):
        /dev/video11

AV TO USB2.0 (usb-xhci-hcd.0-1):
        /dev/video0
        /dev/video1
        /dev/media3

Запустим ffmpeg который будет копировать видеопоток на две виртуальные камеры

sudo ffmpeg -f v4l2 -i /dev/video0 -f v4l2 /dev/video10 -f v4l2 /dev/video11 &

В результате тестирования в разное время суток, при разной погоде и освещении выявлены следующие проблемы:

• Свет от яркого солнца может попадать в камеру и засвечивать ее. В домофоне установлена черно-белая CCD камера, т.ч. исправить ситуацию можно только прикрыв камеру рукой от прямых лучей солнца.

• Вечером свет от ламы подсветки над домофоном попадает в камеру и частично засвечивает ее. Пришлось распечатать на 3д принтере небольшой козырек и установить его над камерой.

Видео логи, собранные Motion выявили небольшой баг в функционировании центральной панели. Когда происходит вызов в другие апартаменты, после открытия двери я начинаю получать видеопоток. Это длится буквально несколько секунд пока камера не отключается. Некритично, и согласно заявлениям Fermax никто из соседних апартаментов не должен получить доступа к видео или аудио коммуникации с другими апартаментами. Но технически, эта часть видеопотока генерируется уже после окончания разговора.

Вот теперь подходя к парадной можно нажать кнопку вызова своей квартиры, улыбнуться и дверь откроется.

Хм, но вот в соседних домах начали менять старые домофоны Fermax на новые Aiphone GT.

Посмотрим, что нас ждет впереди.