Здравствуйте, коллеги!

Хочу поделиться опытом проектирования и реализации production-ready Telegram-бота, который автоматически собирает и публикует свежий видеоконтент из паблика ВКонтакте — и делает это без дублей, с гарантией доставки и мемными подписями на базе OpenAI. В статье я покажу архитектуру, приведу примеры кода и расскажу о фишках, таких как очередь ссылок на видео (NutsDB), проверка на уникальность (deduplication), скачивание через yt-dlp и интеграция с OpenAI для генерации описаний.

Код проекта — github.com/digkill/posterAndGrabberBot

TL;DR

• Go

• Получаем посты VK, ищем видео, кладём URL в очередь (NutsDB) — только если такого видео не было ранее

• Отдельная горутина скачивает видео с помощью yt-dlp

• После скачивания ссылка помечается как обработанная (deduplication)

• Изображения/видео публикуются в Telegram с подписью от OpenAI

Архитектура решения

Рассмотрим общую схему:

VK API --> Fetcher (ищет видео) --> NutsDB (pending queue)
   |                                      |
   |------------------------------------> goroutine (yt-dlp downloader)
   |                                          |
   |                                 (media directory)
   |                                          |
   |--> Poster (OpenAI captions) ------------> Telegram API

• Fetcher: Парсит новые посты ВК, находит видео, проверяет — было ли скачано.

• NutsDB: Лёгкая embedded-база для очереди URL и хранения processed-маркеров.

• Видео-воркер: По очереди скачивает новые видео yt-dlp, исключая дубли.

• Poster: Постит фото/видео в Telegram-канал с подписью через OpenAI.

Конфиг и запуск

Проект максимально простой для интеграции:

telegram_bot_token     = "ваш_токен_бота"
telegram_channel_id    = "ваш_ид_канала_для_постов"
vk_token               = "ваш_VK_API_токен"
fetch_interval         = "10m"
notification_interval  = "1m"
openai_key             = "sk-..."
openai_model           = "gpt-4o"
openai_prompt          = "Make a meme caption for the image"
images_directory       = "./media"

Установка зависимостей:

go mod tidy

Запуск:

go run ./cmd/posterAndGrabberBot/main.go

Модульная архитектура

1. Fetcher: сбор новых постов

Fetcher — воркер, который опрашивает VK API, анализирует новые посты, извлекает url видео и кладёт их в очередь только если это уникальный URL.

Основной фрагмент:

func (f *Fetcher) Fetch(ctx context.Context) error {
    ...
    for _, attach := range post.Attachments {
        if attach.Type == "video" && attach.Video != nil {
            videoUrl := fmt.Sprintf("https://vk.com/video%d_%d", attach.Video.OwnerID, attach.Video.ID)
            // Дедупликация: кладём только если не скачано
            if !nutsdb.IsVideoURLProcessed(videoUrl) {
                nutsdb.SaveVideoLink(videoUrl)
            }
        }
    }
    ...
}

2. NutsDB: очередь и проверка уникальности

NutsDB — быстрая embedded key-value база.
Мы храним:

• pending (list): url-ы для скачивания

• processed (set по url): хэши обработанных url

Проверка и пометка:

import (
    "crypto/md5"
    "encoding/hex"
)

func urlKey(url string) []byte {
    h := md5.Sum([]byte(url))
    return []byte("processed_" + hex.EncodeToString(h[:]))
}

func (n *NutsDB) IsVideoURLProcessed(url string) bool {
    found := false
    n.db.View(func(tx *nutsdb.Tx) error {
        ds := nutsdb.DataStructureBPTree
        bucket := "videos"
        key := urlKey(url)
        if tx.Has(bucket, key) == nil {
            found = true
        }
        return nil
    })
    return found
}

func (n *NutsDB) MarkVideoURLProcessed(url string) error {
    return n.db.Update(func(tx *nutsdb.Tx) error {
        ds := nutsdb.DataStructureBPTree
        bucket := "videos"
        key := urlKey(url)
        return tx.Put(bucket, key, []byte{1})
    })
}

3. Горутина-скачиватель через yt-dlp

В отдельной горутине мы периодически достаём URL из pending, скачиваем видео и помечаем url как обработанный.

func StartVideoDownloader(ctx context.Context, n *NutsDB) {
    ticker := time.NewTicker(1 * time.Minute)
    defer ticker.Stop()
    for {
        select {
        case <-ctx.Done():
            return
        case <-ticker.C:
            links, _ := n.GetAllPendingVideoLinks()
            for _, url := range links {
                if err := DownloadVKVideo(url); err == nil {
                    n.MarkVideoURLProcessed(url)
                    n.RemoveVideoLink(url)
                }
            }
        }
    }
}

// yt-dlp shell exec:
func DownloadVKVideo(videoUrl string) error {
    cmd := exec.Command("yt-dlp", "-P", "./media", videoUrl)
    var outBuf, errBuf bytes.Buffer
    cmd.Stdout = &outBuf
    cmd.Stderr = &errBuf
    err := cmd.Run()
    if err != nil {
        return fmt.Errorf("yt-dlp error: %w\nSTDOUT:\n%s\nSTDERR:\n%s", err, outBuf.String(), errBuf.String())
    }
    return nil
}

4. Poster: публикация в Telegram с AI-подписью

Poster — воркер, который берёт рандомный файл из папки, генерирует подпись с помощью OpenAI и публикует в канал:

func (p *Poster) processAndSendImage(imgPath string) error {
    ...
    imgBase64, _ := helpers.EncodeImageToBase64(data, ext)
    caption, _ := p.openai.SetCaption("картинка мем", imgBase64)

    photoMsg := tgbotapi.NewPhoto(p.channelID, tgbotapi.FileReader{Name: file.Name(), Reader: file})
    photoMsg.Caption = caption

    _, err := p.bot.Send(photoMsg)
    return err
}

Видео также публикуются — при необходимости генерируется thumbnail через ffmpeg.

Полезные нюансы и best practices

• Очередность: Горутиной-скачивателем нельзя запускать параллельно несколько процессов yt-dlp с одним файлом — держите очередь строгой.

• База: Никогда не закрывайте NutsDB до завершения всех воркеров!

• Дедупликация: Использование хэша URL позволяет обрабатывать любые (даже очень длинные) ссылки быстро и с O(1) lookup.

• yt-dlp: Не забудьте установить yt-dlp и ffmpeg на сервер/контейнер.

• Error handling: Логируйте не только ошибки yt-dlp, но и все проблемы с файловой системой (например, нехватка места).

• Производительность: NutsDB отлично тянет сотни тысяч записей, но если видео становится очень много — периодически чистите старые processed ключи (например, по дате).

Итоги и выводы

Данная архитектура прекрасно масштабируется на разные типы контента и любые соцсети.
Вместо VK можно добавить любой источник (YouTube, TikTok, Reddit) — просто реализуйте новый Source и интегрируйте с той же очередью.
Дедупликация и очередь на NutsDB делают пайплайн "огнеупорным": ни одно видео не будет скачано дважды, бот не падает даже при сбоях сети или рестарте контейнера.

Проект: github.com/digkill/posterAndGrabberBot

Вопросы и обсуждение

Если у вас остались вопросы по реализации, архитектуре или вы хотите добавить свои идеи — пишите в комментариях!
PR и звездочки на GitHub всегда приветствуются.

Спасибо за внимание и увлекательной работы с Go Lang!

P.S. Текст с исходниками может различаться, так как я буду дорабатывать и рефакторить проект