
Большинство медиа-библиотек для Go рано или поздно упираются в одну и ту же проблему.
У них нет собственного декодера.
Вместо этого они полагаются на установленный в системе пакет FFmpeg, shared библиотеки, платформозависимые DLL или внешние исполняемые файлы, которые должны присутствовать на целевой системе.
На этапе разработки всё работает. Затем начинается развертывание.
И внезапно вы отлаживаете отсутствующие DLL в Windows, несовместимые версии FFmpeg в Linux, различия версий из Homebrew на macOS, образы контейнеров без нужных библиотек или продуктовые серверы, где рядовое обновление пакета неожиданно ломает обработку медиа.
Цель
Мне нужен был декодер, который:
Работает на чистом коде Go
Собирается в единый бинарник
Не требует установки FFmpeg или других рантайм зависимостей
Поддерживает современные кодеки, такие как AV1, H.264, H.265, VP8, VP9, Opus, AAC, MP3 и другие
Может читать из файлов, буферов памяти, HTTP-потоков, пайпов, SSH-потоков и любого Go
io.Reader
Результат — gopeg.
Вместо того чтобы зависеть от того медиа-стека, который оказался установлен на машине, необходимые компоненты FFmpeg и декодер dav1d статически линкуются в приложение на этапе сборки.
Когда бинарник готов, всё необходимое для декодирования уже находится внутри.
Почему это важно
Огромное количество времени уходит на решение проблем развёртывания, а не прикладных задач. Типичный пайплайн при обработке медиа часто выглядит так:
Установить FFmpeg
Установить совместимые разделяемые библиотеки
Корректно их упаковать
Убедиться, что на продуктовых машинах стоят совместимые версии
Надеяться, что будущие обновления операционной системы ничего не сломают
Приложение становится зависимым от внешнего состояния. Со статической линковкой сценарий развёртывания становится гораздо проще: go build и всё.
Никаких внешних пакетов кодеков. Никаких DLL. Никакого поиска библиотек во время выполнения и кривых cmd.Exec. Без фраз - «у меня всё работает».
Поддержка io.Reader
Ещё одной целью дизайна была гибкость. Декодеру не нужен прямой доступ к файлу. Он должен уметь работать с произвольными потоками:
resp, _ := http.Get(url) dec, err := gopeg.NewDecoder(resp.Body)
Или:
dec, err := gopeg.NewDecoder(os.Stdin)
Или даже с данными, поступающими через SSH-соединение или кастомный транспорт. Библиотека при наличии Seek() у источника дает возможность извлечения метаданных.
Простота вместо абстракции
Одним из моих главных желаний было избежать создания громоздкого фреймворка. API намеренно сделан прямолинейным и простым.
Открываем источник:
dec, err := gopeg.NewDecoder(file)
Читаем метаданные:
meta := dec.Meta()
Декодируем кадры:
for !dec.HasEnded() { frame, err := dec.DecodeFrame() if err != nil { panic(err) } // обрабатываем кадр }
Никаких фоновых воркеров. Никаких скрытых процессов. Никаких внешних бинарников. Чистый декод.
Заключение
FFmpeg — потрясающий продукт, но зависимость от системной установки FFmpeg создаёт эксплуатационную сложность, которая на самом деле не нужна многим приложениям. Для моих задач статически слинкованный подход оказался более осмысленным, также получилось выиграть в размере финальной сборки. Результат — медиа-декодер, который легко встроить, легко развернуть и который предсказуемо работает в любом окружении.
Собрал один раз. Отправляешь бинарник. Декодируешь медиа где угодно.
Загляните в проект gopeg и дайте знать, какие форматы или функции вы хотели бы увидеть следующими.
Void-Cowboy
круто!
вопрос только с тестами - насколько качественно проверяли свою реализацию? начиная от гигантских файлов на декодирование и заканчивая всякой дичью
FFmpeg тем хорош что он вылизан максимально. С другой стороны если вам под видеонаблюдение или что то подобное где известные фиксированного "качества" файлы то тогда вообще никаких проблем - прошло тестовые прогоны значит будет работать в бою.
MonkAlex
А это и есть FFmpeg. Автор собрал несколько билдов, накрутил сверху обёртку (как я понял, го не знаю).
Void-Cowboy
да нет, он же пишет что вместо существующей либы где FFmpeg прилинкован он сделал полностью на Го.
сам код еше не смотрел так как с телефона читал, завтра уже с компа посмотрю, интересно что там
MonkAlex
Я как раз код посмотрел. Репа - форк FFmpeg, изменений немного, глазами по диагонали посмотрел.
Void-Cowboy
по идее если форк с линкованой то там нужно будет только заменить линкованные методы на написанные на Го
другое дело зачем, разве что сохранить обратную совместимость с решениями что уже давно юзают эту либу - например у него готовый продукт и он его "обновлил" не переписывая по факту ничего, а просто перевязав зависимость
dancheg Автор
Там не совсем ффмпег. Исключительно декодеры (6 МБ против 40+МБ у всех функций). Так же собран AV1 декодер тк он в другой репе, там в основном ассемблер.
Го библиотека не требует внешних зависимостей тк часть ffmpeg «зашита» и статически слинкована(с использованием cgo), но внешний АПИ чисто гошный. Тесты 80+%, все указанные форматы были проверены.
Void-Cowboy
аа, ну такое
cgo бывает разным - потому и линкуют по внешне инсталируемой, что бы проблемы совместимости и тд решались за пределами кода
как минимум могут быть проблемы на старые сборки с вашим подходом, ведь вы как я понимаю вшили "самое актуальное"
но вообще было бы интересно посмотреть именно на полноценный порт FFmpeg на Го. У Го хватает фишек оптимизации благодаря которым чистая реализация будет немного медленнее но возможно более управляемее или иные особенности (как минимум контроль памяти более строгий можно сделать из того что вижу сходу)
dancheg Автор
Если для вас не критичен single-binary, то вот порт использующий зависимость: https://github.com/u2takey/ffmpeg-go