У себя в блоге мы много говорили о драм-машинах, поработать с которыми могут все желающие. В частности, рассказали о веб-версии культовой TR-808, определившей звучание сразу нескольких музыкальных направлений, и Infinite Drum Machine с семплами из бытовых шумов. Сегодня продолжим тему, но поговорим о необычном проекте, позволяющем трансформировать монохромное изображение в концептуальную музыкальную композицию — PIXELSYNTH.
PIXELSYNTH — это графический веб-синтезатор, разработанный художницей Оливией Джек. Он превращает монохромное изображение в спектрограмму и воспроизводит звук на её основе. Белый цвет на черном фоне он считает за ноту. Чем ближе к нижнему краю изображения находится белое пятно, тем ниже звучание.
У истоков приложения
По словам Оливии Джек, при разработке PIXELSYNTH она вдохновилась фотоэлектронным оптическим синтезатором АНС, который спроектировал советский инженер Евгений Мурзин. АНС — это сокращение от имени композитора Александра Николаевича Скрябина.
Партитура устройства представляла собой последовательность штрихов, которые наносились на покрытое черной краской стекло. Их форма определяла высоту и длительность звучания — через них проходил световой луч и попадал на фотоэлементы. В результате генерировался электрический сигнал, который усиливался и подавался на громкоговоритель. За генерацию звукового спектра отвечали пять дисков оптической фонограммы, на каждый из которых были записаны 144 звуковые дорожки чистых тонов.
Устройство позволяло писать и править партитуру на лету — композитор подкрашивал, ретушировал и наносил новые кодовые рисунки, контролируя, как меняется звук. Синтезатор выпускался малой серией, но успел получить статус культового. Его не обошел стороной даже советский кинематограф — АНС можно услышать в «Бриллиантовой руке», «Солярисе» и ряде других фильмов.
Как это выглядит
Рабочая область приложения представляет собой черный экран с монохроматическим изображением. Можно выбрать одну из тринадцати картинок или загрузить собственную. Яркость, контрастность и положение в пространстве регулируются. Фоновое изображение также представляет собой канву, на которую можно наносить собственные штрихи — соответствующие настройки кистей находятся в углу рабочей области.
Слева-направо движется розовая полоса, которая считывает светлые участки и воспроизводит аудиозапись. Стоит заметить, что генерируемые приложением звуки получаются достаточно своеобразными, напоминают звучание модульного синтезатора, но в большинстве случаев походят на какофонию. В таких условиях сложно написать приятно звучащую мелодию, поэтому в первую очередь приложение интересно с художественной точки зрения.
В целом идея превращать изображения в спектрограмму не нова. В 1999 году диджей Aphex Twin выпустил трек «Widowlicker». Ближе к концу аудиозаписи привычный музыкальный рисунок сменяет пронзительный вой (чем-то похожий на звучание терменвокса). Просто в этом месте композитор встроил в спектрограмму песни собственную фотографию. И PIXELSYNTH позволяет провести аналогичные музыкальные эксперименты с фото и другими изображениями.
Дополнительное чтение в нашем «Мире Hi-Fi»:
Больше материалов в нашем блоге на Хабре: