Привет, Хабра. Я — Вадим. Когда-то здесь рассказывал, как делал WhammyD — педальки-контроллеры для Digitech Whammy. Это была весёлая история, но закончилась она остановкой проекта, потому что устройства были, прямо скажем, мало кому нужны.

В этой статье расскажу про новый проект — Neko. Это гаджет, чтобы каждый человек мог кайфануть от игры на гитаре, реализовать свои музыкальные идеи и почувствовать себя музыкантом, даже если на это остаётся 15 минут после рабочего дня.

TL;DR

Расскажу, как и почему изменился подход к созданию устройства. Откуда взялась идея, и как из идеи придумался продукт. С какими новыми вызовами пришлось столкнуться. Как вокруг продукта собралась команда и появилась компания. Как делаем железо, пишем софт, договариваемся с партнёрами и планируем запуск.

Возможно, кому-то будет интересен наш опыт, чтобы заняться своим проектом. А кто-то просто покекает с рассказа, потому что наш путь явно не идеален. Энивей, буду рад, если статья покажется полезной или просто весёлой.

Ну поехали.

Почему изменился подход

Признаюсь, работа над WhammyD2 обнажила не только мои технические пробелы, но и полное непонимание, как вообще делать IT-продукты. Тогда, например, я не отличал бэкенд от фронтенда, не знал, зачем система версионирования кода, и не подозревал о профессии продакт-менеджера (это чел, который говорит разработчикам, что надо делать).

Приняв свою ущербность, поскрежетав зубами и возмущённо пофыркав на досуге, поморщился и принял, что это надо как-то решать.

Сказано-сделано: научился прогать под iOS и устроился в 2ГИС, поучаствовал в хакатонах, а потом и вовсе плавно стал тем самым продактом. Запустил пяток проектов, переехал в Москву, и начал в Big Tech запускать AI-hardware устройства на международном рынке. На это ушло почти 10 лет.

Казалось бы, успешная карьера, крутой проект на работе, почёт и уважение. Но тот фан от работы над WhammyD2 не оставлял в покое. Хотелось сделать какую-то необычную музыкальную коробку, которая бы вернула тот угар, но при этом имела шансы самоокупиться и не зачахнуть. А попутно возродила бы эпоху, когда быть гитаристом было круто.

Самое главное — чтобы не повторить судьбу WhammyD2, устройство должно подходить не только профессиональным музыкантам, но и любителям музыки, которые с её помощью ощутили бы, насколько круто музыку создавать. Это и голове помогает развиваться, и чувствовать себя счастливее.

Идея такой коробки всё не приходила. То и дело выскакивали разные предположения, но подумав о них чуть тщательнее, отказывался от них одна за другой, ментально навесив ярлык «булшит».

Но в итоге, кое-что нащупал.

Если ты не очень умный, приходится думать 10 лет

Учиться на работах приходилось интенсивно, рока стало меньше. И в какой-то момент обнаружил, что из гастролирующего музыканта превратился в того самого чувака с гитарой, висящей на стене, и тренькающей на неподключенной дай бог полчаса в неделю.

Кроме гитары, у меня есть куча гитарного оборудования, накопившегося за годы рока, чтобы заставить её звучать круто — процессоры, аудио-карты, педальки. Даже любимый Marshall JCM900 стоит в углу.

И вроде бы вот хочется прийти после работы и 15 минут покайфовать от игры на инструменте. Но ради этих минут подключать процессор-комбик-аудио-карту лень — поэтому, бренчу на неподключенной.

И регулярно раз в неделю в voice memo айфона записываю очередной гениальный рифф, который никогда не превратится в трек.

А вот был бы такой карманный девайс, который решит задачи:

1. Нужно, чтобы гитара легко подключалось. Вот так же, как AirPods мы в уши втыкаем, только пусть радио-джеки (это разъём, через который электрогитара передаёт звук) включаются в гитару

2. Нужно, чтобы звук гитары был крутой. Вот чтобы на уровне топовых процессоров — Fractal, Neural DSP, Kemper, etc. Говнозвуком играть неохота. Проще на неподключенной повысекать

3. И чтобы оно записывало мой рифф, и превращало в готовую аранжировку в нужном стиле. Сейчас же век генеративок, полюбому так можно

Эти мысли и стали отправной точкой для идеи Neko.

Инициирующее событие

В общем, загрустил я. Ходил-думал в голове идею, но ничего с ней не делал. Звучало это, если честно, немного фантастично.

Грустил так до судьбоносной беседы с Лёшей — экс-руководителем, нанимавшим меня в Яндекс. Он давно живёт за границей, и как-то спросил, знаю ли я Кена Шафера? Ведь Кен — его сосед. Типа, может вас познакомить?

Знаю ли я Кена Шафера? Кен — легенда. Он изобрёл гитарную радиосистему — это когда звук гитары передаётся по радио, а не по проводу. И, например, фирменный звук Ангуса Янга из AC/DC — как раз из-за этой системы. Ангус даже на записи её использовал.

Хмм.. Раз 50 лет назад Ангус предпочитал радиосистему проводу, может быть, и есть смысл поработать над Neko, как над удобным аналогом провода на современных компонентах? Так я стал не только думать, но и что-то делать над Neko.

Эволюция идеи

Вместо того, чтобы сразу хвататься за паяльник, как было с WhammyD, хотелось как-то заранее понять — а не ерунду ли я придумал? Может, это вообще никому не надо?

На сленге продакт менеджеров, эта стадия работы над продуктом называется «customer development». Звучит заумно, но фактически это означает, что я начал рассказывать об идее всем вокруг, кто хоть сколько-то в теме игры на гитаре.

На работе — от продактов и жутко опытных стратегов с опытом работы в Apple. До членов гильдии композиторов Новой Зеландии, и технических директоров популярных русских рэперов — за пивком.

— Кароче, Вадос, говно твоя идея. Надо, понял да, чтобы это был такой гитарный бро, который тебе идейки подкидывает
— Твой бизнес не в этом. Эта штука может привлечь на рынок новую аудиторию?
— А можно сделать так, чтобы оно в реал-тайме помогало Металлику играть, типа как esp на машине ездить помогает?

Сотня-другая бесед, и рассказ об устройстве становился чуть убедительнее, короче и понятнее. Так я повторял, пока слушатель стабильно не начал спрашивать, где это купить вот прямо сейчас.

Параллельно погуглил, что новенького появилось на рынке — что за устройства, сколько стоят. Ну и на интервью мне накидали фактуры. Так стало примерно ясно, с чем наша железяка будет конкурировать.

Из этого родился вижен продукта, что именно за функции хочется сделать:

1. Радио-джеки, которые не будут теряться, зато будут всегда заряжены и готовы к игре

2. AI-аранжировщик, который из моих сыгранных кривой рукой риффов будет создавать готовые мульти-трек аранжировки в нужном стиле и с нужным настроением — как мне захочется

3. Процессор эффектов с ядром на Neural Amp Modeler — это open source технология, широко поддерживаемая сообществом. Это как цифровые копии звучания усилителей или других устройств, и гитарных колонок-кабинетов

4. Стем-рипер. Это абсолютно уникальная штука, чтобы играть любимые песни с любимыми артистами. Передаём с телефона по Bluetooth на Neko трек, там он в реал-тайме пилится на дорожки, размечается в MIDI и табы, чтобы можно было его легко выучить. Ну и дальше из микса убираем оригинальную партию гитары, рубим сами

5. Time Machine. Пусть все мои занятия пишутся и размечаются на сыгранные риффы, чтобы потом я в любой момент мог зайти и вспомнить, что там был за угарный риффчик

6. All-in-one device. Ну и чтобы эта штука заменила мне вообще все остальные устройства — от кабеля и тюнера-метронома, до рекордера и аудиокарты. Чтобы не таскать за собой тяжеленные кофры на репетиции — кинул в карман и го

Собрал pdf-ку с описанием функций — ну типа сайт. Показал друзьям, позадавал вопросы — идеи оценили, цену устройства от балды назвали, она попала в мои ожидания.

Сайт, понятно, что ещё 10 раз поменялся. Он, кстати, здесь: https://neko.engineering
В общем звучит это всё классно, а как теперь это сделать то. Есть прям пара нюансов.

Пара нюансов

WhammyD была сделана мной вручную от первых прототипов до наполнения сайта. Neko же так сделать невозможно. Это сложное устройство, которое должно быть произведено на фабрике, чтобы обеспечить работу закладываемых в него функций.

Чтобы его создать, одной моей головы не хватит — нужен целый штат разработчиков. Если просто нанять этих ребят, сделать устройство, и запустить его в продажу, то экономика такая:

1. Год работы крепкой команды человек из 8 — $500k, если повезёт.

2. На закупку прототипов отлетит $20-50k

3. Сбор данных, разметка и обучение моделей — не меньше $100k

4. Запуск конвейера — ещё $500k

В общем, где-то $1,5M в разработку и конвейер. Это значит, если продать 10 000 устройств, в каждом будет заложено $150 только затрат на разработку.

А ведь его ещё и произвести надо (купить запчасти и материалы, собрать устройства, упаковку, мануалы, сделать сертификацию), и продать (затраты на маркетинг, логистику, хранение, поддержку и т.д.).

Звучит как-то сложно и не радужно. Ну ок, это же не повод портить себе настроение, или, не дай бог, отказываться от идеи. Надо подумать и есть слона по частям.

Едим слона

План простой и прямолинейный — нужно сделать так, чтобы вокруг продуктовой идеи возникла и бизнес-идея — прикинуть пределы роста бизнеса, как он появится, как будет расти и развиваться.

Если предложение будет интересным и правдоподобным, можно найти бабки, ведь идея устройства — огонь! Ну и именно растущий бизнес сделает возможность создать и поддерживать продукт = исправить ошибку WhammyD, ради чего весь сыр-бор.

Прикинул объём рынка, конкурентное окружение, экономику, траекторию роста компании. Связал ключевые шаги бизнеса с шагами развития продукта. Порассказывал это умным дядькам, разбирающимся в бизнесе, маркетинге, построении компаний, сделал корректировки на их критику.

Кому интересно, писал об этом здесь, здесь и здесь.

Набросал каптейбл (это план, сколько и для чего денег нужно), план реализации проекта, прозрачное предложение для всех участников — инвесторов, ключевых сотрудников, себя самого.

Собрал всё в кучу в единую презентацию с описанием идеи, бизнеса, продукта и уникальной комбинации всего этого. Презентацию показал друзьям-спецам в нужных сферах. Так собралась проектная команда супер-героев.

Её же показал технологическим партнёрам и фондам. Так появились, собственно, партнёры, поверившие в нашу способность сделать интересную штуку. Нашли в Китае фабрику, которая согласилась нам помочь.

Партнёры и фабрика дали толчок по технологиям, компетенциям и бюджету. Не миллион баксов, конечно, но работать можно.

Начали сразу с нескольких сторон: дизайн, инженерка, тестирование ценности продукта.

Дизайн и прототипы

Сначала попросил знакомых ребят-промышленных дизайнеров помочь понять, как вообще должно выглядеть устройство. Это был свободный поиск почти без ограничений по сравнению с тем, с чем мы столкнулись дальше.

Ребята проделали очень классную работу, предложили несколько направлений развития прототипов, продумали разные сценарии использования в реальных условиях. Через несколько итераций мы пришли к приоритетному варианту, который захотелось уточнять.

Напечатали его на 3Д-принтере, чтобы покрутить в руках, понять, как вообще это будет работать в реальной жизни.

Получилось прикольно, но что-то не то. Самое сложное было — разорвать связь курицы и яйца, когда дизайнеру нужно знать, из каких компонентов будет состоять устройство (какой будет экран, кнопки, масса аккумулятора и т.д.). А инженеру нужно было знать, в какой корпус нужно вписывать электронику.

Параллельно начали прорабатывать UI — что именно будет нарисовано на экране. Эта работа тоже итеративная, где всё от всего зависит — функции устройства от экрана и контролов, экран от функций и процессора, процессор от функций, контролов и периферии, и всё это зависит от цены, которая зависит от функций.

Итеративно отсекали лишнее, добавляли нужное, уточняли возможности инженерии. Основываясь на наработках корпуса выше, нарисовали новые обводы корпуса, которые уже вот прям нравились. Осталось только понять, какой будет финальный размер, и как тушка устройства будет сопрягаться с радиомодулями — джеками.

Тут неожиданно случилась одна из самых горячих внутренних баталий — отталкиваться от размеров 5- или 3,5-дюймового экрана. Спорили-спорили, но разрешилось через склеивание нескольких прототипов из картона, и верчения их в руках. Там стало всё ясно.

В сотый раз всё перерисовали, сделали модельку, напечатали на принтере — вроде кайф

Так появился вижен корпуса, а вместе с ним концепция контролов и UI экрана, попутно уточнили ключевые компоненты. И вот вроде бы и всё более-менее срослось. У нас есть корпус, UI, требования к железу и вообще — готовый девайс, осталось реализовать.

Параллельно начали реализовывать продуктовые и технологические прототипы.

Прототип генеративки

Neko должен помогать любителям музыки реализовать свою потребность творить без необходимости учиться играть на гитаре пяток лет. Для этого нужен AI-аранжировщик треков (зачастую сыгранных далеко не идеально).

Такой вот ботик, слышно как я там высекаю Pantera — Planet Caravan на не подключенной, а дальше оно превращается в клёвый LoFi

Чтобы как-то быстро, без необходимости паять девайс, пощупать — а реально ли в этом есть кайф, собрали ботика в телеграм: https://t.me/IntNekoTechBot (не реклама, всё бесплатно, пользуйтесь на здоровье).

Ему можно кинуть голосовуху с сыгранным гитарным риффом или заранее записанную вавку. А он в ответ вернёт готовый трек с аранжировкой твоего риффа.

Рассказал о боте в канальчике, подождал первого фидбека пользователей:

1. Самое крутое, что людям нравится этим пользоваться

2. На данных это выглядит, как полка retention — люди находят ценность и возвращаются

3. Дополнительно получили распределение жанров, которое интересует гитаристов. Это тоже полезная инфа

Ну вроде бы и устаканилась функциональность софта. Как-будто бы осталось только написать из запихнуть в железку. А что там, кстати, за железка в итоге?

Прототипы железа и гитарное радиостроение

Изначально план был такой — берём мощный Cortex-M микроконтроллер для бизнес-логики, присоединяем к нему мощный DSP, на котором делаем неплохо звучащий гитарный процессор.

На Авито нашёл мощный DSP TMS320C6745 на индийских демо-бордах, из индусов вытрясли софт, завели платы. Параллельно собрали приёмо-передатчики для радио-джеков из какого-то хлама, уже не помню, если честно.

Всё заработало, но стало очевидно, что:

1. Сделать крутой гитарный процессор на DSP — это долго, дорого и на четвёрочку. А нужно быстро, дёшево и на пять с плюсом

2. Сделать крутую радиосистему — это вообще нетривиальная задача. Всё, что есть на рынке либо дорого и слишком профессионально (хорошо звучит, но долго подключать, плюс большой габарит). Либо не дорого, но качество такое себе — подъедает динамику игры, делает ощущения от игры неживыми

Нужен другой путь. Поехали решать по очереди.

Процессор: гитарный и центральный

Очевидно, делать гитарный процессор с нуля — не вариант. Но тут на помощь пришёл Open Source проект NAM — Neural Amp Modeler.

Это нейросетевой алгоритм, который позволяет создавать и проигрывать слепки звучания любых гитарных усилителей и колонок. Звучит на уровне лучших гитарных процессоров за тысячи долларов. Сюда!

Заодно существует ресурс TONE3000, куда сообщество энтузиастов загружает тысячи таких слепков. Хмм, сразу захотелось сделать с ними прямую интеграцию, чтобы пользователь Neko мог загружать их напрямую прямо в девайс и играть.

Созвонились с основателями TONE3000, поболтали о музыке, договорились об интеграции. Огонь, теперь у Neko есть не просто крутой процессор, а вообще всё возможное оборудование в мире в кармане.

Подумали с ребятами, решили, что концепция устройства меняется — давайте откажемся от связки микроконтроллер + DSP, а возьмём мощный проц, чтобы на нём запускать Linux, а под Linux запускать всё что нам нужно.

Но нельзя просто так взять и выбрать процессор для фабричного устройства. Важно понять, не снимут ли его с производства, ровно в день, когда нужно будет делать релиз.

Важно понимать, где их покупать. Потому что, например, заказ в жалкие 5 000 — 10 000 штук (на который ещё нужно умудриться наскрести денег) никому из производителей не интересен.

В общем, прикинули требования — перфоманс, NPU с поддержкой floating point (чтобы запускать нейросети прямо офлайн), потребление, цена, бла-бла-бла. А наши китайцы с фабрики помогли выбрать нужный вариант — Rockchip RK3576.

Рокчип, ёпт, да его за одно название надо в Neko брать!

Купили на нём платки-отладочки, покрутили, завели периферию, написали драйвера. А китайские драйвера — это то ещё счастье. Запустили альфу — процессор работает, играет просто офигенно.

Радиосистема

Для радиосистемы пришлось делать целое RND, там у нас несколько, не побоюсь этого слова, ноу-хау, и вообще оно играет лучше, чем средняя радиосистема за $200-300.

В паре слов суть проблемы: электрогитара с подключенным усилителем образуют единый инструмент, влияя друг на дружку, и на ощущения гитариста, которые проявляются в его эмоциях на шоу.

Вставляя радиоканал между гитарой и усилителем, мы нарушаем их прямую связь, искажая ощущения и эмоции от игры. Музыканты это описывают, как "пропадает лампа", "не дышит" или даже "ну это галоша ссаная". И это реальные ощущения, хоть термины и не совсем технические.

Не буду вдаваться в детали, но мы купили пяток радиосистем, аудиокарт и другой гитарной техники. Разобрали, проанализировали, замерили, поиграли, сделали выводы.

Поспорили, пофантазировали, накидали гипотез, порисовали схем, собрали несколько прототипов. Финальный оказался самым крутым, как раз с теми самыми хау-ноу. Здесь готово.

MVP, EVT, DVT и другие слова из трёх букв

Если можно как-то одним словом описать разработку в компании Neko Engineering — это точно фраза «давайте сначала сделаем как-то, а потом хорошо».

Здесь наш подход идеально вписывается в принятые в индустрии hardware-разработки этапы:

• MVP (Minimum Viable Product) — железяка из говна и палок, которая как-то реализует нужные функции. Это как раз, то что у нас получилось выше — устройство, которое работает по радиоканалу с гитарой, делает звук крутым и генерирует треки. Его сильно весело использовать, но только мне

• EVT (Engineering Validation Test) — здесь наша железка должна не просто как-то реализовать нужные функции, а делать это хорошо. Должны заработать все ключевые компоненты во всех нужных режимах.
  
  Устройство должно как-то начать принимать свои финальные очертания. Такую железку можно дать самым преданным пользователям и они получат от него кайф. Мы вот как раз его прошли

• DVT (Design Validation Test) — железку выше мы пихаем в полностью продакшен-корпус, для которого подбираем материалы. На этом этапе устройство должно выглядеть вот именно так, как его нарисовали, но при этом ещё и собираться, работать, и стоить примерно тех денег, которые заложены в его экономику

• PVT (Production Validation Test) — железку выше мы приносим на фабрику нашим друзьям-китайцам и просим поколдовать, чтобы устройство можно было оптимально и с минимальными изменениями производить на конвейере. К этому этапу мы готовимся уже сейчас, заранее консультируясь с фабрикой

Как вы догадались, мы на этапе EVT. Сделаны первые 90% работы, но впереди нас ждут вторые 90% работы, ну а там и третьи :)

Параллельно с инженеркой делается ещё куча операционной работы — проработка запуска (планируем запуститься на Кикстартере, а для этого нужно неплохо так подготовиться).

Проработка необходимой структуры юр лиц (мы же говорим о музыкальной генеративке, там нужно подложить соломки, а ещё компаниям из России не то чтобы сейчас рады на мировом рынке, но всё решается).

Ну и ещё куча всего интересного, ради чего хочется не спать ночами, тратить туда всё свободное время и деньги.

Заключение

В общем, получается реально мощный девайс, который жутко интересно делать. Я невероятно счастлив, что удалось собрать лютую команду мега-спецов, щёлкающих сложные инженерные задачи, как орешки.

И, если честно, уверен, что даже если снова что-то пойдёт не так (а оно точно пойдёт!) и мы вот прям не найдём решение, и снова история закончится фейлом — это будет один из самых крутых и приятных фейлов, в которых я участвовал.

А пока мы работаем, чтобы устройство, созданное в наших головах, мы же и смогли пощупать.

Спасибо, что дочитали. Надеюсь, удалось рассказать что-то полезное, ну или просто повеселить. Пишите вопросы, с удовольствием на них отвечу!

\m/ Make guitar fun again! All you need is Neko!

—
Vadim Smirnov, Founder and CEO of Neko Engineering