Когда в прошлом году на CES представители Sony рассказывали о проекте «Vision-S», все это выглядело исключительно как маркетинг. В этом году проект электромобиля Gambit, кажется, в большей степени связан с автомобильной индустрией.

У японского гиганта бытовой электроники есть множество подразделений, обеспечивающих компании успех в области развлечений. Возникает вопрос: сможет ли Sony адаптировать свои технологические ноу-хау к автомобильному рынку и войти в мир автомобильной безопасности?

У Sony невероятный арсенал технологий и медиаресурсов: от устройств формирования изображений в высоком разрешении, time-of-flight камер, технологий пространственного звука и изображения до 5G-устройств, UI/UX для смартфонов, технологий ИИ и распознавания, PlayStation 5 и Columbia Pictures.

Согласно заявлениям компании, электромобиль будет «представлять собой сплав технологий и творческого подхода компании» и сыграет важную роль в «развитии будущего мобильности и подхватит эволюцию безопасности, комфорта, развлечений и доступности». Какими бы грандиозными не казались эти планы, пока неясно – таковы ожидания автопроизводителей или таков спрос.

Возьмем, например датчики изображения CMOS.

Они приходят на ум первыми, поскольку построение изображений – одна из наиболее важных технологий восприятия в ADAS и системах мониторинга водителя. Более того, в 2019-2020 годах датчики изображения ADAS значительно продвинулись.

«Рынок удвоился за два года и в 2020 году он составлял 500 миллионов долларов. Ожидается, что за ближайшие 5 лет он вырастет еще на 19 процентов», – сказал Пьер Камбю, главный аналитик Yole Developpement. Камбю привел цифры из "Отчета о состоянии индустрии CMOS датчиков за 2020 год", составленного Yole Developpement.

Учитывая успех Sony на рынке смартфоном, может показаться, что компания уже доминирует на рынке автомобильного зрения.

Это не так.

На рынке датчиков для ADAS Sony занимает третье место (доля компании составляет 11 процентов), уступая On Semiconductor (49%) и Omnivision (19%).

Аналогичное положение дел наблюдается и на рынке датчиков изображения для систем мониторинга водителя (наблюдающих за салоном автомобиля). Лидером на этом рынке также является On Semiconductor.

Итак, в чем суть происходящего? Почему Sony отстает в автомобильной отрасли? Может у компании есть козырь в рукаве – например, план выйти на рынок электромобилей следом за Apple?

Колин Барнден, ведущий аналитик Semicast Research, сказал EE Times: «Создавать автомобили настолько легко, что Tesla делает это в палатке. Сложно зарабатывать на производстве машин, а затем – зарабатывать на производстве надежных машин".

Sony не объявила о планах производить автомобили.

Тем не менее, компания работает над прототипом электромобиля под названием Vision-S (анонсирован год назад). Vision описывали как эксперимент по «изучению потенциала мобильности следующего поколения».

Прошел год, и Vision-S продолжает развиваться – теперь как проект, нацеленный на автомобильный рынок. Sony начала тестировать прототип на дорогах Австрии в декабре прошлого года – об этом сообщил генеральный директор Sony Кеньичиро Йошида на прошлой неделе на выставке CES 2021.

Автомобильные амбиции Sony

Как предполагали некоторые аналитики, Sony вполне могла бы стать автопроизводителем.

Одним из характерных признаков этого является партнерство с Magna – CEO компании объявил о совместной работе с Sony над проектом Vision-S, ведущейся с 2018 года. Похоже, сделка не будет ограничиваться разработкой прототипа. Барнден признает, что Magna – лучший поставщик для Sony. Также Барнден считает, что Magna является «лучшим поставщиком компонентов для iCar от Apple». По мнению Барндена, гонка за контрактами на поставки между Magna и Foxconn идет полным ходом.

Впрочем, мы отвлеклись. Давайте оставим в стороне спекуляции и разберемся с бизнесом Sony на автомобильном рынке.

На данный момент, несмотря на свой потенциал в области производства микросхем, Sony еще не зарекомендовала себя как поставщик передовых технологий для автомобильного рынка.

Тем не менее, в рекламном ролике Vision-S от Sony представлены перспективы и характеристики этого транспортного средства. Vision-S – это элегантный четырехместный автомобиль, изобилующий решениями и технологиями (по-видимому, принадлежащими Sony).



В комплектацию прототипа включена приборная панель, цифровая панель управления и сенсорный экран информационно-развлекательной системы, протянутый от двери до двери. В Car Magazine пишут, что Vision-S похож на «смесь Tesla Model S, Porsche Taycan и Audi A7 (особенно с 21-дюймовыми колесами)».



По видео от Sony можно предположить, что Vision-S оснащен некоторыми функциями беспилотной езды. По данным с сайта Sony, в автомобиле используется 40 датчиков (18 time-of-flight камер, 18 ультразвуковых радаров и 4 лидара) с учетом time-of-flight камер и камер для мониторинга водителя в салоне.

Чтение по губам на подходе

У Sony есть свои взгляды на эту область и компания утверждает, что обладает рядом технологий. Их успешная реализация и внедрение могут привести к успеху.

Рассмотрим технологии мониторинга салона.

Как отмечает Sony, «Датчики с time-of-flight камерами отслеживают состояние пассажиров. Также распознаются мимика и жесты водителя для оценки уровня его концентрации, при необходимости срабатывают предупреждения».



Как видно из множества анонсов на CES 2021, системы мониторинга водителя уже становятся реальностью. На очереди стоят системы распознавания речи, которые позволят любопытному водителю уточнить что-либо о работе автомобиля или задать вопрос вроде «что это за здание впереди?»



Теперь Sony работает над функциями чтения по губам, которые, по словам представителей компании, позволят «достоверно улавливать и распознавать речь водителя даже в шумной обстановке».

В разговоре с EE Times представители Sony сказали, что несмотря на то, что некоторые исследователи представляли базовую концепцию систем распознавания речи по губам, никто не довел ее до совершенства. Марк Хэнсон, вице-президент по технологиям и бизнес-инновациям в Sony Semiconductor Solutions of America, отметил и прокомментировал важность таких решений. Несмотря на то, что функция распознавания речи по голосу может стать очень популярной, реальность такова, что «при шуме ветра эти системы работать не будут». Хэнсон отметил: «У меня два автомобиля и оба – кабриолеты, так что я никогда не мог пользоваться системами распознавания речи».

Также он отметил, что распознавание речи затруднено, если на заднем сиденье кричат дети.

Мы задали вопрос – может ли чтение по губам быть способом продвижения салонных камер от Sony? Оказалось, что не совсем. План Sony состоит в том, чтобы продавать лицензии на свое ПО для чтения по губам OEM-производителям – такова стратегия компании для закрепления в роли поставщика «технологических услуг и решений».

Также мы спросили работает ли Sony с какой-либо конкретной автомобильной платформой для обработки алгоритмов чтения по губам. Рассматривала ли компания возможность работы с платформой на Qualcomm Snapdragon, в которую уже интегрирован голосовой ассистент Алекса от Amazon?

Оказалось, что нет. «Реализаций может быть множество», – отметил Хэнсон. Учитывая, что работа Sony в этой области только начинается, у компании пока нет партнерских отношений или сотрудничества, о которых можно было бы объявить.

Впрочем, Хэнсон подчеркнул широкий спектр возможностей интеграции ПО для распознавания речи по губам. Среди них можно отметить ее запуск в автомобильном процессоре, встраивание в камеры или добавление дополнительной платы. Ожидается, что все перечисленные методы будут обрабатывать речь локально.

Хэнсон также рассказал об умном датчике компьютерного зрения, который Sony представила в прошлом году. В него встроены функции обработки, основанные на ИИ. Хэнсон отметил, что «алгоритмы могут работать в самом датчике». «Таким образом, определенная часть задачи может решаться прямо в устройстве… Подобный умный датчик можно запрограммировать на распознавание черт лица и дальнейшую передачу в модель только данных о губах, чтобы обеспечить максимальную производительность».

Загвоздка в том, что датчик, о котором говорил Хэнсон, еще не используется ни в одном автомобиле. Он был разработан для потребительских приложений и пока не имеет автомобильной сертификации.

Поздний выход на автомобильный рынок

Большая ошибка Sony, скорее всего, состоит в том, что компания слишком поздно выходит на автомобильный рынок. Возможно, дело в том, что она была слишком поглощена своим успехом на рынке датчиков изображения для смартфонов. Только в 2014 году компания официально объявила о планах выйти на рынок автомобильных датчиков.

Тем не менее, за последние несколько лет Sony выпустила множество высокотехнологичных тепловизоров, обладающих передовыми функциями. Среди них можно выделить IMX224MQV, выпущенный в 2014 году. Компания утверждала, что это «самый чувствительный в мире CMOS-датчик для автомобильных камер». В 2015 году Sony приобрела Softkinetics Systems (Бельгия) – компанию, разработавшую технологию time-of-flight для определения расстояния. Затем Sony переименовала Softkinetics в Sony Depthsensing Solutions Holding.

В 2017 выпустила датчик IMX390CQV, который должен был снизить мерцание светодиодов и обеспечивать высококачественную съемку с HDR. Позднее в том же году Sony представила IMX324, оборудованный многослойной CMOS-матрицей с эффективным разрешением 7.42 мегапикселя. Sony отметила, что новый датчик компании совместим с EyeA4 и EyeQ5 от Mobileye.

Фил Амсруд, старший главный аналитик IHS Markit, согласился с тем, что Sony «опоздала» с выходом на автомобильный рынок (при том, что у компании очень мало опыта в этой области).

Также Амсруд отметил, что «Компания On Semi стала ведущим поставщиком CMOS (CIS) датчиков благодаря опыту в этой отрасли – ранее она была подразделением Motorola Semiconductor. Именно поэтому на момент покупки Aptina у On Semi была родословная работы на автомобильном рынке и CIS-устройствами».

Что подвело Sony

История и опыт Sony в области потребительской электроники могли помешать компании понять потребности автопроизводителей.

Амсруд отметил, что «On Semi и Omnivision занимались CIS-датчиками с малым разрешением, что позволило им поддерживать приложения с требованиями к невысокой стоимости, включая устройства с разрешением менее 1 мегапикселя. Sony, в свою очередь, приходила из потребительского сегмента, в которой занималась устройствами с более высоким разрешением и сосредоточилась на разработке таких устройств для автомобильной промышленности, хотя подходящих для них приложений там очень мало.»

Ранний выход на рынок с устройствами с низким разрешением позволил On Semi и Omnivision отвоевать львиную долю рынка. В итоге этот рынок трансформировался в ADAS.

Камбю из Yole согласился. «Динамика автомобильного рынка значительно отличается от динамики мобильного». Он пояснил: «Поскольку ADAS внедрялись в автомобили среднего уровня, требования к производительности были не очень высокими. Куда более важны надежность и цена, а в них выигрывают On Semiconductor и Omnivision».

Также Камбю добавил, что «давление ценой способствует выходу игроков вроде Smartens Technologies на китайский рынок. Этот фактор также замедлит продвижение Sony».

Он продолжил мысль: «Мы в Yole считаем, что Sony удастся получить значительную долю рынка только в том случае, если на рынке вырастет спрос на высокопроизводительные датчики изображения. Гонка за автономностью может сыграть свою роль. Но пока очевидно, что в высокопроизводительные вычислительные системы (вроде Tesla FSD) можно инвестировать больше, чем в высокопроизводительные датчики изображения. Рынок управляется не качеством, а количеством»

Камбю подвел черту: «Пока эта среда неблагоприятна для Sony».

Что ждет Sony в будущем

Потенциал Sony как производителя электромобилей впечатляет (если все будет происходить в тех же темпах). Впрочем, для японского гиганта бытовой электроники все это остается авантюрой. Глядя на Vision-S кажется, что компания пытается откусить больше, чем может.

Все больше обозревателей сходятся во мнении, что Vision-S не обречен зачахнуть как тщеславный проект Sony.

Многие поставщики раскрыли на CES 2021 свои отношения с Sony в рамках работы над Vision-S. AImotive, компания, занимающаяся ADAS и ПО для беспилотной езды, сообщила о сотрудничестве с Sony с целью «усовершенствования своего программного обеспечения для беспилотной езды в рамках работы над прототипом Vision-S".

В статье, опубликованной TechCrunch, приводится «множество партнеров по работе над Vision-S». Среди этих компаний упоминаются «Bosch, Continental, венгерский автомобильный стартап AIMotive, компания-разработчик ПО Elektrobit Automotive, французский автомобильный поставщик Valeo, гигант в сфере телекоммуникаций Vodafone и немецкий производитель автомобильных запчастей ZF Group».

В конце статьи говорится, что «список партнеров, в который также входят картографическая компания HERE, Nvidia, Blackberry/QNX и Qualcomm не оставляет сомнений, что однажды на потребительском рынке появится автомобиль от Sony».

Амбиции Sony ясны. Впрочем, есть и не менее важный вопрос, на который нет ответа. Каким образом полупроводниковое подразделение Sony собирается зарабатывать на автомобильном рынке, если материнская компания конкурирует с автомобильными OEM-производителями? Или у Sony есть лучший план – использовать Vision-S в качестве привлекательного проекта, на основе которого можно будет начать диалог с OEM и Tier-1 производителями? Если Sony не перестарается с хайпом, все это может помочь ее полупроводниковому подразделению.

---

• Первая в России серийная система управления двухтопливным двигателем с функциональным разделением контроллеров
• В современном автомобиле строк кода больше чем…
• Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
• McKinsey: переосмысляем софт и архитектуру электроники в automotive