Всем привет! Я хочу рассказать о том, как съездил на конференцию Google Next. На конференции я был первый раз, забегая вперед скажу, что остался доволен и почти все самые интересные технические анонсы были во второй день, но, давайте обо всем по порядку.

Что это вообще за Google Next?

Google Next — это конференция, как вы могли догадаться, от Google и посвящена она продукту Google Cloud Platform (GCP). Для тех, кто не в курсе, если такие есть на Хабре, GCP — облачная платформа от Google, чем-то похожая на другие платформы как Amazon AWS и Microsft Azure. В отличие от них, она не так «на слуху» на территории РФ. Как мне кажется, в первую очередь потому, что Google не прикладывает никаких усилий по её продвижению и рекламе на российском рынке, но, тем не менее, многие компании и разработчики ей активно пользуются. Среди них и Voximplant, мы используем разные компоненты платформы, например, ML в виде Speech API для распознавания речи и Translate API для перевода распознанной речи. Многие компании используют G-suite, он раньше назывался Google for work, с недавних пор этот компонент тоже являЕтся часть Google Cloud. C самой платформой вы можете познакомиться на её странице: cloud.google.com.

Конференция состояла из 3х дней, было анонсировано куча новинок, почти все технические анонсы были сделаны во второй день. Я не буду в деталях описывать всё в этой статье, только короткий пересказ и комментарии. Поехали!

Day 1

Первый день совпал с Международным женским днём, и открывала кейноут Senior Vice President GCP Diane Greene. Она рассказала о том, насколько масштабны сети и датацентры google, про 10-ки тысяч километров сетей в датацентрах и между ними, как Google заботится об окружающей среде и т.д. Затем ненадолго вышел CEO Google Sundar Pichai, поделился своим видением развития Google и GCP. Диана, вернувшись на сцену, по очереди приглашала партнеров-клиентов рассказать о том, как они используют Google Cloud Platform. Первыми своим опытом поделились DIsney. Затем на сцене появился Brend Leukert из SAP, и тут последовали интересные анонсы.

• SAP HANA, in memory БД и аналитическая платформа, теперь будет доступна (GA) в GCP.
• SAP HANA express, версия для разработчиков, не требующая лицензии, также будет доступна в GCP

Эти два анонса удивили зал, но дальше было ещё большее удивление, когда объявили о том что…

• SAP Сloud в скором времени будет доступен в GCP

Я думаю, SAP в представлении не нуждается. Большинство из топа самых успешных и крупных компаний используют SAP. Это партнерство очень сложно недооценить, и это очень большой шаг навстречу бизнесу. Мне удалось пообщаться с представителями SAP, и в первую очередь я спросил, когда будет доступен SAP Cloud и его компоненты? Ответили честно, что это скорее история пары месяцев чем пары недель, но для партнеров возможен ранний доступ. А SAP Hana express доступна уже сейчас.

Затем представитель Colgate-Palmolive рассказывал, как они используют GCP и G-suite. После этого также выходили такие партнеры как Verizon, Home Depot, HSBC и Ebay, а также Tariq Shaukat, президент по работе с партнерами. Все рассказывали о том, что они теперь используют GCP, а RJ PIttman из Ebay так же показал, как можно будет использовать Google Home для оценки и продажи вещей на ebay.

На сцену вышла Dr. Fei Fei Lee — директор Стэнфордской лаборатории искусственного интеллекта, которая с недавних пор также работает в Google в роли Chief Scientist AI/ML. Она, кстати, построила imagenet: www.image-net.org. Говорила о том, что AI и ML должны стать доступнее и помогать людям.

• Video Inteligence API — новый API, который может автоматически распознавать и извлекать информацию о происходящем на видео. До этого момента распознавание образов в основном использовалось для фотографий, но теперь будет возможность работать и с видео. Кроме всего прочего, API также может сообщать о самом факте изменения «сцены» на видео. Всё это значит, что мы сможем искать видео не только по названиям, но и по тому, что в них происходит. Интересно, когда такой поиск появится на YouTube. Посмотреть, как это работает, вы можете, перейдя по ссылке: cloud.google.com/video-intelligence. Записаться в бету можно по специальной ссылке. Так же вы можете посмотреть демку.
  
  
  Video Intelligence API

  
  
  
  
• Google покупает Kаggle. Kaggle — это основанное в 2010 году крупнейшее сообщество ученых и энтузиастов Data Science и Machine Learning. Больше 800000 тысяч энтузиастов и экспертов используют Kaggle для обмена, исследования и анализы датасетов. По сути, это главный и обязательный ресурс для человека, интересующегося Data Science.

Первый день получился неплохим. Первая часть была почти целиком посвящена бизнесу и партнерам. Новость про SAP была очень позитивно встречена аудиторией, впрочем, как и новость про покупку Kaggle.

Day 2

Второй день открыл Urs Holzle и начал с того, как важно развивать инфраструктуру, что Google был первой не телеком компанией, которая проложила оптику по океану, и в данный момент оперирует одной из самых больших сетей для высокоскоростной передачи данных… Хороший интерконнект между датацентрами позволяет обеспечить конечных пользователей высокоскоростным доступом к различным сервисам. Urs почти сразу перешел к анонсам.

• 3 новых дата центра. В Нидерландах, Канаде в Калифорнии, что позволит увеличить общее их число до 17 в текущем году. Посмотреть расположение можно по ссылке: cloud.google.com/about/locations.

Рассказал про Cloud Spanner, который уже был аннонсирован чуть ранее в этом году. Для тех, кто не в курсе, Cloud Spanner — это полностью распределенный сервис реляционных баз данных с полной поддержкой ACID (Atomicity, Consistency, Isolation, Durability) транзакций. Это очень крутая штука, которая объединяет возможности реляционных БД и NoSQL, при этом высоко доступная, легко масштабируемая и с полностью автоматической репликацией. Ни один пункт CAP теоремы не приносится в жертву.

• До 64 ядер и 416GB памяти теперь можно добавить к виртуальным машинам в GCP. Но это не всё, в скором времени можно будет добавить ещё большее количество ядер для ВМ и до 1TB памяти.

• Процессоры Intel skylake уже доступны в GCP для ВМ. Это стало возможно благодаря тесному и стратегическому партнерству Google и Intel.

• Новые цены и скидки. Из интересного, чем дольше вы используете виртуалки, тем они дешевле, а цена будет снижаться с каждым месяцем, и для этого вам не нужно ничего делать или подписывать и тем более платить наперед. Кроме этого, для ВМ доступен поминутный биллинг, вы платите только за время использования. Подробнее по ссылке: cloud.google.com/compute/pricing

• Flexible GPUs. Теперь к любой машине можно добавить GPU. Слово Flexible здесь не просто так, вы можете менять такие параметры GPU как ядра или память, тем самым, получить то, что вам нужно и не переплачивать за “железо”. Поминутный биллинг также доступен для GPU.

Затем на сцене появился Ashok Belani из Schlumberger и рассказал о том, как они используют высокопроизводительные GPU для обработки данных. Schlumberger занимается разведкой нефти и газа и обрабатывает сотни терабайт данных в день, собранных со специальных судов и датчиков.

Безопасность — тема крайне важная в наши дни и начинается с забора вокруг датацентра. Но высокий уровень физической доступности не решает всех проблем, поэтому все данные хранятся и передаются в зашифрованном виде. По словам Urs`а, никто не может обеспечить уровень защиты, сравнимый с тем, что обеспечивает Google, и дело тут не только в физической безопасности.

• Titan — крошечный чип, специально спроектированный Google и позволяющий защищать железо на уровне BIOS, выступая в роли Hardware Roots of Trust (RoT). Такие чипы установлены на каждой машине в ДЦ Google.

Всё это хорошо, но самым распространенным методом получения доступа сейчас является фишинг. Безопасности много не бывает, поэтому несмотря на достаточно хорошую базовую защиту, 2х факторную аутентификацию и прочие механизмы доступные сейчас, были представлены следующие новинки:

• Data Loss Prevention API (beta) — распознает разного рода документы или контекст и позволяет на лету скрывать приватные данные, заменяя их звездочками.
  Data Loss Prevention API

  
  
• Key Management Service (GA) — сервис позволяет генерировать и управлять ключами симметричного шифрования.
• Identity Aware Proxy (beta) — сервис позволяет настроить и обеспечить безопасный доступ к приложениям, заменяя VPN, фаерволы и тд. Выступает как фронтенд для ваших приложений и работает поверх балансировщика нагрузки.
  Identity Aware Proxy

  
  
• Security Key Enforcements (GA) — позволит задействовать физические ключи доступа для дополнительной безопасности приложений и сервисов. Уже доступен в G-suite.

На сцену вышел Brian Stevens VP GCP рассказать о том, что многие сейчас переходят в облака, среди них не только стартапы и крупный бизнес, но и правительственные организации, финансовый сектор, здравоохранение и т.д. Но почему и зачем клиенты выбирают GCP? Кто-то приходит за лучшей безопасностью, кто-то за аналитикой данной, но, что является самым важным, все хотят инструменты и платформы, которые будут по нраву их разработчикам. Но, если посмотреть издалека, то можно выделить три вопроса, которые возникают при выборе и переезде в облако. Это непосредственно сама миграция, облачная архитектура и анализ данных. Факт в том, что многие не хотят переписывать свои продукты только ради переезда в облако, и это не проблема, можно переехать и так, благодаря Live migration

• Live migration — недавно в консоль gcloud была добавлена возможность наживую мигрировать ВМ работающие на KVM, Hyper-V и VMware, при том неважно, работает ВМ на железе или в другом облаке.

Цитата Brian`а: «Мы хотим быть отличной windows платформой. Мы хотим быть лучшеЙ windows платформой».

GCP рад привеТСТВовать Windows разработчиков

• Active Directory доступен в Google cloud
• Интеграция visual studio и power shell
• Поддержка .Net core как в AppEngine, так и в Container Engine
• Microsoft SQL Server Enterprise публично доступен как сервис c HA и кластеризацией

Отдельная и долгожданная новость из мира Open Source.

• PostgreSQL теперь доступен как managed сервис через компонент CloudSQL. Пока что в виде беты, но это всё равно отличная новость. Подробнее про Postgres, доступные расширения, особенности беты вы можете посмотреть по ссылке: cloud.google.com/sql/docs/features#postgres

Затем партнеры из Evernote и Lush (да, это косметика) рассказали о своём переезде в облако без минуты простоя. Evernote с более чем 200 миллионами пользователей переехал на GCP за 89 дней, а Lush сделал это за 22 дня.

Но не все могут себе позволить или хотят просто так взять и переехать в облако, имеется в виду «большой энтерпрайз». Для таких случаев у большинство облачных провайдеров есть инструменты для построения гибридных решений.

• Virtual Private Cloud — позволяет построить гибридное облако, которое будет продолжением вашего датацентра или серверной, а не каким-то отдельным и удаленным компонентом.

Serverless или без серверная архитектура — это новая и очень важная концепция построения решений, в которой разработчикам не нужно думать оБ управлении инфраструктурой. Серверы или компоненты должны сами уметь масштабироваться и подстраиваться под нагрузки. Правильно спроектированная такая архитектура более надежна, проста и эффективна.

Такой подход к построению решений не является чем-то новым для Google. С вычислительной стороны — это App Engine и Containter Engine. Cо стороны баз данных и хранения — это Datastore и Cloud Sapnner. Ну и конечно же, BigQuery — тоже serverless решение. Каждый из этих сервисов не использует «сервера», когда нет нагрузки, а, когда она есть, легко масштабируется горизонтально. Ко всему к этому теперь добавляется ещё один serverless компонент.

• Cloud functions — по сути это просто куски кода, которые позволяют соединять сервисы вместе. Это не просто сервис, это по сути «платформа» для соединения микросервисов в единое облачное без серверное решение. Подробнее о Cloud Functions вы можете прочитать тут.
• App Engine Flexible Environment теперь из коробки поддерживается 7 языков:
  
  
  • Node.js
  • Ruby
  • Java 8
  • Python 2.7 и 3.5
  • Go 1.8
  • PHP 7.1
  • C#

Но как быть, если у вас другой runtime? Просто. Если ваш рантайм работает в контейнере, теперь вы можете принести его с собой в GCP и запускать ваши приложения с вашим рантаймом в App Engine.

Ну и конечно же, не смогли не рассказать про Firebase. Firebase и GCP стали ещё ближе.

• Интеграция c Сloud Storage. Теперь можно обращаться к Сloud Storage прямо из firebase SDK
• Интеграция Firebase Analytics c BigQuery
• Интеграция с Cloud Functions
• В скором будущем Terms of Service GCP будет покрывать и Firebase

Подробнее обо всем вышесказанном вы можете прочитать в в блоге Firebase.

• BigQuery Data Transfer Service — автоматизированный сервис по переносу данных из SaaS приложений в BiGQuery, но делает это в запланированном и управляемом режиме. Сейчас доступны коннекторы к AdWords, DoubleClick и YouTube Analytics

Однако, перед тем, как собрать данные для анализа, было бы неплохо их подготовить, для того, чтобы в дальнейшем не тратить время на это. Было бы здорово убрать всё лишнее и получить именно то представление, которое мы хотели бы видеть. Именно поэтому был представлен отдельный инструмент для подготовки данных к дальнейшему анализу.

• Cloud Dataprep — умный сервис, который позволяет визуально изучить и очистить данные. Вы можете мышкой указать, что вы хотите, чтобы конкретное поле из json было колонкой верхнего уровня в BigQuery. Или вы можете разбить данные в виде адреса на отдельные элементы или поля. Сам по себе сервис не просто так называется умным, он использует ML для нахождения связей, особенностей и правильного представления данных.
  

После этого Брайан уступил место на сцене VP Apps, Prabhakar Raghavan. Это G-suite и не только. Пожалуй, это часть Google Cloud наиболее распространена у нас. ОгромнОЕ количество компаний используют G-suite не только по миру, но и у нас в РФ. Ну и как вы можете догадаться, он начал рассказывать про то, что такое продуктивность, совместная работа и как она важна. Как важно развивать инструменты, с которыми мы работаем, чтобы они позволяли нам экономить время для по настоящему креативной работы. Он также рассказал, что для многих миллионов пользователей Gmail в среднем 1.8 ответов приходятся на сгенерированные ML тексты. Это я могу подтвердить, часто веду переписку на английском, и эти сгенерированные ответы очень хорошо подходят! Я их иногда дополняю, но это всё равно круто помогает мне экономить время с ответами. А затем представили обновленные и новые продукты G-suite для бизнеса.

• Hangouts Chat — всем известный Hangouts, но теперь в него добавили комнаты (rooms). Да, теперь это похоже на Slack. Демка.
• Hangouts Meet — отдельный продукт, который призван помочь собирать и проводить видеовстречи. Говорят что улучшили качество, снизили потребление CPU. Теперь можно приглашать на видеовстречи не только людей, у которых нет аккаунта G-suite, но и людей по телефону (для видеовстречи теперь можно сгенерировать номер для звонка). Демка.
• Jamboard — специальная интерактивная «облачная» доска, которая позволяет синхронизировать записи на белой доске для разных команд, а также обладает поддержкой разных «фишек» типа распознавания текста, поиска, карт и тд. Демка.

Дальше был не очень интересный рассказ про то, как одни делают расширения для приложений, а другие используют G-suite и т.д.

Если в первый день больше говорили про бизнес и партнеров, то второй день больше получился про технологии и для технарей. Кейноут порадовал большим количеством анонсов и демок.

Day 3

Про третий день много писать не буду, так как в этот день почти не было никаких новых анонсов, и он был почти весь посвящен открытости, Open Source, работе с сообществом, и как всё это важно для Google.


Из интересного, сам Vint Cerf рассказывал про Интернет, и как важно что бы он был открытым. Vint Cerf — один из разработчиков стека протоколов TCP/IP. Обладатель премии Тьюринга. Его часто называют «отцом интернета». Cейчас он является VP и Chief Internet Evangelist в Google.

Вклад гугл в опенсорс очень сложно переоценить, гугл открываЕТ исходные коды огромного количества своих ключевых продуктов. Многие из этих проектов становятся де факто стандартами, на которых уже другие компании строят свои продукты. ОтЛИчным примерОМ может служить Google Chrome или TensorFlow, который на данный момент является Ml фреймворком номер 1 на гитхабе и не только.

Google не только открывает коды своих разработок, но и поддерживает большое количество проектов. Совсем недавно была история в OpenSource блоге Google об операции RosenHub, в которой 50 сотрудников Google устраняли уязвимости в Apache Commons Collections. Нельзя не упомянуть про Google summer of code или GSOC — где все желающие могут подать заявку как ментор или студент и совместно работать над каким-нибудь open source проектом.

Улучшенный Free Tier:

• Расширили бесплатную пробную версию с 60 дней до 12 месяцев, что позволяет использовать привеТСТвенные 300 долларов США, которые дают при первом входе, во всех службах и API GCP.
• Новые продукты Always Free — неограниченные лимиты для 15 компонентов, которые вы можете использовать для бесплатного тестирования и разработки приложений. Среди них Compute Engine, Cloud Pub / Sub, Cloud Storage, Cloud Functions

Подробно об этом вы можете посмотреть здесь: cloud.google.com/free.

Подводя итоги или что ещё было на конференции?

Огромное количество демок и стендов с партнерами. На первом этаже была организована выставка, на которой самые разные партнеры Google рекламировали свои продукты. Все три дня были доступны всевозможное кодлабы, воркшопы и демки.

Конференция мне очень понравилась. Она была хорошо организована, огромное количество инженеров, продакт менеджеров и руководителей были доступны для общения и отвечали НА всевозможные вопросы. Мне удалось узнать много нового, получить ответы на вопросы, обсудить детали, пообщаться со старыми знакомыми и завести новых.


Все видео доступны в специальном плейлисте.

Очень советую посмотреть. Всё, конечно, смотреть не стоит, да и вряд ли у кого-то найдется столько времени, но я уверен, что многие смогут найти там интересные для себя темы.

Демки также можно посмотреть отдельно в специальном плейлисте.

P.S.

Если у вас возникнут какие-то вопросы по GCP, я буду рад на них ответить или помочь найти ответ.