«Нарисуй кошку за 30 секунд!.. О, я знаю, это кошка… А может быть, нет» — примерно в таком формате выдаёт результат распознавания рисунков нейросеть Quick, Draw!

Quick, Draw! — одна из новых игр, которую выпустили разработчики Google в рамках проекта A.I. Experiments. Здесь публикуются прикольные игрушки, которые позволяют даже ребёнку поиграть с искусственным интеллектом. Но есть игры и для взрослых.

Кроме удовольствия от игры и развлечения, эксперименты A.I. Experiments дают ещё и некоторое понимание того, на что способны нейросети и как их можно использовать на практике. Не только для развлечений.

Giorgio Cam

aiexperiments.withgoogle.com/giorgio-cam


Первая игра на сайте A.I. Experiments. Вероятно, самая интересная, по мнению разработчиков. Поместите объект перед объективом камеры на смартфоне или ПК, а нейросеть мгновенно составит стишок по итогу результата распознавания — и положит его под музыку! Иногда результат очень смешной. Особенно если навести камеру на необычные объекты.



В данном проекте используются программы MaryTTS, Tone.js, и Google Cloud Vision API. Исходный код Giorgio Cam опубликован, как и всех других игр на проекте.

Quick, Draw!

quickdraw.withgoogle.com


В игре Quick, Draw! искусственный интеллект даёт задание. Человек пытается быстро нарисовать, например, пальцем на планшете, а ИИ определяет, что изображено на рисунке. Получается весело, особенно если вы не очень умеете рисовать.

Что важно, нейросеть обучают следить за направлением движения пальца/курсора. За счёт этого она гораздо лучше распознаёт образцы.

Infinite Drum Machine

aiexperiments.withgoogle.com/drum-machine


Infinite Drum Machine показывает карту, на которой разные звуки инструментов размещены в соответствии со степенью их схожести. Если проводить мышкой по этому облаку, то звуки воспроизводятся по очереди. Если какой-то звук понравился, то размещаем его на драм-машине с четырьмя дорожками. Ну а затем запускаем на воспроизведение. Такое приложение стало бы хитом в Google Play. Впрочем, как и остальные игры на сайте A.I. Experiments.

Как сказано в описании, при разработке использовалась техника t-SNE, то есть нелинейного снижения размерности и визуализации многомерных переменных (t-distributed stochastic neighbor embedding). Алгоритм вычисляет цифровой отпечаток каждого звука и размещает его в многомерном пространстве, в соотношении с другими отпечатками. Для взаимодействия с человеком многомерное пространство пришлось сплющить до двухмерного.

Bird Sounds

aiexperiments.withgoogle.com/bird-sounds


Как и в предыдущей игре, здесь система с помощью техники t-SNE организовала по степени схожести тысячи звуков. Только звуки не инструментов, а птичьих голосов. Орнитологи десятилетиями собирали эту коллекцию.

Thing Translator

aiexperiments.withgoogle.com/thing-translator


«Переводчик вещей» переводит с одного языка на другой не слова, а предметы. Он буквально произносит вслух, как звучит любой предмет на выбранном вами языке.

Это всего лишь один пример того, что можно сделать, используя программные интерфейсы машинного обучения Google (Cloud Vision API + Translate API) — даже ничего не зная о машинном обучении.

A.I. Duet

aiexperiments.withgoogle.com/ai-duet


Ещё одна интересная музыкальная игра от Google. Вы начинаете играть мелодию — а компьютер продолжает её за вас, используя наиболее красивое и логичное продолжение.

Как несложно догадаться, при обучении нейросети воспроизводились тысячи существующих мелодий. ИИ постепенно начал понимать ноты и распознавать гармонию в мелодическом рисунке. Понимать, в каких местах мелодия должна менять направление, в каком ритме продолжать мелодию и т.д. Он постепенно сам составил карту наиболее популярных, то есть гармоничных последовательностей и переходов.

Для максимального кайфа к компьютеру, конечно, желательно подключить MIDI-клавиатуру. Тогда с ИИ можно организовать полноценный композиторский дуэт, играя мелодию по очереди. Он продолжает начатое вами, а вы подыгрываете его варианту.

Visualizing High-Dimensional Space

aiexperiments.withgoogle.com/visualizing-high-dimensional-space


Этот эксперимент помогает понять, что творится в «мозгах» искусственного интеллекта. Программа визуализирует это на экране. Именно здесь можно своими глазами увидеть многомерное пространство, которое упоминалось ранее, и понять, как работает волшебная техника t-SNE. Каким образом организуются данные в пространствах, где количество измерений больше трёх.

Одна из авторов объясняет в демонстрационном видеоролике, что даже людей можно представить в виде многомерных объектов в многомерном пространстве. Это легко. В одном измерении у нас параметр «дата рождения» — и в этом измерении мы связаны с другими такими же многомерными объектами (людьми). В следующем измерении у нас параметр «место работы» — в этом измерении совершенно другие взаимосвязи. И так далее. Абсолютно все люди на планете входят в эту многомерную сеть. Такое же многомерное пространство строится для значений слов, для изображений, для мелодий и для любых других данных. Всё это потом используется в реальных приложениях, когда нейросеть обучается распознавать образы, понимать значения отдельных слов в пространстве смыслов.

Разработанная Google техника визуализации будет полезна всем разработчикам, которые работают с многомерными пространствами, t-SNE и нейросетями.

What Neural Networks See

aiexperiments.withgoogle.com/what-neural-nets-see


Ещё один эксперимент, который показывает внутренности «компьютерного мозга». В данном случае речь идёт не об измерениях многомерного пространства, а о слоях нейросети, каждый из которых реагирует на определённые сигналы. При последовательной обработке многими слоями нейросети, где каждый следующий слой обрабатывает результат предыдущего, ИИ начинает распознавать фичи всё более высокого уровня.

---

И помните, чем больше вы играете с искусственным интеллектом Google — тем быстрее он обучается, используя ваши рисунки и наблюдая за поведением. К сожалению, люди могут не только обучить, но и испортить ИИ. Например, из-за неграмотности многие люди рисуют ураган в виде торнадо. И постепенно нейросеть откажется признавать ураганом рисунок тропического циклона, а будет считать ураганом только рисунок торнадо. В общем, всё как в жизни.