29.09.2020 14:53
EnglishDom 25 7700 Источник


Компания OpenAI, которую несколько лет назад основал Илон Маск, в июне выпустила новый алгоритм нейросети GPT-3. На сегодня это самая совершенная система, которая умеет работать с естественными языками.

Ее возможности просто колоссальны. С помощью GPT-3 можно создавать любой тип текстовой информации, в том числе и сложные технические тексты. К примеру, когда нейросети дали задачу написать текст о себе, она создала статью с громким названием «GPT-3 от OpenAI может стать величайшим открытием после Bitcoin».

Но может ли нейросеть не просто компилировать слова, подражая человеку, а на самом деле создавать тексты со смыслом? Стихи, повести или даже романы, которые будет интересно читать? Давайте разберемся.


GPT-3: алгоритм нейросети, который на порядок опережает все существующие


GPT-3 — это самая сложная языковая модель, когда-либо созданная человеком.

Она работает с вероятностью появления определенной последовательности слов. GPT-3 от более ранних моделей отличают масштабы.

При генерации текста она использует 175 миллиардов параметров, а обучали ее на более чем 1,5 триллионах слов. Причем, тексты для тренировок использовались самые разные: от постов на форумах до классической литературы.

Система пытается предсказать текст, исходя из наиболее вероятных текстовых блоков. Пользователю нужно только задать какую-нибудь точку отсчета, от которой нейросеть будет отталкиваться.



Чем лучше система понимает контекст запроса, тем точнее будет ответ.

Складывается впечатление, что нейросеть реально может понимать естественные языки.

Шариф Шамим (Sharif Shameem), сооснователь и СЕО проекта Debuild.co опубликовал в своем твиттер-аккаунте результаты тестирования разных возможностей нейросети. И они действительно впечатляют.



В видео видно, что Шариф писал в строку ввода простой текст, как будто объяснял дизайнеру или разработчику, что ему нужно. А система интерпретировала его и выдала результат.

Особенно позабавила «кнопка, похожая на арбуз».

Но раз нейросеть так хорошо понимает естественный язык, то может ли она писать тексты так, как это сделал бы человек?

Ответ: может.


Копирайтер vs. Нейросеть: эксперименты в СМИ и блогах


Тексты от нейросети практически не отличаются от человеческих. Лиам Порр, студент из Беркли, провел эксперимент и две недели публиковал статьи, сгенерированные GPT-3, в своем блоге на Adolos.

Мотивационные статейки от нейросети прочитало 26 000 людей. И, как говорит Лиам, только один из них догадался, что тексты на самом деле писал не человек, а машина. Но даже этот коммент заминусовали другие читатели:



Если вчитаться в сами статьи, складывается впечатление, что они реально написаны каким-нибудь мотивационным тренером или коучем. Подходящий стиль и фразы, адекватная структура текста. Иногда предложения или отдельные фразы кажутся не слишком естественными, но это не выдает машину. Ведь подобные незначительные ошибки допускает и человек.

Это одна из причин, почему GPT-3 не выпускают в открытый доступ. Чтобы получить доступ к OpenAI API, нужно заполнить заявку с указанием, для чего именно вы планируете использовать нейросеть.

Еще на этапе создания GPT-2, предыдущей версии алгоритма, разработчики поняли потенциальную опасность, ведь система может стать инструментом информационной войны. Подобная нейросеть способна генерировать фейковые новости с чудовищной скоростью. Если использовать ее возможности во вред, интернет будет просто погребен под неправдивым контентом.

Именно поэтому в будущем ее планируют продавать бизнесу по подписке. Но не всем подряд, а только тем, кто докажет, что они планируют использовать ее «в мирных целях».

Нейросеть, художественные книги и стихи


Нейросеть вполне может соперничать с авторами новостей в СМИ или технических статей, но процесс создания романов или стихов намного сложнее. Даже базовые принципы написания художественных текстов отличается от технических. Научить нейросеть подбирать рифмы и следить за ритмикой можно без проблем, но с многосмысленностью у машин пока бяда.

Есть русская нейросеть «Порфирьевич», основанная на алгоритме GTP-2. Она «знает» русский и натренирована не только на прозе, но и на стихах. Проверить работу можно в Телеграм-боте «Нейропоэт». Нужно только написать первую строку или несколько, а остальное сделает система. Мы проверили, получилось так себе.



Первую строку Пушкина нейросеть превратила в невразумительный набор текста, в котором угадываются военные мотивы. И если отдельные образы можно считать удачными («Дуб просит хлеба у весны» или «Осенние цветы весны»), то другие же вызывают фейспалм.

Можно провести аналогию с теорией о бесконечных обезьянах, которые нажимая случайные клавиши на пишущей машинке в течение неопределенно долгого отрезка времени рано или поздно напишут «Войну и мир».

Нейросеть здесь выступает в качестве такой обезьяны, которая вместо отдельных букв компилирует слова и образы, но они в своем большинстве получаются случайными.


На самом деле многие разработчики создавали генераторы стихов на основе GPT-2. Вот, к примеру, вариант генератора текста песен на английском, который использует облегченную базу из 13 000 стихов.

Сгенерировал он тоже что-то не сильно вразумительное:



Что касается художественных книг, то ситуация еще хуже. Этого стоило ожидать, ведь нейросеть не умеет строить сюжет и не знает, что такое завязка или кульминация. Но вот из некоторых экспериментов получается настолько отборная дичь, что остается только удивляться.

Как вам что-то вроде порно-фанфика по Библии? Неизвестные разработчики выложили сочинение под названием «The Orange Erotic Bible». Его создала нейросеть на основе того же GPT-2, но вот обучали ее на эротических романах и рассказах, а затем в качестве отправной точки для генерации дали отрывки из Библии. Рассказ получился большим — свыше 60 000 слов. И результат мягко говоря удивляет.



Вот небольшая часть из рассказа. И нет, мы не будем это переводить.

Существует даже интернет-магазин книг, написанных ИИ. Выглядит он довольно жутко. Потому что обложки книг тоже созданы машиной.



Правда, его создатели признались, что продали только 19 копий книг. Если их качество хотя бы примерно напоминает «Оранжевую Библию», то мы совершенно не удивлены. Писатели пока что могут спать спокойно.

Или нет?

Все предыдущие примеры касались только GPT-2, и они были так себе.

Но уже существует нейросеть-поэт, основанная на алгоритме GPT-3. И она показывает довольно интересные результаты.

Нейросеть может писать стихи в заданном стиле и на заданную тему. Аррам Сабети (Arram Sabeti), CEO проекта ZeroCater, уже провел эксперимент.Он формировал запросы нейросети с запросом на тему стиха и стиль. Все остальное делала машина.

Вот один из запросов:

Here’s a poem by Dr. Seuss about Elon Musk launching rockets with SpaceX, building electric cars at Tesla, selling flame throwers, dating Grimes, fighting the SEC, crushing short sellers, building brain chips to fight AI, and colonizing mars, and tweeting at all hours of day and night. Musk wants to make humans interplanetary to prevent extinction. The poem rhymes every other line with an ABAB structure. The rhyme structure is typical of Dr. Seuss nursery rhymes.


Стих получился занятным. Правда. Несмотря на очевидные неточности в ритмике и косяки с рифмами, он имеет смысл. Он длинный, поэтому мы приведем здесь только часть.

Elon Musk
By Dr. Seuss

Once there was a man
who really was a Musk.
He liked to build robots
and rocket ships and such.

He said, “I’m building a car
that’s electric and cool.
I’ll bet it outsells those
Gasoline-burning clunkers soon!”

They sell cool cars
that are electric and clean.
And then he wanted to go
even farther, you see.

The first Tesla, Roadster,
Was just the start of a bigger dream.
He said, “I’m building a plane
that’s electric and green”.


Прогресс по сравнению с предыдущей версией алгоритма просто удивителен. Это не набор бессвязных фраз, а вполне себе неплохое по структуре стихотворение. Да, до идеала еще далеко, рифмы слабоваты, да и ритмика хромает, но уже на этом этапе сильно удивляешься, что это придумала машина.

Некоторые образы и словосочетания просто прекрасны. К примеру, «gasoline-burning clunkers» — «бензиновые драндулеты». Если не знать, что это написала машина, то можно подумать, что это творение какого-нибудь школьника, который решил написать стихотворение про своего кумира.

И, черт возьми, это круто.

Полную версию стиха и другие творения нейросети можете прочитать здесь.

***

Экспериментов с GPT-3 в плане написания стихов или художественных историй пока довольно мало, так что приходится довольствоваться только этим. Но если нейросеть настолько продвинулась в создании осмысленных текстов, то вполне реально, что скоро она сможет писать и вполне читабельные художественные произведения.

Возможно, это будет не GPT-3, а какой-нибудь GPT-4 или даже GPT-5, но динамика развития явно есть. Сейчас нейросеть может писать технические статьи, новости, небольшие истории или стихи.

А с дальнейшим развитием алгоритмов качество генерируемых текстов будет только расти. Так что да, ИИ может писать как человек. Пока что на уровне школьника, но посмотрим, как будет через лет 10-20. А вы как думаете?

Онлайн-школа EnglishDom.com — вдохновляем выучить английский через технологии и человеческую заботу




Только для читателей Хабра первый урок с преподавателем по Skype бесплатно! А при покупке занятий получите до 3 уроков в подарок!

Получи целый месяц премиум-подписки на приложение ED Words в подарок.
Введи промокод neurowriter на этой странице или прямо в приложении ED Words. Промокод действителен до 29.09.2021.

Наши продукты: