Мы еще не отошли от GPT-4o, как Anthropic вырывается на сцену с новой моделью Claude 3.5 Sonnet, которая по заверениям разработчиков превосходит GPT-4o. Anthropic вновь раздвигает границы возможностей ИИ.

В этой статье мне бы хотелось оценить способности новой модели и, конечно, проверить не соврали ли нам о функционале Claude 3.5 Sonnet.

Claude 3.5 Sonnet. Что нового?

Знакомьтесь, Claude 3.5 Sonnet — новый член семьи искусственного интеллекта от Anthropic. Эта модель создана, чтобы понимать и генерировать текст еще лучше, чем ее предшественники.

Что же нового? Claude 3.5 Sonnet в два раза быстрее Claude Opus, умеет лучше рассуждать и обладает передовыми способностями визуального восприятия. Она точнее, быстрее и надёжнее предыдущих версий.

Anthropic стремится к тому, чтобы Sonnet напрямую конкурировал с GPT-4 от OpenAI, и надеется, что пользователи оценят его новые возможности. Модель уже превосходит собственную разработку Anthropic — Claude 3 Opus — по многим параметрам, включая скорость, стоимость и результаты тестов.

Модель устанавливает новые стандарты в таких областях, как рассуждения на уровне выпускника (GPQA), знания на уровне бакалавра (MMLU) и навыки программирования (HumanEval):

Знаете, чем еще примечателен Claude 3.5 Sonnet? Он научился понимать нюансы, юмор и даже справляется со сложными инструкциями.

Теперь можно не бояться, что текст будет звучать сухо и безжизненно: Sonnet пишет довольно естественно и увлекательно.

С кодом дела обстоят не хуже: внутренние испытания показали, что Claude 3.5 Sonnet решил 64% задач, оставив далеко позади своего предшественника Claude 3 Opus (тот справился только с 38%).

Sonnet пишет, редактирует и выполняет код, словно это для него детская игра. Перевод кода, обновление старых программ, миграция баз данных — ему всё по плечу.

Claude 3.5 Sonnet еще и мастер визуализации. Anthropic превзошли сами себя: эта модель работает с изображениями даже лучше, чем Claude 3 Opus.

Представьте: Sonnet не просто "видит" картинку, он анализирует диаграммы и графики, понимает, что на них изображено, и даже может распознать текст на нечетких фотографиях.

Claude 3.5 Sonnet умеет генерировать интерактивные диаграммы и даже создавать целые презентации на основе JSON-данных.

И самая главная особенность, это Artifacts (аналог Advanced Data Analysis в ChatGPT). Представьте: вы просите Claude сгенерировать код, написать текст или даже создать дизайн сайта. Вместо того, чтобы просто выдать результат, Sonnet создает Artifact — интерактивный объект, с которым можно работать прямо в чате.

Хотите поправить код, отредактировать текст или изменить дизайн? Пожалуйста! Artifacts превращают общение с Claude в увлекательный творческий процесс, где вы и искусственный интеллект работаете бок о бок.

Кстати о стоимости: использование модели обойдется в 3 доллара за миллион входных токенов и 15 долларов за миллион выходных. Контекстное окно составляет 200 тысяч токенов.

Важно отметить, что Claude 3.5 Sonnet — это только первый шаг. В ближайшем будущем Anthropic планирует выпустить Claude 3.5 Haiku и Claude 3.5 Opus, которые станут ещё более впечатляющими.

Полный список моделей Claude:

Кстати, внешние эксперты подтвердили, что Claude 3.5 Sonnet соответствует всем стандартам безопасности.

Оценим сами

Стихи

Слова это, конечно, хорошо, но проверить на практике - еще лучше.

Первое, посмотрим как хорошо модель пишет стихи. Я попрошу несколько моделей написать стихи по мотивам Бродского. Для таких тестов буду использовать BotHub, ввиду некоторых сложностей с официальным сайтом, а также из-за того, что модель больше "подчиняется" через API. Начнем с новичка:

В этом стихотворении действительно чувствуется атмосфера одиночества и тоски, так свойственная Бродскому. Лаконичные и точные образы тоже напоминают его стиль.

Однако стихотворению не хватает глубины и многослойности, присущих поэзии Бродского. Тема одиночества раскрыта слишком прямолинейно, без характерной для него иронии и философской задумчивости.

Но в целом, стихотворение звучит неплохо!

Сравним с предшественником:

Тема одиночества, поиска смысла жизни, обращение к книгам — всё это очень созвучно поэзии Бродского. Атмосфера задумчивости и рефлексии тоже передана очень точно.

Теперь посмотрим на GPT-4o:

Здесь наблюдаем попытку создания философской образности, использование развёрнутых метафор, созерцательный настрой. Но стих перегружен образами, которые не всегда работают на общую идею. Слишком много пафоса и прямолинейности в выражении чувств, чего у Бродского практически не встретишь.

И, например, оценим Gemini 1.5 Pro:

Образ города, особенно Петербурга, часто встречается у Бродского. Здесь присутствует такая же мрачноватая, осенняя атмосфера. Не хватает характерной для Бродского интеллектуальности и сложности языка. Рифмовка простовата, а образ лирического героя шаблонен.

Вообще, нужно понимать, конечно, что подражание стилю — это не только использование определенных образов или тем, но и умение мыслить и чувствовать так же, как поэт, чего ИИ пока не умеет. Однако, именно у Claude лучше всего получается писать и Соннет мне нравится гораздо больше за счет своей лаконичности.

Код страницы скрина

Я подам на вход скриншот страницы и попрошу каждую из моделей написать код для нее.

Claude 3.5 Sonnet:

Сlaude 3 Оpus:

ChatGPT-4o:

Gemini 1.5 Pro:

Итак, результаты перед глазами. В целом, Соннет показывает себя достойно, особенно в сравнении с предшественником. С точки зрения визуала лучше всего справились Gemini и Sonnet, на мой взгляд.

Artifacts

Я очень хотела показать работу с Artifacts, однако мой аккаунт постоянно подвергался блокировке, из-за чего я не смогла подготовить материал (не кидайте тапками, честно пыталась сделать все по хорошему, но теперь я тильтанула), однако все-таки примеры простых пользователей показать имею возможность.

Например, здесь пользователь попросил модель создать карту фэнтези мира, павшего от старой магии, с культурными и военными соображениями:

Или здесь тот же самый пользователь попросил сделать интерактивные приложение, демонстрирующее центральную предельную теорему:

Или, например, здесь пользователь попросил визуализировать Deep Learning:

Таким образом я вместе с вами пробежалась по новой модели, которая после себя оставила положительные впечатления. Конечно, игра престолов на поле генеративных моделей только наращивает обороты: компании пытаются прыгнуть выше головы, чтобы переиграть своих конкурентов, а нам остается наблюдать за этим.

В целом, очень грустно, что я не смогла предоставить вам своих результатов работы с Artifacts, поскольку это почти главная фича в обновлении, но я буду только рада посмотреть на ваши результаты в комментариях.

Спасибо за внимание!

Точно! Сама модель доступна здесь.