Недавно компания Anthropic обновила свои нашумевшие модельки Claude. ИИ-шки стали работать лучше и в очередной раз обошли GPT-4o. Но ключевое нововведение — удалённое управление компьютером. В статье расскажем, как ИИ это удалось и что ждёт нас дальше.   

Как нейросеть управляет компьютером 

Новая версия ИИ не просто реагирует на команды, а перемещает курсор, прокручивает страницы, нажимает кнопки и заполняет формы на веб-сайтах — как реальный пользователь.

Так, представитель компании Anthropic Сэм Рингер в видео показал, как Claude 3.5 Sonnet проводит анализ данных, самостоятельно находит нужную информацию и вводит её в онлайн-формы. 

Эта новая функция может упростить взаимодействие с корпоративными программами, ведь она автоматизирует рутинные задачи, на которые у сотрудников, как правило, уходит много времени.

Другие ИИ, которые могут управлять компьютером вместо человека

Copilot

Ещё ранее Компания Microsoft выпустила обновление для чат-бота Copilot. В обновлении от 20 февраля говорится, что теперь Copilot умеет делать почти всё.

  • Показывать доступные сети Wi-Fi.

  • Предоставлять информацию о компьютере пользователя и состоянии аккумулятора.

  • Включать режим экономии заряда на ноутбуках.

  • Очищать корзину.

  • Переключаться между светлой и тёмной темами.

  • Делать скриншоты.

  • Включать режим «Не беспокоить».

  • Менять громкость

  • Ну и конечно же, открывать нужное приложение.

Чат-бот также умеет управлять функциями для людей с ограниченными возможностями, среди которых голосовой ввод, изменение шрифта, повышение контрастности и многое другое.

Звучит просто фантастически! Но почему эта новость ранее так не взорвала интернет, как это сделало обновление Claude? Потому что все эти функции ещё никому не доступны, кроме тестировщиков. А когда мы сможем использовать управление компьютером от Copilot — неизвестно :( 

Project Jarvis

У Google тоже есть ИИ-шка, которая возьмёт на себя управление компьютером. Но пока только в процессе. 

Говорят, этот инструмент появится в браузере Chrome под кодовым названием Project Jarvis. Новая гугловская нейросетка будет выполнять всё, что скажет пользователь: заполнять формы, нажимать кнопки, открывать веб-страницы, объединять поисковые данные в таблицы, покупать продукты на сайтах или бронировать авиабилеты. Что ж, ждём!

OpenAI

Нейрогигант также работает над системой, которая сможет автономно использовать компьютер и браузер. Но сроки и её возможности пока неизвестны. 

Ну что, объявляем новый нейротренд?

Когда можно попробовать 

Новый Claude 3.5 Sonnet уже может использовать любой пользователь. Если вы разработчик, то можете поиграться с функцией управления компьютером через API Anthropic, Amazon Bedrock или Google Cloud's Vertex AI. 

Что нас ждёт дальше 

Нейросетки учатся работать с компьютером почти как человек! Конечно, пока есть сложности — даже простая прокрутка страницы может стать проблемой. Но прогресс просто поражает.

Забавно представить, что будет дальше. Вдруг через год ИИ-помощник Claude начнёт обставлять нас в компьютерных играх? Звучит как шутка, но в мире технологий возможно всё!

Компания Anthropic честно признаёт: их ИИ пока только учится управлять компьютером. Это как ребёнок, который делает первые шаги, — осторожно и не всегда уверенно. Поэтому они советуют начинать с простых задач и просят пользователей делиться своими впечатлениями, чтобы сделать систему лучше.

Но мы не сомневаемся, что они покажут хорошие результаты по части управления компьютером. Так как уже долгое время их нейросети не сдают позиции и находятся на месте лучших среди всех нейросетей. Даже обгоняют популярный ChatGPT.

Заключение

Некоторые пользователи переживают, что нейронка может слить данные или занести вирус, раз умеет управлять компьютером. Но компания подошла к вопросу серьёзно и, прежде чем выпустить Claude, провела двойную проверку — пригласила экспертов сразу из двух стран. Специалисты из США и Великобритании внимательно изучили систему и убедились, что она безопасна.

Волноваться точно не о чем. Сейчас Claude напоминает новичка, который только-только учится работать с компьютером. А система защищена, и ей не нужны данные пользователей. Так что до зловещего искусственного интеллекта ему очень далеко!

Комментарии (5)


  1. ViktorAbba
    14.11.2024 11:08

    Продолжение уже придумали за вас. Дальше будет восстание машин.


  1. poro_ku
    14.11.2024 11:08

    Пока еще не управляет даже серверами где текстовый интерфейс очень удобен для ллм. Может и не будет вообще.

    Попросил сегодня джемини зайти в базу и найти там специфичного юзера. Он сделал надцать попыток и потом сдался. Туповат...

    14-11-2024 18:06:58
    
    run_script run_script_script.sh
    
    #!/bin/bash
    
    sqlite3 db/main.db 'SELECT id FROM users WHERE id LIKE \"%Пользователь%\"'
    ================================================================================
    14-11-2024 18:06:59
    
    run_script: Error: in prepare, unrecognized token: "\" (1)
    
    ================================================================================
    14-11-2024 18:07:04
    
    run_script run_script_script.sh
    
    #!/bin/bash
    
    sqlite3 db/main.db 'SELECT id FROM users WHERE id LIKE \"%Пользователь%\"'
    ================================================================================
    14-11-2024 18:07:04
    
    run_script: Error: in prepare, unrecognized token: "\" (1)
    
    ================================================================================
    14-11-2024 18:07:06
    
    run_script run_script_script.sh
    
    #!/bin/bash
    
    sqlite3 db/main.db "SELECT id FROM users WHERE id LIKE \'%Пользователь%\'"
    ================================================================================
    14-11-2024 18:07:06
    
    run_script: Error: in prepare, unrecognized token: "\" (1)
    
    ================================================================================
    14-11-2024 18:07:08
    
    run_script run_script_script.sh
    
    #!/bin/bash
    
    sqlite3 db/main.db "SELECT id FROM users WHERE id LIKE '%Пользователь%'""
    ================================================================================
    14-11-2024 18:07:08
    
    run_script: ./run_script_script.sh: line 3: unexpected EOF while looking for matching `"'
    ./run_script_script.sh: line 4: syntax error: unexpected end of file


    1. avshkol
      14.11.2024 11:08

      Просто этому ещё по большому счету и не начинали учить. Это уж точно не сложнее питона, на котором они уже бойко пишут.


    1. Fqyeh29
      14.11.2024 11:08

      А какой промпт был и версия Гемини?

      Вообще гемени хорош в больше в творчестве, чем в техничке, а в техничке gpt/Claude.

      Ну вообще я тестировал похожее, давая прямой доступ к sql запросам llama 3 70b в тестовую бд, и он вполне не плохо писал запросы и интерпретировал результаты.


  1. Dertefter
    14.11.2024 11:08

    А это очень похоже на мой проектик:
    https://habr.com/ru/articles/852900/