Самые крутые видеокарты GeForce оказались в дефиците во многих странах мира из-за массового спроса со стороны Китая. Там они используются в основе супер-компьютеров, применяемых для развития нейросетей. Nvidia не могла не догадываться, в каком ключе используются ее видеокарты, обладающие колоссальным вычислительным потенциалом. И, вместо того, чтобы бороться с этой инициативой, решила возглавить ее и запустила свой собственный чат-бот Chat with RTX.
Что такое Chat with RTX и как им пользоваться
Chat with RTX - это бесплатное приложение от Nvidia для локального запуска больших языковых моделей (LLM - large language models) с широкими возможностями персонализации. Продукт полностью автономен и способен производить большую часть вычислений без подключения к интернету, практически независимо от возлагаемых на него задач.
Chat with RTX использует генерацию с расширенным поиском RAG, TensorRT-LLM, а также ускорение RTX, а потому предъявляет довольно строгие требования к железу. Только их неукоснительное выполнение гарантирует работу чат-бота, поскольку брать ресурсы ему больше неоткуда:
Видеокарта - RTX 30-й или 40-й серии
Драйвер - 535.11 или новее
Объем видеопамяти - 8 ГБ и выше
Объем оперативной памяти ПК - 16 ГБ и выше
Операционная система - Windows 11
Чат-бот устанавливается на компьютер как классическая нативная программа, которая не взаимодействует с сервером, а выполняет все необходимые вычисления локально. Даже в демо-версии ее совокупный объем после распаковки составляет более 30 ГБ, так что в дополнение к совместимой видеокарте и ОЗУ озаботьтесь установкой накопителя достаточной емкости.
Вся необходимая информация о работе Chat with RTX доступна на GitHub. Разработчики могут использовать эти сведения для создания своих собственных приложений на основе RAG.
Функции Chat with RTX от Nvidia
В отличие от ChatGPT, детище Nvidia может обращаться к данным, которые хранятся в системе. Chat with RTX работает с файлами самых разных форматов: txt, pdf, doc, docx, xml. Кроме того, он поддерживает добавление видео с YouTube. Достаточно просто скопировать ссылку и скинуть ее в чат.
Визуально работа Chat with RTX практически не отличается от того, к чему все привыкли в ChatGPT. Пользователь выбирает языковую модель, а затем пишет запрос в чат. Нейросеть анализирует его, находит ответ и выдает в своем сообщении. Взаимодействовать можно с целым диском либо сузить поиск до конкретной папки и даже одного файла, и тогда поиск будет осуществляться только по заданным пределам.
В этом, кстати, в полной мере проявляется аспект защищенности: Chat with RTX не передает данные на сервера разработчиков, поэтому вы можете быть уверены, что вся конфиденциальная информация не покинет пределов вашего компьютера. Помимо собственно ответа, который дает нейросеть, она указывает еще и источник, давая прямую ссылку на файл, в котором был найден ответ на вопрос пользователя. Таким образом у вас будет возможность проверить его правильность.
Create A Personalized AI Chatbot with Chat With RTX
Несмотря на локальный характер вычислений, Chat with RTX может вычленять информацию из видео на YouTube. Вы выбираете соответствующий инструмент поиска, копируете ссылку на ролик и нажимаете на кнопку загрузки. Он действительно скачивает видео, так что технически это все-таки не совсем офлайновый чат-бот.
Затем необходимо сформулировать запрос - например, спросить, какие именно видеокарты представила Nvidia в 2024 году - и дать нейросети обработать данные. На выходе вы получите перечисление всех анонсированных новинок. Это может быть удобно, если ответ содержится в длинной видеотрансляции, смотреть которую целиком нет времени.
Где скачать нейросеть Nvidia Chat with RTX
Скачать и установить Chat with RTX можно уже сейчас с официального сайта Nvidia. Продукт находится в стадии бета-тестирования и его уместнее называть скорее демонстрационной версией. По всему видно, что его возможности должны быть куда как шире. Тем не менее, пользователи, которые успели испытать новинку на себе, сообщают, что чат-бот работает весьма бойко, но скован и технически, и, скорее всего, юридически.
Запуск Chat with RTX возможен только на том железе, которое перечислено выше. Особое внимание нужно уделить объему видеопамяти. Некоторые пользователи жалуются, что им так и не удалось заставить чат-бот работать. Оно и понятно, ведь если не соблюсти хотя бы одно условие - например, взять RTX 3050 с 6 ГБ VRAM или не установить совместимую версию драйверов, - ничего не получится.
Видеопамять является одним из главных требований Nvidia для запуска Chat with RTX. Дело в том, что каждый обрабатываемый токен требует чтения всей модели целиком. А видеопамять современных видеокарт способна выполнять эти манипуляции даже быстрее, чем оперативка DDR5.
Если она окажется медленнее или ее будет меньше, нейросети может не хватить ресурсов, и это является своего рода заградительным барьером. Благодаря ему удается добиться правильной и достаточно быстрой обработки данных, чтобы время ожидания ответа оставалось приемлемым даже на текущем этапе развития продукта.
Для работы с Chat with RTX подойдут следующие видеокарты из ассортимента XCOM-SHOP.RU, которые вы можете купить по выгодным ценам:
Комментарии (4)
melodictsk
19.04.2024 16:14Кривое поделие, которое лучше заменить на lm studio и установить любую модель в 2 клика.
maxcat
19.04.2024 16:14В нативное приложение вот не умеет. С другой стороны у индистудии nvidia нативные приложения кривоватые (GeForce experience), либо дико старые (nvidia control panel)
palyaros02
19.04.2024 16:14По-русски встроенные модели отказываются работать категорически, хотя они же нормально работают в других похожих софтинах
maxsaf
Интересно, почему указано WIN11 в системных требованиях? У меня на WIN10 запустилось без вопросов.