Мы внедряем новую технологию Поиска Brave, основанную на ИИ, — Summarizer, которая предоставляет краткие, ёмкие и содержательные ответы наверху результатов Поиска Brave по запросу пользователя, опираясь исключительно на результаты поиска в сети. В отличие от строго генеративных моделей ИИ, которые часто выдают ничем не подкреплённые утверждения, мы натренировали наши большие языковые модели на обработку многочисленных источников информации в сети. Это позволяет им выдавать гораздо более сжатый и точный ответ связным языком.

Более того, Summarizer всегда предоставляет ссылки на то, откуда получены данные. Это показывает авторство информации и помогает пользователям оценить достоверность источника и степень доверия к нему, что необходимо для борьбы с потенциальными искажениями от эффекта авторитета, присущего большим языковым моделям.

Summarizer Brave уже доступен всем пользователям Поиска Brave на десктопах и в мобильной версии. Если вы хотели бы отключить Summarizer, это можно легко сделать в настройках.

Использование результатов из сети позволяет Summarizer в реальном времени предоставлять актуальную информацию. Важно помнить, что, несмотря на впечатляющие результаты моделей ИИ, пользователи не должны слепо верить всему, что производит искусственный интеллект, точно так же, как и вообще не стоит доверять всему, что написано в интернете: мы должны всегда применять критическое мышление ко всей информации, которую мы потребляем.

Помимо собственно резюмирования, наши модели ИИ могут заменить сниппеты, основанные на запросах, их резюмированными версиями, подсвечивая ответ там, где это возможно. Это позволяет нам предоставлять как основное резюме на основе агрегирования многих источников для создания исчерпывающего ответа, так и резюме одного источника (например, статьи в прессе). Мы предоставляем оба типа резюме вместе, и таким образом пользователи могут видеть и общий обзор наверху, и сниппеты с подсвеченными ответами. 

«Поиск Brave является наиболее быстро растущим поисковиком с момента появления Bing: мы обрабатываем 22 миллиона запросов в день, предоставляя независимые результаты поиска, основанного на нашем собственном индексе сети. С внедрением Summarizer, основанного на ИИ, мы делаем следующий шаг для улучшения релевантности результатов поиска. В отличие от ИИ-чатботов, которые могут выдавать сфабрикованные ответы, Summarizer предоставляет чётко написанное резюме наверху поисковой выдачи, агрегируя самые новые источники в сети и указывая на их происхождение в целях прозрачности. Эта открытая система уже доступна всем пользователям Поиска Brave для лучшей навигации по результатам поиска»,‎ — говорит Жозеп Пуйоль, директор Поиска Brave.

В отличие от многих компаний, предоставляющих схожие функции, мы не опираемся на сторонние технологии и не ограничены вопросами масштабирования. Summarizer основан на созданных и управляемых Brave моделях, которые настроены на максимальную эффективность времени создания результата. На сегодняшний день Поиск Brave обрабатывает дневные пики в 600 запросов в секунду, которые мы затем прогоняем через нашу ИИ-модель. Пока мы генерируем резюме на 17% запросов, и в ближайшем будущем увеличим это число масштабированием нашей системы. Мы полагаем, что наша ИИ-модель является самой большой подобной системой на сегодняшний день, т.к. она получает больше трафика в запросах в секунду, чем другие (мы применяем Summarizer ко всем запросам), а ни Bing, ни Google не открыли свои системы.

Помимо масштабируемости, мы вкладываемся в качество сгенерированных резюме. Тем не менее, так как наша модель находится ещё только в ранних фазах разработки, иногда вы можете видеть «химеры»‎, которые смешивают несвязанные сниппеты в один результат, или же оскорбительные или ложные тексты, но их количество будет постоянно уменьшаться по мере того, как мы будем улучшать наши модели и получать фидбек от пользователей. 

Summarizer полностью разработан командой Поиска Brave и основан на наших неизменных принципах независимости и конфиденциальности. Мы не используем ChatGPT или его бекенд. Наш ИИ строится на трёх различных больших языковых моделях, которые решают различные задачи, а сами базовые модели построены на опенсорсных BART или DeBERTa, хостящихся на Hugging Face, которые были в значительной степени перетренированы на наших собственных данных результатов поиска.

• Первая модель отвечает на вопрос, пытаясь получить конкретный ответ из текстовых сниппетов, если это возможно. Brave уже использует большие языковые модели для улучшения релевантности результатов поиска, и эта модель является развитием уже существующей технологии, обслуживающей наш граф знаний и возможности сниппетов. Разница заключается в количестве и длине анализируемых сниппетов.

• После первой фразы получения ответов, полученные кандидаты классифицируются с помощью набора zero-shot классификаторов по большому количеству критериев (язык ненависти, вульгарность, спам и т.д.).

• Наконец, окончательное множество текстов-кандидатов обрабатывается моделью резюмирования/перефразирования, которая старается переписать входной текст, удаляя повторы и создавая однородный текст для удобства чтения.

Мы планируем поделиться бóльшим количеством технических деталей, обращая особое внимание на масштабируемость, спустя несколько недель после полномасштабного релиза.

Обратите внимание, что в настоящее время Summarizer отключен в Очках Поиска Brave (нашей инновационной функции, позволяющей пользователям создавать собственные фильтры для изменения ранжирования результатов поиска). Мы продолжим совершенствовать наши модели для качественной совместимости с пользовательскими Очками, и в ближайшем будущем поделимся новой информацией о наших успехах.

Заключение

Summarizer от Поиска Brave является нашим очередным шагом по улучшению релевантности поиска и ответом на последние изменения, которые были вызваны выходом ChatGPT в прошлом декабре. Новость о том, что Microsoft собирается глубоко интегрировать модели OpenAI в их поисковую систему Bing сильно повлияла на рынок: несмотря на то, что этой системы ещё нет в публичном доступе, изначальный фидбек говорит об этой модели и как о впечатляющей, и даже как о пугающей.

Вне сомнений, индустрия сейчас генерирует много хайпа вокруг ИИ, но мы в Brave пока не полностью убеждены в том, что большие языковые модели радикально преобразят поиск. Тем не менее, при правильном применении подобные модели могут помочь пользователям в работе с результатами поиска, что и является нашим подходом к Summarizer. На настоящий момент чатоподобные интерфейсы являются новой технологией, и мы не убеждены, что они подойдут для всех поисковых задач.

Тем не менее, мы верим в потенциал больших языковых моделей и продолжим экспериментировать с их применением не только в поиске, но и в Бразуере Brave, где мы ожидаем поистине революционных изменений благодаря ассистентским возможностям больших языковых моделей.

Поиск Brave доступен на всех версиях браузера Brave (десктоп, Android, iOS), а также доступен в других браузерах по адресу search.brave.com.