Roughs Talker API — бесплатный API диалоговой системы, построенной на нейросети ruGPT-3 от Sberbank AI.
Я произвел отстройку нейросети на датасете из 84 920 живых диалогов. Это позволило собрать языковую модель, способную симулировать живое общение.
Данный API может использоваться при создании вопросно-ответных, диалоговых систем, чат-ботов, систем управления умным домом. В данный момент этот API используется в моём чат-боте для симуляции живого общения.
Адрес API-сервиса: https://roughs.ru/api/talker
Поддерживаются как GET, так и POST запросы.
Параметры запроса:
text — Текст сообщения пользователя. Вопрос, на который нужно получить ответ.
source_from — адрес приложения, в котором будет использована полученная информация, либо ваши контактные данные. Это необходимо для проверки подозрительных запросов.
Формат ответа:
После запроса сервер вернет Вам ответ в формате JSON. Объект в ответе содержит два поля:
question — Текст сообщения пользователя.
answer — Ответ от нейросети на сообщение пользователя.
Пример запроса:
Запрос от пользователя:
https://roughs.ru/api/talker?text=Посоветуй фильм на вечер&source_from=example@habr.com
Ответ от API:
{
"question": "Посоветуй фильм на вечер",
"answer": "«Доживем до понедельника»."
}
zazar
Почти лежит. Ответ по полминуты-минута.
buvanenko Автор
Произошел хабраэффект ?\_(?)_/?
t3chn0ph0b
Ну и чему тут удивляться? :)
buvanenko Автор
Тут сам сервер не был рассчитан на такую нагрузку. Вот что с ним происходило пару минут назад:
t3chn0ph0b
Сорри, меня нет в вк.
А насчет сервера даже комментировать не хочу.
debagger
Привет! А чем это лучше родного сберовского api? здесь?
Запрос:
Ответ:
buvanenko Автор
Тонкой отстройкой модели.
Aniro
А можно немножко подробностей по матчасти пожалуйста — где хостится сервер, во сколько обходится? Сколько запросов в минуту переваривает? Какая модель взята за основу — large или XL?
buvanenko Автор
Хостится все в Яндекс.Облаке, модель large. В среднем он обрабатывает 90 запросов в минуту.
Aniro
Спасибо. Это их DataSphere или просто vds с GPU?
0,65 секунды на запрос выглядит неплохо, хотя кажется у вас кажется довольно короткая генерация — токенов десять?