Несколько недель назад мы с коллегой сделали ChatGPT-proxy бота в Telegram, который помогал в наших рабочих чатах и просто развлекал нас. Он написан на TypeScript и потрясающем фреймворке Grammy, использует Open AI API, а именно модель gpt3.5-turbo, которая используется в оригинальном ChatGPT.
UPD: Telegram разбанил нашего бота
Немного о самом боте
Сам по себе бот является простым мостом между Telegram и ChatGPT, при этом он помнит предыдущие сообщения в чате, используя их в качестве контекста очередного вопроса. Кроме того, бот поддерживает групповые чаты. Причём у нас включен Privacy Mode в группах, так что бот видит только те сообщения, которые содержат команду /ask.
Мы добавили много дополнительного функционала, например, боту можно отправить ссылку на любой сайт/статью, или даже YouTube-видео и задать вопрос, на который бот ответит, добавив в контекст субтитры или контент сайта, который бот получает, рендеря его в Puppeteer. В обоих случаях приходится мириться с ограничением контекста в 4096 токенов в GPT-3.5. В качестве решения нашёлся npm-пакет ts-textrank, который позволил нам суммаризировать содержимое текста до нужной длины, теряя при этом минимум информации, насколько это возможно.
Также мы добавили возможность распознавания голоса через Google Cloud Speech API, но планируем перейти на более мощный Whisper от Open AI. Кстати, эту модель можно поднять хоть у себя дома на GPU, проект лежит на GitHub. Самый большой вариант этой модели, поддерживающий все языки, занимает ~10 GB видеопамяти.
Где распознавание голоса, там и синтезация. В 2023 году такие вещи делаются очень просто, достаточно установить соответствующий npm-пакет и вызвать 1 метод. Кстати, мы планируем генерировать русский голос через Yandex Speech Kit, который даёт гораздо более качественный результат, нежели Google Cloud Text To Speech API.
В итоге наш бот с точки зрения знаний всего и вся с большим отрывом заменил Siri, Алису от Яндекса и тому подобных современных голосовых помощников, и всё это в паре строчек кода, используя 3 npm пакета!
Наконец, в какой-то момент мы научили бота генерировать картинки по текстовому описанию через DALL·E. Единственная проблема состоит в том, что этот API поддерживает только английский язык. Не беда! У нас всегда есть GPT, который может принять инструкцию на русском и подробно проинструктировать своего собрата DALL·E на английском языке. Вообще, возможности применения GPT безграничные, боюсь представить что будет в будущем.
Много чего ещё было добавлено в процессе. Например, настройка креативности ответов бота, набор готовых инструкций, которые задают роль бота в чате (Copilot, интервьювер, генератор бизнес идей, гопник и куча других), можно даже самому написать такую инструкцию через команду /prompt.
Deploy в production
В какой-то момент мы поняли что наш бот разлетелся по чатам наших коллег и друзей, а также по их коллегам и друзьям. Мы решили попробовать монетизировать этот проект, и начали готовить всё к запуску:
Нарисовали и сверстали красивый лендинг
Подключили платёжные системы для рекуррентных платежей
Задеплоили всю инфраструктуру в Google Cloud, используя исключительно Cloud Functons, Cloud Pub/Sub, Cloud SQL и Cloud Redis
Настроили CI/CD через GitHub Actions
Подготовили бота к большой нагрузке, выполнив Deployment Checklist в документации Grammy. Очень важно использовать вебхуки вместо long-polling'a, настроить ratelimiter, чтобы нашего бота не заспамили, а также хранение сессий в Redis.
Настроили Sentry для отслеживания runtime ошибок.
Накидали дашборд в Grafana для мониторинга основных метрик — количество запросов к Open AI API, их status code, latency, и т.д.
Добавили английский язык
Реализовали несколько платных планов с разными ограничениями и функционалом
Добились повышения лимитов биллинга в Open AI до $3200 в месяц.
В целом, инфраструктура получилась очень отказоустойчивой, минималистичной, предсказуемой, масштабируемой и относительно дешёвой (на самом деле пока что Google Cloud для нас бесплатный, поскольку там всем аккаунтам дают $300 при регистрации.)
Реклама
В первые дни мы получили около 5000 пользователей, купив пару постов в Telegram-пабликах, а также настроив таргет в яндексе. Спрос на этого бота у людей огромный. Те, кто купил подписку, пользовались им буквально каждый день.
Через неделю мы купили рекламу в Telegram-паблике на 3.7 млн. подписчиков и ~800 тысяч просмотров постов. Это принесло нам ещё 22000 пользователей.
Фиаско
Спустя чуть больше суток, бот просто пропал, будто его никогда и не существовало. В BotFather он тоже исчез. На саппорт Telegram можно не расчитывать, так как у мессенджера его, как известно, просто не существует. Сейчас мы находимся в полном непонимании что нам делать дальше, как можно вообще развивать какие-то проекты в Telegram, если в какой-то момент твой бизнес может просто исчезнуть, без каких-либо предупреждений и объяснений.
Есть подозрения, что кто-то убедил нашего бота прислать такой ответ, на который можно легко пожаловаться. Проблема в том, что мы не можем наложить никаких ограничений на ответы бота, поскольку это чёрный ящик и в данный момент существует огромное множество jailbreak-ов для обхода встроенной цензуры ChatGPT. Да, есть Moderation API, но, к сожалению, оно поддерживает только английский язык.
Послесловие
Telegram разблокировал нашего бота, но подобная ситуация может случиться с каждым. Поэтому небольшая инструкция как быть, если ваш бот в Телеграме просто испарился.
1) Немедленно обратиться в официальную поддержку ботов @BotSupport подробно описав весь кейс
2) В Телеграме, через меню перейти в раздел «Ask a Question» (Задать вопрос) и продублировать туда всю доступную информацию.
3) Продублировать информацию в чат разработчиков ботов - @BotTalk
4) Если проблему не получилось решить в течении суток-двое: прийдется искать другие пути - вроде публичных постов на Хабре, VC.
Желаем удачи всем тем, кто столкнулся с подобной проблемой. Поддержка сообщила что «Произошла ошибка на стороне Телеграма, которую уже поправили, больше не должно повториться». Вероятно, это жалобы-репорты от конкурентов, другие причины тяжело себе представить.
Комментарии (108)
LuchS-lynx
00.00.0000 00:00+35не знал что это Ваш бот, но в группе, посвященному Линуксу, живое общение встало, все стали писать в чат только ему. Не то что бы я против прогресса, но еще вчера бурлившее сообщество превратилось в общение юзеров с ботом. Больше никаких срачей... это... завораживает и пугает меня одновременно
AcckiyGerman
00.00.0000 00:00+1Людям просто интересно потыкать в новое. Пока ИИ не научили сраться в чатиках, споры между людьми продолжатся.
Anton_Olegovich
00.00.0000 00:00+13Боюсь, что сраться в чатиках - будет одним из первых, чему его научат. Зачем держать целую ферму ольгинских или каких-нибудь ещё кожаных мешков, если одна серверная стойка с теслами их заменит и сможет засорять интернет 24/7 ?
D1m1tr4dz3
00.00.0000 00:00+2Сопоставимо с бросанием дрожжей в школьный туалет...
Если сообщество "просто" перешло на бота, то оно "дохлое" изначально. Честно...
lucius
00.00.0000 00:00+2А вот вы объяснили то что случилось:
Мечта Телеграма — чтобы весь мир сидел в чатиках, общался там, новости читал и тд.
Если люди приходили в телегу общаться и получать новую информацию, то теперь они начали получать информацию у бота. Второй шаг — уход с платформы Телеги.
Такого Телеграм не может допустить.Ведь если услоный Петя общался с Сашей и черпал у него полезные сведения, то теперь он будет просто спрашивать у бота. Скоро бота встроят прям в телефон и прослойка в виде Телеги станет не нужна.
Autodrom
00.00.0000 00:00Это не мечта а реальность когда сливают бюджет помойку в надежде получить с этого гешефт))
А телега молодец))
LuchS-lynx
00.00.0000 00:00Если продолжать эту идею дальше, то можно будет договорится до того, что любая ОС в пределе станет клиентом/терминалом для доступа к ПО за пределами ПК.
OneManStudio
00.00.0000 00:00В смысле договориться? И много сейчас пользователь может сделать на пк без доступа к интернету? В большинстве случаев без интернета/сети это будет просто кирпич или печатная машинка, а значит уже давно пк это уже давно терминал для доступа к тем или иным ресурсам.
nin-jin
00.00.0000 00:00Играть в игры, писать книги, рисовать картины, монтировать видео и даже, прости господи, программировать.
LyuMih
00.00.0000 00:00+1Без stackoverflow последние может быстро закончится :)
(Самоирония)
nin-jin
00.00.0000 00:00+1Это не проблема, если заранее его выкачал.
OneManStudio
00.00.0000 00:00Чтобы выкачать нужна сеть и интернет. Чтобы играть в игры их нужно скачать - на дисках дистрибуции пк игр по факту нет. Иными словами без другого ПК с выходом в интернет у вас будет кирпич о чем и разговор.
Вы лет на 20 отстали.
ITMeeting
00.00.0000 00:00+2Грустная история, но далеко не первая, с кем это произошло. Вот ссылка на аналогичную историю: https://vc.ru/607344.
Может чем-то сможет помочь.
dopusteam
00.00.0000 00:00+1На саппорт Telegram можно не расчитывать, так как у месенджера его, как известно, просто не существует. Сейчас мы находимся в полном непонимании что нам делать дальше
Может все таки попробовать в саппорт написать?
У них ж какие то контакты должны быть поддержки.
Или саппорта буквально нет? Оо
Maxpain154 Автор
00.00.0000 00:00+1В саппорте Telegram работают волонтёры. Мы, конечно же, написали туда, но предыдущий опыт показывает, что ответа можно не ждать :(
McPain
00.00.0000 00:00У меня телеграм за ночь полностью высасывал батарею в ноль на телефоне.
Выяснилось:
Я пытался загрузить огромный файл (больше 2 Гб), а на стороне клиента проверки на размер файла не было и телефон бесконечно стал пытаться что-то загрузить.Это было в августе 2019, ответа жду до сих пор
hormold
00.00.0000 00:00Саппорт есть, но, как и переводы - им занимаются волонтеры. Есть "поддержка ботов", но связь с ними не получается установить. Сообщения читаются, но ответов не следует.
Govar
00.00.0000 00:00Напишите мне, у меня есть знакомый в их команде, может получится решить вопрос или запартнериться.
Geraclz
00.00.0000 00:00Мне кажется это самое большое зло которое по хуже коронавируса.
hormold
00.00.0000 00:00+1Что именно? Боты, которые используют OpenAI API?
Geraclz
00.00.0000 00:00-3если ChatGPT будет использоваться без должной осторожности или контроля, он может заменить человеческую коммуникацию и связь, что может привести к утрате социальных навыков и отчуждению. Это может привести к общественному расколу и усилению существующих проблем, таких как асоциальность и изоляция.
logran
00.00.0000 00:00+8Вы не поверите, но зачатую общение с реальными людьми куда сильнее сподвигает к асоциальности и желанию изолироваться от них нафиг и никогда больше не взаимодействовать, оставив контакты лишь с парой адекватных особей.
может привести к утрате социальных навыков
С чего бы? Бот вполне человеко-подобно общается. Коммуникационные навыки останутся, а всякая невербальная бодяга через чаты и так не особо работает.
aborouhin
00.00.0000 00:00+6Напрашивается решение - каждый пользователь при регистрации на сайте получает своего индивидуального бота (не силён в ботоводстве, так что техническое решение не предложу, но наверняка реализуемо). Ну и в целом отвязаться бы от одной платформы, чтобы был выбор - веб-чат, Телеграм, Slack, FB Messenger и т.п.
Mihaelc
00.00.0000 00:00Не знаю как сейчас, но на один аккаунт тг можно было зарегать до 20 ботов. Разве что предлагать клиентам самим зарегать бота и прислать token
aborouhin
00.00.0000 00:00Сейчас так же. Генерировать новый аккаунт на каждые 20 пользователей будет, подозреваю, дорого (виртуальные телефонные номера от Телеграм сейчас по 15 баксов примерно, а в коммерческом проекте ещё и устанешь их приобретение документировать так, чтобы бухгалтерия одобрила и на себестоимость отнести; реальные тоже недёшево, - а пользователей много бесплатных). Так что надо от имени пользователя бота создавать, да, вопрос, как это автоматизировать, чтобы пользователю показывать буквально две кнопки: "Авторизовать" и "Перейти к Вашему личному боту". Комментарием ниже уже писал. У Телеграма много API, я на таком уровне с ними не разбирался.
Vilgelm
00.00.0000 00:00виртуальные телефонные номера от Телеграм сейчас по 15 баксов примерно
А где их по 15 баксов брать? На Fragment они по 40 TON, что примерно 100 баксов.
aborouhin
00.00.0000 00:00Вообще от 2 TON начинаются, но это единичные предложения, массово от 6 TON (те самые 15 баксов). Это аукционы, конечно, не факт, что по такой цене получится купить - но если заранее озаботиться созданием пула номеров...
Vilgelm
00.00.0000 00:00+3Не получится по такой цене купить, арбитражники смели бы уже. Отсортируйте по ending soon, минимальная цена 38 с окончанием в 10 часов, причем там при каждой ставке час добавляется, поэтому уйдет, скорее всего, дороже.
aborouhin
00.00.0000 00:00Понятно, я, честно говоря, до этого не интересовался ценами, не было потребности. Ну в таком случае у любого провайдера SIP-телефонии покупать номера выгоднее, если нет задачи обеспечить конфиденциальность (а в нашем случае её нет).
Vilgelm
00.00.0000 00:00Можно просто пойти на сервисы смс активации и центов по 5 покупать смс.
aborouhin
00.00.0000 00:00+1Ну для коммерческого проекта, который берёт со своих пользователей деньги и обязуется соблюдать все GDPR/CCPA/PIPEDA/152-ФЗ/etc., это, уж, по-моему, слишком опрометчиво :)
Vilgelm
00.00.0000 00:00+1Telegram шлет не смс, а код в приложение, если есть активная сессия. Плюс можно задать второй фактор в виде пароля. Но да, с точки зрения безопасности это так себе.
Ndochp
00.00.0000 00:00У меня сейчас как раз проблема, что если залогиниться в клиентботе Telethone (питоновская библиотека) то обнуляет все активные сессии, и для активации надо снова добавляться через СМС. Потому что блин на нестандартные клиенты СМС больше не шлют, а код получать некем.
akakoychenko
00.00.0000 00:00Где-то уже видел такую тему.
Там был один основной бот с кучей юзеров, но ограниченным и максимально безрисковым функционалом (ибо создатели боялись, что бота забанят). Хочешь полный функционал - вот тебе инструкция, как создать своего личного бота со своим токеном, и там получишь все. Также, была механика, которая поощряла раздавать своих личных ботов друзьям.
svanichkin
00.00.0000 00:00+3Как заметили комментаторы выше, сделайте инструкцию, что бы каждый мог создать своего бота... т.е. вы даете функционал, люди сами создают бота, если бот косячит, вы останетесь ни при чем. Да, конечно это не даст вам контроля над ботами юзеров, но вам я так понимаю это и не особо нужно (важно только что бы юзеры деньги платили). Я бы кстати хотел себе такого бота в группу.
aborouhin
00.00.0000 00:00Инструкцию, боюсь, большинство пользователей не осилят. А вот можно ли и если можно, то как, получить авторизацию от пользователя, чтобы сходить к BotFather'у и создать бота от его имени - интересный вопрос.
Пользователя, само собой, предупреждаем об ответственности за поведение его бота, но и даём возможность создать нового, если предыдущего забанили.
Apokalepsis
00.00.0000 00:00Я думаю, тем кому это действительно требуется, осилить. Возможно можно написать какой-то скрипт, который запускает пользователь и это автоматизирует процесс, либо делает в ручную, если хочет больше контроля.
С учетом того что все равно происходит через ваши сервера, думаю прикрепить к боту оплату/выпуск токена через ваш сайт, что бы можно было пользоваться не супер большая техническая задача.
NikaLapka
00.00.0000 00:00+1Те, кто купил подписку, пользовались им буквально каждый день.
Подписку на что? Вы же в серьёз не додумались продавать отдельную подписку на бота?
Schalaeff
00.00.0000 00:00+4эээ, ну таких ведь ботов куча в телеграмме? не они первые, не они последние. Конкретно у этого автора статьи в боте можно 10 сообщений в день написать боту, хочешь безлимит - плати денюшку
NikaLapka
00.00.0000 00:00Наверняка там в пользовательском соглашении есть пункт о коммерческой деятельности с использованием сети телеграмм.. А потом они удивляются, почему нас удалили.
Nasreddin_Hodja
00.00.0000 00:00+2Используя сторонние площадки лучше всегда на видном месте размещать предупреждение что в случае пропажи доступа через эту площадку вас стоит искать на таком-то сайте и ссылку на ваш официальный сайт. Зависимость от сторонних сервисов, не имея запасного аэродрома, зло.
GennPen
00.00.0000 00:00+3Сделайте в боте чтобы он оставлял какую нть реакцию на сообщение когда в очередь запрос ставит. А то при долгом ответе не понятно: то ли бот призадумался, то ли еще чего.
Maxpain154 Автор
00.00.0000 00:00+1Хороший совет, сделаем. Спасибо!
GennPen
00.00.0000 00:00+1Я наверное был слепой и не видел что бот во время ожидания ответа от сервера меняет статус на "typing" и "sending a photo".
Maxpain154 Автор
00.00.0000 00:00Да, мы сделали поведение бота максимально нативным, будто бы это человек пишет)
Maxpain154 Автор
00.00.0000 00:00-1Посмотрели API. К сожалению, бот не имеет возможности ставить реакции на сообщение :(
bzbgaiehrcllx
00.00.0000 00:00+3Никто не запрещает слать сообщение вроде "Обработка..."
Maxpain154 Автор
00.00.0000 00:00Справедливо
Dmi3yD
00.00.0000 00:00Мне вот интересно, а бот еще думает или уже никогда не ответит? Прошло уже 30 минут, а если не ответит, то хотелось бы получить, что-то "Не знаю, как сделать".
nin-jin
00.00.0000 00:00+1Бот слишком занят, чтобы показать индикатор прогресса. Оставайтесь на линии, вам ответит первый освободившийся воркер.
Maxpain154 Автор
00.00.0000 00:00+1Нашёл баг, когда при таймауте на отрисовку картинки не отправляется сообщение юзеру об этом. Сейчас исправлю.
usopp
00.00.0000 00:00А как же этот метод? https://core.telegram.org/method/messages.sendReaction
Maxpain154 Автор
00.00.0000 00:00+1Это метод для клиентов Telegram, не для ботов.
Вот документация API для ботов:
Ninil
00.00.0000 00:00+6Статья уровня VC.RU
Все же Хабр - не жалобная книга. Или уже ... ?
savostin
00.00.0000 00:00+7Бота разбанили и вот уже "Я пиарюсь" ;)
engine9
00.00.0000 00:00+13Один и тот же сценарий раз за разом о людях, доверившихся чужой экосистеме целиком.
0xC0CAC01A
00.00.0000 00:00-1Надо чтоб было законодательство, позволяющее бить экосистемам по рукам, чтоб если забанили без реальной причины, то выплачивали компненсацию.
spacediver
00.00.0000 00:00Следующий вопрос напрашивается, извините ;)
А кто будет бить по рукам тех, кто бьёт по рукам экосистемы, чтоб если бьют без реальной причины, то выплачивали компенсацию?..
AndreyYu
00.00.0000 00:00Я смотрю, что без премиума нельзя делать анализ видео пр ссылке. Как бы лучше хотя бы пару видео разрешить, а то получается как будто о фиче зачвили, но то что она по примиуму успешно скрыли и в простой версии даже не пощупать
CKA304HUK
00.00.0000 00:00+14Как вы соответсвуете пункту 9.i правил использования openai api? https://openai.com/policies/terms-of-use
avengerweb
00.00.0000 00:00+2А как они могут ему соответствовать? Можете в OpenAI написать да ссылочку приложить им вежливо напишут, что долллары им такие не нужны. Или прям в OFAC чтобы совсем по фану(не вежливо), так как ребята деньги берут из эмбарго страны и платят OpenAI. Это же считай OpenAI сразу имеет бизнес в России через посредников, во как! Дивный новый мир!
Nemezis_SF
00.00.0000 00:00+1Да никак, собственно они нас отменяют и расчеловечивают. С чего это мы должны о них переживать? Это сугубо их личные проблемы.
p07a1330
00.00.0000 00:00+3Действительно, за что же...
Kenya-West
00.00.0000 00:00-2Точно не за СВО и отсутствие демократии в стране, точно не из-за этого, да...
imjustwatching
00.00.0000 00:00+7Содержание заголовка: "МЕНЯ РАССТРЕЛЯЛИ!!!"
Содержание статьи: "на самом деле нет"
Ну и способ попиариться вы выбрали конечно, мне было бы стыдно)
Maxpain154 Автор
00.00.0000 00:00+3на момент написания статьи пиарить было уже нечего, мы всеми силам искали способ достучаться до ребят из телеграма, эта статья помогла нам это сделать.
imjustwatching
00.00.0000 00:00+1однако целиком полное подробное описание всех функций и тд даже скрины в полный рост все осталось) про само ущемление вашего бота 20% остальное 80 это поверпоинт презентация какие вы молодцы, я не спорю вы молодцы, но ваш способ пиара....
D1m1tr4dz3
00.00.0000 00:00Телега - централизированная платформа Дурова (он первое время бз Русского клиент деплоил)...
Может сразу зеркала в irc, open source, emal, etc?
nin-jin
00.00.0000 00:00-3Завязывать свой бизнес на площадку - игра с огнём. Людям не нужны боты, им нужен простой, быстрый и удобный интерфейс без геморроя с регистрацией и впн-ами. Давайте я вам лучше запилю нормальное PWA приложение? Вот, для примера, я недавно сделал парочку за вечер: lingua.hyoo.ru - удобный переводчик, artist.hyoo.ru - гугл от мира text-to-img. Но там используется очень тормозное бесплатное API, так что не особо юзабельно.
Maxpain154 Автор
00.00.0000 00:00Людям удобней использовать ботов, поскольку в них из коробки уже понятный, привычный и переиспользуемый нативный интерфейс Telegram. Плюс бот легко встраивается в общение с друзьями или коллегами в групповых чатах. Также от бота очень легко пересылать сообщения другим людям, записывать голосовые и слушать ответ голосом. Мне гораздо удобней его использовать, нежели отдельное приложение или веб-сайт. В конце концов общение с ботом — диалог, а никто сейчас лучше Telegram'a интерфейс диалогов пока не реализовал.
nin-jin
00.00.0000 00:00-4Ну раз всё так радужно, то ждём и гуглбота в Телеграм, чтобы одни люди наперебой публично общались с ботом, делая и уточняя к нему запросы, выискивая глазами его ответы именно на свои, а другие специально включали уведомления, чтобы за этим наблюдать. Это же всё так увлекательно и удобно. А если серьёзно, то пересылка сообщений, распознавание и синтез голоса - не рокет-саенс для веб приложений.
Maxpain154 Автор
00.00.0000 00:00Я не говорю что нужно любое приложение делать Telegram-ботом, речь-то про диалоги с GPT.
Self_Perfection
00.00.0000 00:00А чего ссылку на бота не даёте? Так просто не найти:
Maxpain154 Автор
00.00.0000 00:00+2Правильное название — GPTaskBot
PaulIsh
00.00.0000 00:00А вы всем будете в личку отправлять ссылку? Я тоже поискал и не нашел.
Cerberuser
00.00.0000 00:00+1В статье есть ссылка на лендинг, в нём, в свою очередь, на бота. Но, да, не совсем очевидно.
rodion-m
00.00.0000 00:00Спасибо, пригодится друзьям в РФ. Кстати, для модели GPT-4 вы Reverse Engineered апишку используете?
Maxpain154 Автор
00.00.0000 00:00К GPT-4 нам дали доступ, поэтому используем официальный API. Но проблема в том, что оно стоит в 20 раз дороже чем GPT-3.5 и отвечает гораздо медленней. Поэтому пользователям доступ к GPT-4 пока не даём.
Maxim_Q
00.00.0000 00:00Я верно понимаю, что вы используее щас только оффициальный API v3.5 от OpenAI? Как вы разделяете запросы от пользователей чтобы ответы не пересекались? Можете рассказать подробнее как устроена работа через API и как идет это разделение?
Maxpain154 Автор
00.00.0000 00:00Да, верно. Для каждого отдельного чата мы храним историю обращений к боту и ответов от GPT, чтобы при очередном вопросе передавать эти сообщения в контекст. Причём в GPT для каждого сообщения можно передавать username того, кто именно задаёт вопрос (удобно для групповых чатов).
muraview
00.00.0000 00:00По распознаванию речи. Vosk (alphacephei.com/vosk/index.ru) точнее чем Whisper распознает русскую речь, у меня оба есть на домашнем пк. Сначала, из-за скорости распознавания на GPU, использую Whisper (модель Large), если распознавание неудачное или бредовое, то тогда Воск (модель vosk-model-ru-0.42).
Maxpain154 Автор
00.00.0000 00:00А как вы понимаете что распознавание "неудачное или бредовое"? Какие инструменты для этого используете?
stgmakarov
00.00.0000 00:00А почему в статье нигде не указано, что бот работает на устаревшей GPT 2, а не на GPT 3.5 или 4? Вот ответ бота: Я являюсь предобученной языковой моделью GPT-2, которая была разработана компанией OpenAI. Моя нейронная сеть состоит из 1,5 миллиарда параметров и обучалась на огромном количестве текстовых данных из интернета. Хотите узнать больше об архитектуре GPT-2 и моих возможностях?
Maxpain154 Автор
00.00.0000 00:00Мы используем модель gpt-3.5-turbo.
Как мне ещё вам доказать?) В вашем случае использовалось наше дефолтное system-сообщение (инструкция):
Ты телеграм бот GPTask @GPTaskBott), ты должен помогать и отвечать на любой вопрос пользователя. Ты можешь написать программу, помочь пользователю. Давай только корректные ответы. Никогда не говори что ты большая языковая модель. Сегодня: 3/20/2023
Может быть оно сбивает с толку GPT, я не знаю, это чёрный ящик.
Maxpain154 Автор
00.00.0000 00:00+1Смог воспроизвести этот кейс в Open AI playground'e. Думаю нам стоит убрать из инструкции для GPT слова "Никогда не говори что ты большая языковая модель"
AndronNSK
В начале я читал не понимал, зачем это нужно, а потом как понял...
VadimVP
Я не понял, нужно объяснение.
marcbook
Вместо того, чтобы регистрироваться на сайте OpenAI (что для многих людей сопряжено с танцами с бубном), вы просто отправляете запрос данному боту. Бот перенаправляет ваш вопрос в ChatGPT, а полученный от него ответ перенаправляет вам.
Т.е. вы просто используете ChatGPT "без регистрации и смс".
Balling
Есть же просто poe.com.