Приложение (работает в браузере) https://beresta.app/

Google play: ССЫЛКА

Сгенерировать свою историю: ССЫЛКА

Недавно я делал обновления для своего приложения под НГ 2024. Где на основе написанных заметок пользователя за год, chat gpt придумывает небольшой рассказ (выдуманную историю). Если вы пользуетесь берестой или хотите попробовать ссылка выше.

В ходе интеграции своего приложения с чатом гпт, я немного преисполнился. Нашёл для себя кучу вариантов, как чат может сделать лучше почти любой проект. Более того, я считаю, что не только можно, но и нужно внедрять чат ГПТ в ваш проект уже сегодня. Он сделает ваш продукт сильно конкурентнее других подобных.

План

  • Варианты использования в вашем проекте

  • Пройтись по технической части (как подключить, если ты в России)

Как можно использовать в ваших проектах

Представим, что у вас получилось настроить. Как мы это будет использовать.

Выбор действий

Представим у вас есть выбор действий (например, это чат бот телеграм). Вот примеры как это может работать.

Поражает его точность, даже когда человек пишет совсем не подходящий текст, он подбирает максимально подходящий вариант из предложенных.

Калькулятор

Теперь можно не писать сложные алгоритмы, для вычисления стоимости чего-бы то ни было. Можно просто забить все данные в чат. Он максимально удобно расписывает для клиента. Единственное, я бы указал, что иногда цена может отходить от реальных значений, так как чат в теории может ошибиться.

Развлечение

Например, можно выводить краткие фразы, при загрузки интерфейса.

Еще немного текста от меня

Короче говоря, вариантов масса. Это только то, что мне пришло в голову. В своём проекте я придумал генерировать сказочную историю, исходя из истории ваших заметок записанных за весь год. (приложение береста - это приложения для ежедневного тайм менеджмента, записывать заметки короче).

Подключаем CHAT GPT API к вашему проекту

Регистрация

Как вы уже все знаете, для регистрации обязательно подтверждать номер телефона, а русские номера телефона не даёт вводить. Поэтому, лучший способ, сначала зарегистрировать левую почту, где угодно (например можно даже на рамблере или mail.ru ахаххаха). Затем зарегистрироваться в любом сервисе отправки разовых смс (можете так и искать в гугл), как пример я использовал https://sms-activate.org/ . 1 смска - 3 рубля. Я закинул на счёт 50 руб. год назад, до сих пор так 47 рублей и лежит. Далее нам нужен любой vpn (главное не из России).

Порядок действий: включаем vpn -> переходим по ссылке https://chat.openai.com/ -> подтверждаем левую (зареганную) почту -> на сайте отправки смсок, покупаем 1 номер любой страны (я выбирал Малайзию, там слева есть поиск, вводим openai он находит кнопку), вам выдают номер телефона, вводите его, на сайте появится код, который вы и введёте.

Почему лучше зарегистрировать новую почту специально для chat gpt? На самом деле можно и нет, но на всякий случай, так как телефон вам не принадлежит и по идее восстановить пароль в теории кто-то сможет и проникнет к вам в аккаунт. Лучше чтобы вашу реальную почту никто не знал. Но я лично пользуюсь таким способом уже год и ничего не произошло.

API CHAT GPT - платный

Сразу оговорюсь, что API платный (не смотря на то, что сам чат версии 3.5 бесплатный). Для того, чтобы оплачивать, вам также нужна не Российская карта. Самый рабочий вариант для меня, это pst.net . Там вы можете зарегистрировать банковскую карту иностранную, вообще даже без паспорта, только надо поставить галочку, что вы не из России, при регистрации, иначе не даст зарегистрироваться. Но есть куча подводных камней в виде комиссий. Дерёт вообще за всё. Могу ошибиться в цифрах, по моему 8% при пополнении карты, 3% при по полонении счёта (а вам сначала нужно пополнить счёт, затем карту). Короче любое движение денег это нормальный процент. По опыту могу сказать, я бы сразу закидывал туда в 1.5 раз больше, чем планирую потратить (пополнение по крипте). Либо же ищите другие более адекватные варианты. Этот варик для тех, кто не хочет даже вводить свой паспорт никуда.

Тарифы (по курсу 1$ = 91.23 ₽) (здесь учитывается 500 токенов ввода и 500 токенов вывода) :

  • GPT-3.5 Turbo (самый простой) - 0.35 ₽ за 1000 токенов

  • GPT-4 (самый крутой) - 16.42 ₽ за 1000 токенов

  • DALL·E 3 (генератор картинок) - 7.30 ₽ за картинку в разрешении 1024×1792, 1792×1024

Что такое токен?

Если говорить строго, то чат разбирает ваш текст на токены. Иногда он может равняться одному символу, иногда слогу, иногда целому слову, но бывает даже так, что токен меньше чем один символ (чаще всего китайские иероглифы). Это зависит от языка. Переход к токенам позволяет чату работать более эффективно на любых языках. Для примера, как показано на официальном сайте текст: "ChatGPT is great!" преобразуется в следующие токены ["Chat", "G", "PT", " is", " great", "!"]. Если писать на русском, то чаще всего количество токенов равняется количеству слов +-10%. То есть, если примерно считать 1 токен = 0.5 слов (давайте занизим специально). То при использовании обычной версии чата, за каждые 500 слов вы платите 35 копеек. (В моем случае этого хватает на 3-4 запроса). То есть на мой взгляд не дорого. Важно помнить, что токены считаются на вход и выход. То есть если вы отправите огромное эссе и попросите озаглавить его, то вы вводите много токенов, но если попросите написать эссе, то выводите много токенов. И первом и втором случает будет много токенов. Но за вывод цена в среднем в 2 раза дороже. В своих тарифах я учитывал стоимость, что вывод и ввод примерно одинаковы.

Если считать очень грубо, например, вы делаете запросы по 250 слов на каждого пользователя за 1 раз. У вас онлайн ежедневный 100 пользователей, которые 2-3 раза используют API в день. Получаем.

( (100 пользователей * 3 раза использований * 250 слов) / 500 слов ) * 0.35 рублей = 52.5 рубля в день

Здесь я цифры специально завышал, на самом деле, если делать более точные запросы, слов будет даже меньше 100 и уже цену можно делить на 2.5 .

Код

Чтобы начать кодить, нужно сначала получить ключ api. Это очень просто, переходим по ссылке https://platform.openai.com/api-keys , нажимаем кнопку create new secret key. Далее, так как я пишу на node.js примеры буду показывать с node, но также на сайте вы можете посмотреть примеры на питоне и других языках https://platform.openai.com/docs/quickstart .

Вам нужно установить пакет openai:

npm i openai

Пробуем отправить первое сообщение

import OpenAI from 'openai';

const openai = new OpenAI({ apiKey: 'ВАШ АПИ КЛЮЧ' });

const sendMessage = async (text) => {
  const stream = await openai.chat.completions.create({
    model: 'gpt-3.5-turbo',
    messages: [{ role: 'user', content: text }],
    stream: true
  })
  let answer = ''
  for await (const chunk of stream) {
    answer += chunk.choices[0]?.delta?.content || ''
  }

  return new Promise(res => res(answer))
}

sendMessage('Напиши микро текст про русов').then(response => console.log(response))

// ОТВЕТ У МЕНЯ ПОЛУЧИЛСЯ ----------- Русы — народ с богатой историей и глубоким культурным наследием. Их вклад в мировую литературу, искусство и науку невозможно переоценить. Русы известны своим гостеприимством и душевностью, которые отражаются в их традициях и обычаях. В их языке звучат мелодии тысячелетий, а в глазах отражается душа народа, пройденная через времена и испытания.

В данном коде текст возвращается, после того как полностью написан ответ, но API поддерживает стрим, то есть вы можете прям в момент написания текста отправлять части текста, которые уже написаны были только что. Как вы видите, я просто к переменной answer добавляю строку и жду пока она полностью напишется, но вы можете создать стрим в rxjs например и отправлять кусками в этот поток.

Вывод

На данный момент большинство платформ и компаний всё еще не использует искусственный интеллект в своих проектах. Это большое преимущество для вас. Даже на примере только с ChatGPT 3.5 возможности кажутся безграничными. Если грамотно ставить вопрос и то, что мы хотим получить от него.

Я уверен, что уже в очень ближайшем будущем (3-5 лет). Все проекты, просто будут каждую деталь заменять ИИ. Поэтому я вам советую начинать коннектить, прямо сейчас. И пробовать находить рабочие решения.

Вот вам еще идеи, как можно использовать:

  • как поисковик / справочник

  • как консультант (хотя во многих чувствительных моментах он отказывается давать ответ, типа ставить диагноз или прочее)

  • генератор любого текста (пароли, рассказ, рецепт, названия/имена т.п.)

  • как тех поддержка (но здесь скорее надо использовать fine-tune модель с дополненным обучением, что является отдельной темой и довольно сложно, плюс такая модель находиться на бета тестировании)

Спасибо за внимание.

Сгенерировать свою историю: ССЫЛКА

Комментарии (6)


  1. krote
    04.12.2023 05:26
    +1

    >Единственное, я бы указал, что иногда цена может отходить от реальных значений, так как чат в теории может ошибиться.

    К сожалению чат не в теории может ошибаться, а ошибается ОЧЕНЬ часто!

    Даже в вашем примере если бегло посмотреть он умудрился получить 143 600 умножив 14 600 000 на 0.01

    Это катастрофа если честно для серьезных приложений.

    Конечно, многие бизнесы присматриваются к технологии, и думают где его применять, и скорее улучшение в математическом плане не за горами, но сейчас использовать ИИ в своем проекте надо с учетом того что выдать он пользователю может полностью не верную информацию, и хорошо если эта информация не повлечет иски для компании.

    А так в развлекательных целях - сочинить историю, это конечно)


  1. gun_dose
    04.12.2023 05:26
    +1

    Очень опрометчиво утверждать, что платный внешний сервис нужен прямо всем здесь и сейчас. При этом сервис этот скажем прямо, очень недешёвый. К примеру, если какой-нибудь платный картографический API в бесплатном приложении может окупаться за счёт рекламы, то окупаемость OpenAI для бесплатного приложения выглядит крайне сомнительно.

    Все проекты, просто будут каждую деталь заменять ИИ

    ИИ - это очень ресурсоёмкая технология, от того и дорогая. Поэтому с точки зрения бизнеса лучше заплатить один раз 1000$ программисту, чтобы он написал хороший алгоритм, не требовательный к ресурсам, чем потом всю жизнь платить 100$ каждый месяц за работу ИИ. Понятное дело, что есть задачи, где без ИИ не обойтись: например распознавание изображений. Но что касается, к примеру, онлайн-консультантов, то лучше сразу дать пользователю выбор из нескольких кнопок: "просмотреть баланс", "открыть кошелёк" и т.д., чем заставлять юзера печатать какой-то текст. То есть, в конкретном примере, если отказаться от ChatGPT, то во-первых, значительно улучшится UX, во-вторых, сэкономишь деньги.

    Аналогично и в примере с калькулятором: отказавшись от ИИ во-первых увеличиваем точность расчётов, во-вторых, увеличиваем скорость расчётов, и в третьих, экономим деньги.

    Вывод: чем больше приложений сейчас на волне хайпа внедрит ChatGPT, тем больше работы у программистов будет в будущем, чтобы переписать это всё по-нормальному.


    1. janvarev
      04.12.2023 05:26

      Тестировал на своей проекте в примитивном варианте: в контекст (12000 символов) засовывается инфа о сервисе, юзер может задавать вопросы. Без поиска, RAG и пр.

      Цена вызова за вопрос - 1.7 рублей, зато юзер может реально самые разные вопросы задавать. Имхо это дешевле; а на все вопросы "а когда вы доставляете", "а что включено в тариф X" кнопочек не наделаешь.


      1. gun_dose
        04.12.2023 05:26
        +1

        Мне, как пользователю, удобнее и быстрее кликнуть на кнопку "Информация о доставке", чем вводить в окошко чата вопрос из нескольких слов. Это я уже не говорю о том, что ChatGPT не покажет карту с зонами доставки.

        Цена вызова за вопрос - 1.7 рублей

        Это недорого, скажем, если использовать это в онлайн-чате интернет-магазина. Но для бесплатного приложения с монетизацией только за счёт рекламы такая цена запроса означает 100% работу в минус.


        1. janvarev
          04.12.2023 05:26
          +1

          Не, обычно есть и "Информация о доставке", просто часть пользователей всё равно её не видит, равно как и других страниц. Поэтому приходится делать "ответы на вопросы в свободной форме"

          Это недорого, скажем, если использовать это в онлайн-чате интернет-магазина. Но для бесплатного приложения с монетизацией только за счёт рекламы такая цена запроса означает 100% работу в минус.

          Вот с этим да, полностью согласен - это под коммерческое использование.


  1. janvarev
    04.12.2023 05:26

    Насчет доступа к OpenAI API - товарищи, есть отечественный проект, без всяких зарубежных номеров и прочих проблем: https://habr.com/ru/articles/762248/ - и с кучей разных сеток на любой вкус, не только ChatGPT.

    Кстати, буквально вчера туда подрубили Perplexity API - это такие товарищи, которые объединили LLM с поиском в интернете, и сначала ищут по вашему запросу актуальные факты, а уже потом генерируют по ним текстовый ответ (что в большинстве, в общем-то решает проблемы галлюцинаций). Мне оно рассказало, какая сегодня погода в Москве, и какой курс доллара (оба верно) - т.е. получение актуальной инфы работает.