В настоящее время использование генеративного искусственного интеллекта в бизнесе, как правило, связано с большими и очень большими компаниями. С теми, кто, как говорится, «может себе позволить». А может ли малый бизнес позволить себе использовать искусственный интеллект в работе уже сейчас? Давайте разбираться с конкретными цифрами
Я заранее извиняюсь за то, что прежде, чем мы дойдем до цифр будет более или менее продолжительное вступление. Но без него будет непонятно, откуда эти цифры берутся.
Допустим у нас точка общественного питания с несколькими сотнями чеков в день. Мы хотим задействовать искусственный интеллект в первую очередь для приема, оплаты и выдачи заказов. Но не только. Такие административные функции, как добавление новых товаров, установка цен на товары, изменение статуса заказа, получение произвольной аналитики по заказам, все это тоже будет задействовать искусственный интеллект.
Звучит впечатляюще? Но технически здесь все относительно несложно. А что касается обучения пользователей, то оно не потребуется вовсе.
Выглядит это так. У нас есть бот. Далее я буду показывать работу бота в Телеграм. На практике лучше иметь два бота (Телеграм+WhatsApp), но концептуально от наличия двух ботов вместо одного ничего не изменится, в том числе и в цифрах. Работа начинается с того, что администратор заводит ассортимент, предлагаемый на точке. Как он это делает? Как принято сейчас выражаться: «словами, через рот».
Здесь я произношу примерно следующее: «добавь товар ххх цена ууу». Обратите внимание, прелесть ИИ заключается в том, что кто бы ни был администратором, его не придется учить добавлению товаров. Он может сказать по своему: «новый товар», «создай новый товар», «а теперь еще товар»... оно все поймет.
Как бы это ни казалось странным, но подготовительные действия на этом заканчиваются и мы уже можем принимать посетителей.
Посетителям тоже долго объяснять ничего не надо. Вот вам бот, говорите, что вы хотите.
Здесь я в нормальном темпе говорю: «одно клубничное одно ванильное два мокко... а нет, нет... не надо мокко... два американо». Как видите, заказ создается без проблем.
В тот же момент администратор видит его на своем устройстве.
Когда заказ будет готов, администратор сообщает об этом боту, опять же в произвольной форме.
А посетитель тут же видит у себя соответствующее сообщение
Вот такая у нас будет примерная схема работы. Обратите внимание на то, что она действительно примерная. На практике она может быть реализована в различных вариантах, например, с указанием стола, на который надо принести заказ. Также для простоты я пропустил прием оплаты после нажатия кнопки «Подтвердить». Все это несущественно для целей данной статьи. А к ним-то мы наконец и подошли.
Кто и сколько захочет с нас взять за это чудо человеческой мысли? Начнем с Телеграм и Whatsapp. Телеграм не возьмет с нас ничего. Телеграм вообще никогда ничего не брал за пользование ботами. Ребята из Whatsapp одумались совсем недавно, 1 ноября 2024 года, и перестали брать с бизнес-аккаунтов деньги за общение с клиентами. В том случае, если клиент первый начал, а это как раз наш случай. Правда они все еще хотят ежемесячную плату за сам бизнес-аккаунт и доступ к API. В настоящий момент она составляет от 4800 до 6000 руб. в месяц в зависимости от количества оплачиваемых месяцев. Ждем, когда Телеграм откусит еще больше у WhatsApp и они перестанут жадничать на пустом месте. Далее следуют провайдеры искусственного интеллекта и они же по совместительству провайдеры распознавания речи. Здесь у нас и будут основные затраты.
Вот она таблица с цифрами
Первые 10 строк относятся к действиям администратора, когда он добавлял пять товаров.
Следующие две строки относятся к действиям посетителя, когда он делал заказ. И, наконец, последние две строки, это снова администратор, закрывающий заказ.
Три колонки с цифрами означают: входные токены, выходные токены и секунды распознавания речи. Все они тарифицируются отдельно (как правило, Яндекс, например, сейчас не делит токены на входные и выходные). Начнем с токенов. Обратите внимание, что количество входных токенов для первых пяти операций растет. Это связано с тем, что растет список товаров. Мы должны передавать его на вход при каждом запросе. Как видите, с каждым новым товаром, количество токенов возрастает на величину от 5 до 14. В нашем примере всего 5 товаров. Если увеличить это число до, скажем 50, тогда и количество входных токенов возрастет до 500 и более. Оставим некоторый запас на увеличение ассортимента и будем считать, что на входе у нас будет порядка 1000 токенов на один запрос.
Выходные токены выглядят скромнее и к тому же их величина не будет зависеть от количества товаров. Для нас это хорошая новость, потому что у большинства провайдеров выходные токены стоят в разы дороже входных. В среднем у нас будет порядка 50 выходных токенов на один запрос. Всего запросов в день будет около тысячи (несколько сотен чеков, плюс столько же запросов на закрытие, плюс некоторое количество административных запросов). Получается миллион входных токенов и 50 тысяч выходных. А сколько стоит один токен? По одному их не считают, а считают сразу миллионами, реже тысячами и сейчас вы поймете почему. У модели GPT-4o-mini от OpenAI, а именно ее я здесь использовал, миллион входных токенов на момент написания статьи стоит... 15 центов.
И это еще без учета кеширования, которое OpenAI делают в автоматическом режиме. Т.е. по факту это будет еще меньше. Миллион выходных токенов стоят аж 60 центов. Но у нас их всего 50 тысяч, что в итоге даст всего 3 цента. Итого за день на входные и выходные токены мы потратим не более 18 центов. Выглядит как «аттракцион неслыханной щедрости». Но у провайдера все в порядке с прибылью. Вычислительные мощности, которыми он располагает, воистину циклопические и позволяют ему без проблем обслуживать сотни миллионов таких, как мы.
У нас остаются еще секунды распознавания речи. В моем примере на заказ потребовалось 6 секунд, при том, что я по ходу передумал и часть заказа отменил, а потом добавил еще что-то. Кто-то из посетителе будет заказывать в несколько раз дольше. С другой стороны, на закрытие заказа администратором, а это около половины запросов, будет уходить 2 секунды. Будем считать в среднем по 10 секунд на запрос и, соответственно, 10 тысяч секунд в день.
У OpenAI одна секунда распознавания стоит 0.01 цента.
10 тысяч секунд обойдутся нам в 1 доллар. Итого все наши затраты на провайдеров за день работы не превысят 1.18 доллара.
Конечно, владелец бота (и он же посредник между бизнесом и провайдерами) захочет «накинуть» что‑то сверху на эту сумму. Но плотная конкуренция в этой области, которая не заставит себя ждать, не позволит ему уж слишком задирать свой процент. В целом можно принять за ориентир сумму в 2 доллара в день. Примерно столько будет стоить использование технологии искусственного интеллекта для малого бизнеса.
Комментарии (43)
poro_ku
09.12.2024 00:23А по хорошему надо всё дублировать, использовать и 4omini и gemini если 4o не отвечает. И телеграм в этом смысле не очень, если он упал то он упал и ничего с этим не поделаешь Ж(
titulusdesiderio
09.12.2024 00:23Любая ИТ система проектируется так, чтобы падение даже количество сервиса не останавливало бизнес. В данном случае ничто не мешает официанту в условии отсутствия телеграмма/васапа или ИИ, вбить провести заказ вручную через ркипер или 1с или что там под капотом.
slavakostin
09.12.2024 00:23Здрасьте - а где бухгалтерия? сопряжение с 1С?
Толку от этих текстиков???titulusdesiderio
09.12.2024 00:231с, например, в качестве бекофиса. А статья не про замену 1с или ркипер, а про добавление нового интерфейса взаимодействия на базе ИИ.
slavakostin
09.12.2024 00:23Интерфейс - он между чем и чем?
exwill Автор
09.12.2024 00:23Скажем так, между человеками и базой данных
slavakostin
09.12.2024 00:23Ну и где эта база???
exwill Автор
09.12.2024 00:23На сервере. Что за вопрос?
slavakostin
09.12.2024 00:23Понятно, расходимся. Это даже не рекламный бред - это сознательный ввод в заблуждение.
exwill Автор
09.12.2024 00:23Мне кажется, вы мистифицируете учет. Там нет ничего сложного. Тем более, для малого бизнеса.
База действительно лежит на сервере. Что еще нужно для учета, по вашему?
exwill Автор
09.12.2024 00:23Так. А зачем малому бизнесу 1С? Чтобы что? Сложить два и два, а потом сделать xml файлик для налоговой? Так это и без 1С делается
slavakostin
09.12.2024 00:23Телеграм этот файлик для налоговой сделает? Малому бизнесу как и любому нужен учет товаров и приход/расход.
После статьи появилось сильное подозрение что сопряжение с учетом намеренно выведено из статьи и будет стоить как крыло от боингаexwill Автор
09.12.2024 00:23Элементы учета я вам в самом начале показал.
"добавь товар кофе мокко цена 130"
или
"пришел товар кофе в зернах 10 кило по цене 1200"
какая тут принципиальная разница? Скажу вам сразу: никакой
Поэтому стоить это будет все те же 2 доллара в день.
slavakostin
09.12.2024 00:23Вы или издеваетесь - или это скрытая реклама. Бизнесу нужны не элементы а именно учет. У всех есть какой-то софт (и много данных). Как Ваша система туда воткнется? Или заменит весь учет целиком?
flancer
09.12.2024 00:23Я использую встроенное STT-преобразование на стороне мобильного телефона для набора голосом. И Андроид, и Айфон справляются с русских хорошо. В LLM можно отправлять уже готовый текст. А это - минус $1 из $1.18. Спасибо за статью!
exwill Автор
09.12.2024 00:23Вот, кстати да. Но пока еще можно ожидать, что наш посетитель тупо отправит голосовое боту
shadrap
09.12.2024 00:23интересно бы послушать про хоть какой-то реальный кейс. например %% ошибок,как ретрансмируемых так и фатальных. с карточкой 1с то не сложно соединить , другое дело контроль - что там не насоздается море чего-то лишнего
titulusdesiderio
09.12.2024 00:23У нас в компании используется ИИ для категоризации лидов. Реальный процент ошибок на практике в бою: 5-10%.
Есть необычная статистика: хуже всего он справляется в понедельник и лучше всего в четверг.Такой процент ошибок уже позволяет его использовать в действующих бизнес процессах.
А в кейсе из статьи есть шикарный читкод: возможность проверки, корректировки и подтверждения заказа автором - это нивелирует ошибку
shadrap
09.12.2024 00:23СПасибо, интересно, а в какой области продажи? ИТ ? А вот эта необычная статистика она не траффик зависима?
titulusdesiderio
09.12.2024 00:23ИТ. Возможно дело в трафике, слишком дорого проверять. Но если честно, сомневаюсь. Трафик слишком случайный, чтобы у него была такая специфика
exwill Автор
09.12.2024 00:23Можно опять же у ИИ попробовать спросить, чем принципиально входной поток понедельника отличается от потока четверга
exwill Автор
09.12.2024 00:23Делал прием заказов для хлебокомбината. Процент ошибок зависит от того, какого провайдера ИИ выбрать. С Яндексом было много, с OpenAI менее 5%. Тут надо понимать, что распознавание речи всегда дает процентов 8-10% ошибок (для русского языка, для других проценты другие, но в основном еще хуже или катастрофически хуже) И дальше вопрос уже в качестве LLM. Насколько стоящая на следующем шаге LLM способна "скушать" эти ошибки и понять о чем идет речь.
mixsture
09.12.2024 00:235% это довольно много. Для человеческого ввода эмпирической нормой считаю 1% (одна ошибка на 100 операций), да и то в учетных системах все обставляется дополнительными проверками, чтобы этот 1% кардинально снизить: например, тот же контроль остатков товаров на складе при списании - единственная его функция, это снизить число ошибок.
temadiary
09.12.2024 00:23и какова цена ошибки будет при использовании внешнего не контролируемого сервиса?
риск менеджмент то был?
R0uT3r
09.12.2024 00:23Я возможно не понял сути статьи, но зачем создавать магазин в telegram/WhatsApp, диктовать заказ голосом, распознавать эту аудио мешанину и т.д. Если можно создать условное веб-приложение (которое можно так же запустить в telegram, если уж вам так хочется) , где пользователь будет тыкать кнопочки, видеть картиночки, во время надиктовки заказа не забудет содержание корзины (по крайней мере сможет посмотреть), а также сможет сразу видеть статус своего заказа. Возможно дело в цене, ведь обслуживание всего 2 доллара в день, однако тут встаёт вопрос удобства пользователей. Лично я скорее закажу напрямую на кассе/в приложении, чем буду надиктовывать заказ (вероятно в шумной обстановке).
xSVPx
09.12.2024 00:23Они каких-то сотрудников хотят заставить этим пользоваться. Наверное сотрудники читать и писать не могут.
Надо сказать, что уже много лет назад меня поразил таксист. Узнав адрес он сказал навигатору что-то совершенно нечленораздельное на смеси якутского с арабским, но навигатор адрес всё равно понял.
Так что может вполне взлететь так, что с каким-нибудь официантом придется жестами объясняться...
exwill Автор
09.12.2024 00:23Что предпочтет пользователь в массе своей, это вопрос на данный момент открытый. По моим личным ощущениям говорить, это процесс менее энергозатратный, чем тыкать в приложении. К тому же, у использования персонального устройства есть специфические плюсы. Например, клиент может прийти в кафе и сказать просто "мне как всегда". И это уже точно будет удобнее тыкания
lesa80
09.12.2024 00:23Вы даже не представляете какое кол-во людей общается голосовыми сообщениями.. дай им волю и заказ они будут оформлять ровно вот так - голосовым сообщением. Тыкать в картинки/кнопки на экране это для них сверх напряжение, что уж говорить про тыкать в буковки.
Ну а в целом технология интересна и может пригодиться много где.
mixsture
09.12.2024 00:23Я еще вижу при работе с LLM проблемы с тестированием. Для четких алгоритмов у человечества уже есть навык определения граничных случаев и состава тестов для проверки. Что делать с LLM? По опыту общения с chatGPT - не так уж просто заставить его не терять смысловые куски... вроде вот на маленьком примере все хорошо работает, а подаю на вход побольше данных и что-то из контекстного окна модели начинает выдавливаться и результат уже совсем другой. Как тесты под это писать? Забрасывать это все тестами на все возможные размерности входных данных? Это прям на порядки больше тестов должно быть.
Да и как проводить тесты, если норма ошибок 5%? Возможно ли вообще их будет привести к "все успешно прошли"?
event1
09.12.2024 00:23Сначала одни дьяволопоклонники придумали эти голосовые сообщения, теперь другие предлагают вокруг них строить интерфейс. Воистину, настают последние дни!
Если серьёзно, то про цену вы тут хорошо рассказали, а выхлоп из всего этого какой?
nApoBo3
09.12.2024 00:23Тадам, использование иностранных месседжеров для бизнес целей в логистике и доставке планирую запретить.
UnknownMe
09.12.2024 00:23В чем смысл использования 4o если с подобными задачами справится даже LLama (которую кстати можно развернуть локально и в долгосрочной перспективе это выйдет сильно дешевле)?
exwill Автор
09.12.2024 00:23Справляется, но как показала практика, недостаточно хорошо для бизнес-целей. Пробовали с клиентами и Yandex и LLama, в результате отказались в пользу OpenAI.
И, кстати, как это вы так посчитали, что выйдет дешевле? Насколько мне известно, выйдет дороже. Причем сильно дороже, можно сказать, что неподъемно для малого бизнеса
poro_ku
09.12.2024 00:23При стоимости запроса к нормальной модельке меньше 5 копеек дешевле не выйдет никогда.
Red-Bot
09.12.2024 00:23Нет проблем написать интеграции для доп софта, 1С и прочего, бы ло бы правильное Т.З.
И уповать на искусственный интеллект не стоит, он тоже может ошибаться , и ошибается .Если нужно проверить и зажать в рамки с помощью удобного для вас языка программирования , можно получить желаемый результат.
А после принять решение, что все нужно переделывать.
poro_ku
google gemini flash стоит в 2 раза дешевле чем 4o mini и при этом может принимать на вход сразу аудио файлы, то есть из процесса можно убрать whisper