Как и все новое, искусственный интеллект, вызывает настороженное отношение. Стоит только заговорить о применении этой технологии в бизнесе, как обязательно возникнет кто‑нибудь, кто скажет, что все это небезопасно. Потому что... А дальше будет много аргументов, но все они будут достаточно далеки от реальной деятельности. Просто «размышления на тему». Думаю, вам будет интересно познакомиться с реальным кейсом.
Сделал для компании, которая занимается сдачей авто в аренду, виртуального приемщика заказов через Телеграм. Человек общается в свободной форме с чат‑ботом. В процессе общения, бот выясняет какой автомобиль и когда нужен человеку (ну, или выясняет, что никакой не нужен, человек просто интересуется условиями и ценами, тогда бот вежливо подскажет). Выяснив что нужно и проверив доступность на указанные даты, бот предлагает сделать заказ. Штука насколько простая, настолько и удобная. Большинство прокатных контор (не агрегаторов) не имеют возможности содержать кол‑центр 24/7. Звонки принимает все тот, же человек, что выдает‑принимает машины, считает деньги, да и просто сейчас говорит с другим клиентом. Разумеется, звонки при этом пропускаются. А с ботом таких проблем нет. Он может в любое время суток поддерживать беседу сразу со множеством людей.
Но речь не об этом. В самый первый день стучится в бот один такой персонаж. И с порога пишет /admin. Вот ты умный какой! Это, разумеется моя эмоция, возникшая в процессе чтения лога. Бот на эмоции не отвлекается. Спокойно спрашивает: «так автомобиль‑то тебе какой нужен?» Человек не сдается, пишет /админ, а потом еще #админ. С тем же самым результатом. Тут вспоминается классика позднесоветского кинематографа
— Урри! Выясни, где у него кнопка!
— Да нет у него никакой кнопки!
Действительно, в моем решение админские команды подаются все также голосом (или текстом) в свободном формате. Никаких «заклинаний» внутри моего решения в принципе не существует, а значит и нет никаких backdoors.
Все это немножко смешно. И, казалось бы описывает частный случай, но я думаю, что обобщения здесь уместны. Мы, разработчики решений на базе искусственного интеллекта, в конечном счете сокращаем расстояние между пользователем и полезным эффектом.
При всем моем уважении к ребятам, которые занимаются информационной безопасностью, их существование обусловлено отчуждением пользователя от полезного эффекта. Между первым и вторым сейчас библиотека на библиотеке и решение на решении. И везде есть свои «заклинания», backdoors или просто «дырки» от недосмотра. Безопасники, в каком‑то смысле паразитируют на этой вакханалии, которая казалось бы будет вечной.
Решения на базе ИИ по самой своей природе гораздо проще и безопаснее. А значит и поле деятельности для специалистов по информационной безопасности сужается драматическим образом.
Ранее я писал: Прощай, UX! в связи с появлением принципиально нового и более удобного интерфейса. Теперь хочется сказать: прощай, безопасность!
Комментарии (12)
basme
17.06.2025 12:32Какой-то апофеоз эффекта Даннинга-Крюгера. Ну, или, скорее, просто незамысловатый наброс. В каждом абзаце - настолько смелые заявления, что с них жир течет.
Говорите, админские команды задаются "так же голосом"? Как разграничиваете доступ к режиму админской настройки решения и его использования клиентом? Что, если клиент найдет админские команды?
Переход от одного процесса, обрабатывающего нажатие на кнопку и делающего условный insert в БД заказов к непредсказуемому, излишне обобщенному и, скорее всего, удаленному и разработанному не вами интерпретатору человеческой речи, который в итоге сделает тот же insert через API, подключенный к его второму концу - это, оказывается, "сокращение расстояния между пользователем и полезным эффектом".
Система, задающая промпты другой системе, архитектура которой незнакома в деталях разработчику, которая эволюционирует и меняется независимо от него - это, я так понял, уменьшение количества "заклинаний".
Решение, подверженное тому, что сами его авторы, будучи в здравом уме и трезвой памяти назвали "галлюцинацией" - гораздо проще и безопаснее.
Что будете делать, если логика работы с приложением не умещается в формат чат-бота? Как будете поддерживать авторизацию пользователя, если масштаб приложения вырастет (или изначально будет находиться за рамками) мощностей, предлагаемых платформой наподобие tg, в которой живет бот? Если системе потребуется хранить свое состояние, а не просто общаться с пользователем в рамках сессии, как будете валидировать консистентность хранимых данных? Что с сетевой безопасностью? Как предотвращаются DDoS атаки?
Если вы с серьезным лицом думаете, что ИБшники фильтруют ввод "/admin" в приложение, и избавление их от этой обязанности "сужает их поле деятельности драматическим образом", то, ну, наверное вам не стоит лезть с выводами в эту область - экспертизы маловато.
Если, конечно, это не наброс от "AI developer", чтобы засветить свой титул в еще одной статье.
exwill Автор
17.06.2025 12:32Много вопросов и все мимо. Ну какой-такой DDoS? Телеграм заддосят? Ну, ну. Доступ обычного пользователя к админским командам не думал, что это надо объяснять. Ну подумайте сами. Каким образом обычный пользователь получит этот доступ? С какого устройства? Телеграм сломают, устройство подменят? Опять же, ну, ну. И т.д. и т.д...
Подумайте, пожалуйста, еще раз. Я не против поспорить, но если у вас есть аргументы, хотелось бы что-то серьезное, как я в самом начале статьи и говорю
basme
17.06.2025 12:32Не Телеграм.
Еще раз. Речь не про Телеграм и диалоговых ботов в нём.
Просто поразительно, как виртуозно вы проигнорировали именно тот вопрос, который не позволил бы вам развить своё ну-нуканье.
Иногда кажется, что среди "AI девелоперов" есть отдельная секта людей, для которых современное айти - это то, что либо уже является телеграм-ботом, либо обязательно должно им стать. Оно неудивительно, ведь у нас в руках такой удобный молоток, умеющий автоматизировать диалог. Осталось найти платформу, позволяющую людям вести диалог с этим молотком, и поток гвоздей будет не остановить.
Не думал, что это надо объяснять, но не все приложения подходят для диалоговой модели с ботом. Визуализация данных, дашборды. Работа с документами. Необходимость быстро переключаться между окнами и сразу, одномоментно видеть и держать в визуальном контексте больше информации, чем умещается в окно диалога. Панели инструментов. Да просто логика взаимодействия с приложением, не укладывающаяся в формат "вопрос-ответ". Как вы представляете себе ERP-систему в режиме диалога с ботом? IDE? Фоторедактор? Серьезно, мне правда нужно приводить все эти примеры? Вы правда думаете, что все это станет не нужным, потому что мы можем поговорить с ИИ-ботом?
Я повторю вопрос из моего комментария, который оказался для вас неудобным до невидимости. Что будете делать, если логика работы с приложением не умещается в формат чат-бота? Вопрос, на самом деле, риторический, ответ очевиден: вам придётся разработать программное решение, предоставляющее вам платформу. Сетевое клиент-серверное взаимодействие, авторизацию пользователей, хранение данных, доступность и мониторинг - все те вещи, которые совершенно очевидно первыми приходят в голову любому веб-разработчику (это я вообще молчу, что вебом и разработка, и ИБ рядом с ней стоящая, мягко говоря не ограничивается). Это то, что делали и делают люди в ИТ ежедневно. Это то, что на данный момент невозможно унифицировать под одной платформой с универсальной моделью для всех потребностей. И вот в этих скрытых слоях, о которых разработчику телеграм-бота думать не с руки, и кроются все те черти, которых ловят специалисты по ИБ. Они никуда не уйдут хотя бы потому, что никакого Телеграма не хватит, если вы победите, и всё станет телеграм-ботом.
Ну и да. Телеграм заддосят. Злоумышленник получит эскалацию привилегий через уязвимость, про которую до этого никто не знал. С того устройства, на котором старая версия клиента с особенностями, которые не учли при обновлении бека. Или которое научилось имитировать другое устройство. Телеграм сломают, а устройство подменят. Почему вы так уверены, что это невозможно? Уязвимостей в крупных сервисах мирового масштаба не находили в этом месяце? Уже сам тот факт, что вы так решительно отметаете эту возможность, говорит о том, что про то самое ИБ, о кончине которого вы так уверенно рассуждаете, вы не знаете вообще ничего, начиная с его основных принципов. Разработчики, свято уверенные, что их любимая платформа неуязвима, первыми страдают, когда её таки ломают.
Пожалуйста, идите писать телеграм-ботов дальше. Они тоже кое-где весьма нужны и уместны (хоть лично я и испытываю искреннее отвращение к процедуре заказа чего бы то ни было через чат бота, а не через накликивание нужных мне предметов в UI со списками, картинками и корзиной; ну, да я - миллениал, я устарел для этого мира).
Не лезьте в выводы об отрасли, в которой вы не понимаете ничего настолько, чтобы ну-нукать на тему неуязвимого Телеграма. Это смешно, но только для тех, кто не вынужден работать с такими как вы рука об руку.exwill Автор
17.06.2025 12:32Вы уверены, что обладаете правом определять кому и куда можно и нельзя лезть?
basme
17.06.2025 12:32Ровно в той же степени, в которой вы обладаете правом вещать о кончине целой отрасли на публику. Я не выдал вам ордер на уход из профессии, я ровно в тех же правах, что и вы, отметил, что аргументация вашего посыла хромает на обе ноги.
В прошлый раз вы хотели контр-аргументы. Вот вам два, выжимка моего комментария:
- Не любое приложение влезает в Телеграм, где о безопасности подумали за вас
- Телеграм, как и любая реальная система в реальном мире, не неуязвим, и чтобы вы не думали о безопасности в нем, о ней должны думать люди, которых вы собрались приговорить в вымиранию
Будем конструктивно спорить, или сведем разговор к размышлению о правах друг друга?exwill Автор
17.06.2025 12:32Ну давайте попробуем поискать "логику взаимодействия, не укладывающуюся в формат".
Фотошоп говорите? Сейчас люди говорят какая картинка им нужна и получают ее.
ERP, тем более. Что не продавалось на прошлой неделе, дай список должников, какой менеджер лучше всех поработал в прошлом месяце... Сказал, что тебе надо и получил, что тебе надо.
Я вас призываю к конкретике. Не надо общих рассуждений. Если вы говорите, что ERP "не укладывается в формат", говорите сразу и конкретно, какая именно функция не укладывается
winkyBrain
17.06.2025 12:32насколько же сильно людям хочется верить в свои выдумки - порой страшно становится) чувак что-то там подправил в тг-боте с помощью ИИ и уже громко заявляет о смерти целой отрасли. глубже в тему вы разумеется не погружались, правда же? не слышали например вот об этом случае, даже твит сохранился. у Кирилла Мокевнина в те же дни пост выходил в тг-канале об этой истории, с более подробной инфой.
почему-то у подобных вам не умещается в голове, что без экспертизы результат нормально проконтролировать не получится - а крайним быть кто-то должен. даже вот про фотошоп и дизайнеров: я не дизайнер, и я конечно же могу написать нейронке любой промт и получить картинку. будет ли она полностью соответстововать моим нуждам? вряд ли. я скорее буду выбирать то, что в большей степени подойдёт, с мыслью "ну это же нейронка, зато быстро". если захочу править - придётся писать ещё промты, уточнения, и нет никаких гарантий, что получится быстро достичь желаемого результата. может и наоборот, получится хуже, чем было в первых итерациях. а что сделает профессионал? да подправит в два счёта сам то, что его изначально не устроило, полностью понимая, как и что работает. чувствуете разницу?)
Shaman_RSHU
Привет! Прочитал твой текст — кейс с ботом для проката авто прикольный, и правда удобно. Понимаю, почему ты говоришь, что ИИ упрощает жизнь и делает её безопаснее. Но вот насчёт "прощай, безопасность" — не соглашусь.
Смотри: даже если интерфейс простой, это не значит, что система сама по себе безопасна. За кадром всё равно остаются данные клиентов, интеграции с оплатой, логика работы самого ИИ. Кто-то должен следить, чтобы бот не начал вести себя странно или не сливал персональные данные.
А ещё есть атаки через подбор фраз (prompt-инъекции), обучение на вредоносных данных, перехват диалогов. В твоём примере кто-то сразу пытался написать /admin — это же явный сигнал, что люди ищут дыры.
Так что специалисты по безопасности нужны, просто их роль меняется. Не "сторожа у ворот", а скорее как врачи — следят за здоровьем системы, которая теперь живая и учится сама.
Так что не "прощай, безопасность", а скорее — "здравствуй, новая безопасность".
exwill Автор
Ну, или так