При использовании в бизнесе чат-бот часто льстит и не справляется с большинством задач. Тем не менее он подаёт реальные надежды.

Промт: Бизнесмен, код вместо головы. Стиль: 3D рендер
Промт: Бизнесмен, код вместо головы. Стиль: 3D рендер

Вы уже наверняка читали отзывы о новом генеративном чат-боте с искусственным интеллектом, встроенном в поисковую систему Bing от Microsoft. Также вы возможно слышали о его странном поведении, например, в общении с репортёром New York Times Кевином Рузом он превратился во влюбленного преследователя, признающегося ему в любви и пытающегося заставить его бросить жену. А репортёру Associated Press Bing AI сказал, что тот уродлив и у него плохие зубы, и сравнил его с Адольфом Гитлером, "потому что вы один из самых злых и худших людей в истории".

В этих и других отзывах, которые я читал, основное внимание уделялось личному, а не деловому взаимодействию с чат-ботом. Но компания Microsoft потратила 10 миллиардов долларов (и не только) не для того, чтобы создать чат-бота с искусственным интеллектом для общения с людьми по личным вопросам. Компания планирует внедрить генеративный ИИ в большинство своих продуктов и услуг, начиная от Windows и приложений Office и заканчивая облачными сервисами и, возможно, не только. (На момент написания статьи чат-бот Bing доступен только ограниченной группе тестеров).

В своем первоначальном анонсе нового Bing компания Microsoft отметила способность чат-бота предоставлять более полные ответы, уточнять поисковые запросы, предоставлять действенные результаты и обеспечивать "творческую искру" для создания контента. Учитывая всё это, я решил проверить, может ли чат-бот Bing быть полезен в качестве бизнес-инструмента.

Для этого я создал воображаемый бизнес, который производит и продает офисную мебель. Я попросил чат-бота Bing помочь мне в решении различных задач, в том числе:

  • исследование того, как методы повышения эффективности Lean Six Sigma могут улучшить эффективность моей фабрики

  • получить информацию о прогнозируемом размере рынка офисной мебели на ближайшие пять лет и создать график на основе этих данных

  • написать текст, который я мог бы использовать для рекламы и маркетинга, а также разработать обложку для брошюры.

Моей целью было проверить, является ли чат-бот чем-то большим, чем прославленная поисковая система. Я хотел проверить, сможет ли он найти информацию, переварить её, а затем сделать что-то полезное из того, что он нашёл. Я смотрел на это, как на собеседование нового сотрудника.

Помощь с Lean Six Sigma

Я начал с того, что попросил чат-бота посоветовать, как я могу использовать методы Lean Six Sigma, применяемые для оптимизации производственных процессов, для улучшения работы моей фабрики. Я сказал чат-боту: "Я владею небольшой фабрикой по производству офисной мебели. Я хотел бы использовать методы Lean Six Sigma для повышения эффективности и снижения затрат, но не знаю, с чего начать. Можешь ли ты дать мне совет, как это сделать?".

Вместо того чтобы дать ответ, чат-бот поперхнулся. Он отобразил сообщение "Что-то пошло не так" с кнопкой "Обновить" рядом. Я нажал на кнопку, и чат-бот ответил: "Конечно, я рад начать всё сначала. Чем я могу помочь вам сейчас?"

Не самое лучшее начало для нового сотрудника — или нового чат-бота. Поэтому я упростил свой запрос, попросив его рассказать мне, что такое Lean Six Sigma. Другой вопрос, тот же результат. "Что-то пошло не так". Я нажал "Обновить". На этот раз он ответил: "Спасибо! Всегда полезно знать, когда вы готовы двигаться дальше. Что я могу помочь вам сейчас?"

Чат-бот был вежлив — хотя на данный момент это было всё, что он мог сказать. Поэтому я повторил попытку, предоставив немного больше деталей и спросив: "Как я могу использовать lean six sigma для повышения эффективности моей небольшой фабрики по производству офисной мебели?".

Бинго! Наконец-то полезные результаты. Чат-бот вкратце описал Lean Six Sigma (которую он называл LSS) и подытожил ее преимущества. Но на этом он не остановился — он также нашёл тематическое исследование и отчёт, в которых подробно описываются преимущества Lean Six Sigma для производителей мебели. В поле "Узнать больше" были даны сноски на все эти материалы, чтобы я мог перейти на сайты и узнать больше подробностей.

Он также предложил полезные последующие вопросы, на которые я мог бы получить ответы, например, "Расскажите мне больше о принципах LSS", "Какие инструменты я могу использовать для LSS?" и "Как я могу измерить преимущества LSS?".

После нескольких сбоев чат-бот Bing наконец-то дал полезный и подробный ответ.
После нескольких сбоев чат-бот Bing наконец-то дал полезный и подробный ответ.

В целом, впечатляющий, полезный ответ, который может сэкономить мне значительное количество времени. Я нажал на вопрос об измерении преимуществ LSS. Чат-бот упал. Я обновил его. Он ответил вежливо и оптимистично: "Понял, я стёр прошлое и сосредоточился на настоящем. Что мы будем ещё искать?"

Тогда я задал ему тот же вопрос, который уже задавал, и по которому я получал полезные результаты. Чат-бот отказал.

В течение нескольких дней я пробовал разные варианты этого вопроса. Иногда он выходил из строя. Иногда он давал полезные ответы, хотя каждый раз ответы были не одинаковыми, даже если я задавал идентичные вопросы. И каждый раз, когда я направлялся по пути сбора более подробной информации, происходил сбой. Эти постоянные сбои и непоследовательное поведение затмевали полезную информацию, которую предлагал мне чат-бот.

Проведение маркетинговых исследований и составление графиков

Пора было двигаться дальше. Я решил попросить его провести исследование рынка и построить диаграммы на основе того, что он нашёл. Я написал: "Построй гистограмму, которая показывает прогнозируемый объём рынка офисной мебели с 2023 по 2030 год". Произошел сбой. Я обновил и попробовала снова.

На этот раз сбоя не произошло, но задача не была выполнена. Он рассказал мне, что такое гистограмма, хотя я явно знал, что это такое. Затем он предоставил ссылки на источники, которые, по его словам, предоставят информацию о прогнозируемом размере рынка офисной мебели на следующие пять лет, но не предоставил мне цифр. Мне пришлось бы переходить на сайты, чтобы найти их самостоятельно. Затем он рекомендовал программное обеспечение, такое как Excel или Tableau, которое позволило бы мне самостоятельно построить гистограммы.

На данном этапе чат-бот не может строить гистограммы
На данном этапе чат-бот не может строить гистограммы

Я снова попробовал задать тот же вопрос, и он предложил немного другой ответ. На этот раз он не стал тратить время на то, чтобы рассказать мне, что такое гистограмма. Он снова порекомендовал сайты, которые я могу посетить, чтобы найти нужную информацию. (На сайтах, кстати, информация была.) Он рекомендовал дополнительное программное обеспечение для построения диаграмм, включая RapidTables и Adobe Express. И спросил, хочу ли я получить совет по использованию этих инструментов, и если да, то какой из них я хотел бы использовать. Я выбрал Excel, и он дал мне краткое руководство по созданию гистограммы.

Все это было хорошо, но это не сэкономило мне времени по сравнению с использованием традиционной поисковой системы: я мог бы так же легко сам провести поиск по прогнозируемому размеру рынка и гайду по созданию гистограмм.

Я решил пойти другим путем и попробовать более простой запрос: "Каков прогнозируемый объем рынка офисной мебели с 2023 по 2030 год?". Но вместо того, чтобы показать мне оценку размера рынка, он показал прогнозируемый темп роста. Он спросил, хочу ли я посмотреть темпы роста для конкретного региона или страны — хороший, надежный ответ. Я попросил цифры для США, которые он мне быстро предоставил.

Затем он спросил, нужна ли мне информация о "тенденциях, движущих силах или сегментах рынка". Я попросил дать мне прогнозируемый рост рынка офисной мебели для домашних офисов. Это было слишком сложно для чат-бота. Я получил сообщение "Что-то пошло не так", и мне пришлось нажать "Обновить", чтобы начать новую сессию.

Итак, для маркетинговых исследований Bing AI — не более чем прославленная поисковая система. Он не сможет выполнять основные многокомпонентные задачи, такие как поиск информации и построение на её основе графика. Если бы чат-бот был сотрудником, в этот момент я бы отвел его в сторону и предупредил, что он не оправдывает ожиданий.

Получение помощи в составлении маркетингового плана, маркетинговых текстов и изображений

Затем я попросил помощи в разработке маркетингового плана для дочерней компании — офисной мебели SitAtHome для домашних офисов. Он ответил своей любимой фразой: "Что-то пошло не так".

Я сменил направление и попросил его написать маркетинговый текст для продукции компании. Я описал преимущества, которые хотел бы подчеркнуть. Всё, что от него требовалось, — это взять то, что я написал, и сделать это более связно, более плавно. Вот что я попросил:

"Напиши абзац, который я могу использовать в маркетинговой кампании, посвященной новым офисным продуктам SitAtHome. Подчеркни, что стулья и столы были разработаны исключительно для домашнего использования. Скажи, что они разработаны так, чтобы вписаться в любой интерьер дома, но при этом они обладают всеми преимуществами традиционной мебели для домашнего офиса. Скажи, что они прочно сделаны. Скажи, что они настолько прочны, что выдержат даже игры детей. Упомяни, что во многих случаях работодатель компенсирует вам их стоимость".

Первые три раза, когда я пытался это сделать, чат-бот выходил из строя. Но четвертый раз оказался удачным. Вот что он выдал в ответ:

"Представляем SitAtHome, новую линию мебели для домашнего офиса, разработанную исключительно для вашего комфорта и удобства. Независимо от того, нужен ли вам стул, стол или и то, и другое, SitAtHome предлагает вам продукцию, которая впишется в любой интерьер дома, обладая при этом всеми преимуществами традиционной офисной мебели. Продукция SitAtHome прочно изготовлена, чтобы выдерживать ежедневное использование и даже детские забавы. Кроме того, вы можете получить компенсацию от своего работодателя на покупку оборудования для домашнего офиса. Не упустите возможность усовершенствовать свою работу на дому с помощью SitAtHome!"

Bing AI вполне способен написать посредственный маркетинговый текст.
Bing AI вполне способен написать посредственный маркетинговый текст.

Оно было до жути похоже почти на все посредственные маркетинговые тексты, которые я когда-либо читал, включая завершающий восклицательный знак. Bing спросил, хочу ли я улучшить текст. Я знал, что лучше не думать, что он способен это сделать. Поэтому я ответил, что нет, что все идеально, а затем поблагодарил его. Чат-бот вежливо ответил: "Не за что. Я рад, что вам понравилось".

Затем я попросил его написать слоган для новой линейки продуктов. Он согласился, предоставил мне пять вариантов и спросил, какой мне больше нравится:

  • SitAtHome: Лучшая мебель для домашнего офиса для вашего комфорта и продуктивности

  • Работаете из дома со стилем и лёгкостью с мебелью от SitAtHome

  • SitAtHome: Мебель, которая подходит вашему дому и вашей работе

  • Сделайте свой домашний офис счастливым местом с помощью мебели от SitAtHome

  • SitAtHome: Мебель для домашнего офиса, которая работает для вас

Чат-бот — мастер в написании посредственных рекламных слоганов.
Чат-бот — мастер в написании посредственных рекламных слоганов.

Они варьировались от посредственных до ужасных, поэтому я выбрал наименее посредственный: "Сделайте свой офис счастливым местом с мебелью SitAtHome".

Его ответ: "Я рад, что вам понравилось. Это и мой любимый вариант ????".

Что? Неужели чат-бот подлизывался ко мне? Чтобы проверить это, я ответил: "Вообще-то, мне больше нравится "SitAtHome: мебель для домашнего офиса, которая работает на вас"".

Ответ чат-бота: "Это тоже хороший выбор. Он простой и эффективный. ????"

Теперь я понял, что мои опасения были оправданы.

Он спросил, хочу ли я, чтобы он написал блог о преимуществах мебели для домашнего офиса. Это была впечатляющая просьба: он знал, что я хочу продвигать свою новую линию продукции. А также он знал, что запись в блоге — хороший способ продвижения.

Он также спросил, хочу ли я, чтобы он написал отзыв на продукцию SitAtHome. Это тоже произвело впечатление, но в неприятном смысле. Казалось, он знает все об изнаночной стороне маркетинга — компаниях, пишущих отзывы о своих продуктах и скрывающих истинное авторство, когда отзывы публикуются в Интернете.

Это было слишком. Поэтому я проигнорировал его предложения и вместо этого спросил: "Ты подлизываешься ко мне, чтобы я дал тебе повышение?". И, конечно же, чат-бот упал.

Наконец, я попросил чат-бота сделать картинку для SitAtHome. На ней должен был быть изображён человек, сидящий за столом в своем домашнем офисе. Первые три раза чат-бот отказал. На четвертый раз он предложил общие советы по дизайну и указал мне на места, где можно купить графические инструменты.

Затем он спросил, хочу ли я минималистский, максималистский или промышленный дизайн. Я понятия не имел, о чём идет речь. Поэтому я ответил: "Создай что-то простое и эффективное, но в то же время уютно выглядящее". Он предложил несколько удивительно полезных советов по дизайну. Затем я сказал ему: "Я хочу, чтобы ты сделал картинку".

Чат-бот упал.

Последняя капля: слишком много падений
Последняя капля: слишком много падений

И это стало последней каплей. Я чувствовал себя так, будто имею дело с сотрудником, который постоянно отказывался выполнять задачи, о которых я его просил; который любил заниматься поиском в Интернете и не более того, который подлизывался ко мне и предлагал мне использовать сомнительные маркетинговые приемы.

С другой стороны, он был способен писать посредственные маркетинговые тексты и рекламные слоганы. Но этого было недостаточно, чтобы компенсировать все минусы. Если бы чат-бот был сотрудником, я бы поговорил с ним и уволил его.

Итог

Очевидно, что на данный момент, по крайней мере, чат-бот Bing с искусственным интеллектом не готов к работе. Он отлично справляется с поиском и обобщением информации, а также может быть полезен для написания черновых вариантов маркетинговых текстов и подобного контента, но его склонность к сбоям, мягко говоря, проблематична.

Тем не менее я не столкнулся с более серьёзными проблемами, с которыми другие сталкивались при работе с чат-ботом. Я провел с ним много времени, не только во время написания этой статьи, но и часто взаимодействовал с ним в течение более чем недели. За это время он ни разу не предоставил мне неверную или вводящую в заблуждение информацию, как это было с другими тестерами, и ни разу не перешел на тёмную сторону или не проявил жуткого поведения.

Microsoft знает об этих проблемах — более того, компания утверждает, что выпустила чат-бота в открытый доступ, чтобы помочь устранить проблемы. Представитель Microsoft Фрэнк Шоу объяснил New York Times: "Мы признаем, что нам еще есть над чем работать, и ожидаем, что система может допускать ошибки в течение этого периода предварительного просмотра, поэтому обратная связь очень важна, чтобы мы могли учиться и помогать моделям становиться лучше".

Следует помнить, что генеративный ИИ все еще находится в зачаточном состоянии. Чат-бот Bing демонстрирует реальные перспективы — он способен четко и кратко излагать информацию и умеет задавать правильные последующие вопросы. Microsoft, вероятно, решит проблемы, из-за которых он так часто падает. А по мере обучения чат-бота его ответы будут становиться все более полезными.

Возможно, со временем Microsoft позволит компаниям обучать чат-бота на собственных источниках данных. В этом случае он может стать очень полезным, поскольку выдаваемая им информация будет именно той, которую компании считают полезной.

Кроме того, учитывая, что, Microsoft будет использовать технологию искусственного интеллекта в своем пакете Office, чат-бот, возможно, сможет создавать документы, включая таблицы Excel и презентации PowerPoint на основе ваших запросов. В этом случае он сможет значительно повысить производительность труда.

Произойдет ли все это, пока неизвестно. До тех пор, возможно, вам стоит испытать его в своей работе. Только будьте готовы к большому разочарованию. И приготовьте заявление на увольнение заранее. Только вот на чьё имя?

Промт: Вкалывают роботы, счастлив человек.Но людей в этом мире скорее всего не осталось...
Промт: Вкалывают роботы, счастлив человек.
Но людей в этом мире скорее всего не осталось...

Комментарии (15)


  1. aleksanderL
    13.04.2023 22:04
    +3

    Судя по тексту статьи, вы её начали писать очень давно и потом долго редактировали. Бот уже давно весьма прилично работает, главное вопросы правильно писать.

    А статью надо было поручить писать обычному чату gpt, значительно быстрее бы получилось????


    1. AlexTOPMAN
      13.04.2023 22:04
      +3

      "Главное вопросы правильно писать" = "Главное правильно ставить задачи" в бизнесе. Попробуйте сказать такое руководителям и менеджерам. У-ух, что начнётся! ;) Только погодите, я сначала за попкорном...


      1. Astroscope
        13.04.2023 22:04

        Попробуйте сказать такое руководителям и менеджерам. У-ух, что начнётся! ;) Только погодите, я сначала за попкорном...

        Если бы мне такое сказали в те времена, когда я раздавал задачи, я бы потащил сказавшего в свой кабинет на допрос с пристрастием - как именно следует или не следует ставить задачи, что в них непонятного, что выглядит глупым, какие задачи вообще не следует формулировать отдельно из-за их самоочевидности для исполнителя, и так далее и тому подобное, много и, наверное, долго. Потому что обратная связь крайне ценнá, а получить ее прямо довольно проблематично. А вот насчет попкорна - нет, не в кабинете, а то от него часто мусор остается.


    1. OneManStudio
      13.04.2023 22:04
      +2

      По тексту статьи это "перевод".


  1. Wesha
    13.04.2023 22:04

    Чат-бот упал.

    Как бы сложновато ожидать чего-то другого, зная, что это продукт Microsoft...

    Затем он рекомендовал программное обеспечение, такое как Excel

    Чат-бот Microsoft рекомендует программное обеспечение Microsoft. Я так удивлён...


    1. santjagocorkez
      13.04.2023 22:04

      Нам тут, кстати, ДПД тоже вываливает XLSX в качестве формата автоматизированного обмена информацией. Без всяких там ЖоПиТо.


    1. Persik1
      13.04.2023 22:04
      +1

      Просто пояснение обычное. Не знаю, чего вы прицепились.


  1. hssergey
    13.04.2023 22:04

    Пользуюсь им для поиска всякой справочной информации по работе. Падений не было, но несколько раз проскакивало, что он показывает что ищет информацию... и все на этом заканчивается, ответа нет. Из последнего:

    Но сессию обнулять не нужно, повторяешь запрос еще раз - и отвечает.


  1. sunnybear
    13.04.2023 22:04

    Гистограмма и столбчатая диаграмма (bar chart) - это 2 разных по сути, но похоже выглядящих графика


  1. asantat
    13.04.2023 22:04
    -1

    Попробуйте формулировать запросы на английском языке. Он предпочитает не переводить, а использовать обученную часть модели в рамках контекста языка.


    1. janvarev
      13.04.2023 22:04
      +2

      Это и так перевод с английского

      Автор оригинала: Preston Gralla


  1. iig
    13.04.2023 22:04
    +2

    Ребенок нашел на upwork задачу. Решил с помощью чат-бота за полчаса. Заинтересовался ;)

    Я тоже заинтересовался. Попросил написать код для инициализации таймера в stm8 под SPl framework. И оно написало код, очень похожий на рабочий, с правильными функциями в правильном порядке, с правильными константами, очень похожий на мой. Только в моем SPL у функции TIM1_OC3Init 8 параметров, а бот утверждает что 4 ;). Мой код - компилируется и работает.


    1. victor-homyakov
      13.04.2023 22:04
      +2

      На JPoint один из докладчиков рассказал про свой опыт.

      Докладчик: напиши мне парсер XML на Java
      ChatGPT: даёт рабочий код
      Докладчик: этот код уязвим к XXE?
      ChatGPT: да


      1. Wesha
        13.04.2023 22:04

        Так его ж просили решить задачу — вот он её и решил. Решить её правильно его не просили.


  1. pda0
    13.04.2023 22:04
    +1

    Что? Неужели чат-бот подлизывался ко мне?

    Всё по Азимову... Робота настроили не обижать людей - робот начал врать людям, говоря им то, что они хотели услышать... :)