Меня зовут Андрей Цыган - я не программист, я смотрю на технологии ИИ с точки зрения человека, кто знает что хочет, но не имеет навыков это сделать через код.
То есть он мог дать формулы для Excel, или рассказать по шагам как нужно делать - но делать приходилось самому - и это было самое слабое звено.
Но с новым плагином Code Interpreter правила игры поменялись. Теперь он не рассказывает как, а теперь он делает. И выглядит это для некодеров фантастически!
Мало того что выглядит - мне кажется это кардинальная смена правил игры - многие приложения, удобные, классные, могут претерпеть коренные изменения.. Так как "в обозримом будущем" вполне реально что не надо будет интерфейса, мануалов - просто скажи что ты хочешь, и ты это получишь. Конечно не всё, но скорость доработок меня впечатляет.
Я на личном опыте увидел как человек может "перескочить" уровни взаимодействия с интерфейсом. Бабушка, 74 года, кнопочный телефон, никаких планшетов (тыкать пальцем куда то не хотела никак),про ютуб не слышала. Но когда приезжает в гости она знает - надо просто сказать "Алиса, поставь мне концерт Надежды Кадышевой где она с молодым баянистом в Витебске" - и все! Так может получится и тут.
Что такое Code Interpreter?
Code Interpreter - это плагин от OpenAI для ChatGPT. Он позволяет создать и запустить код прямо в интерфейсе,и умеет работать с загруженными файлами.
Долгое время он был в закрытом тестировании, но уже сейчас он становится доступен простым смертным, по подписке Plus (20USD в месяц). Работает он с моделью GPT-4
Подключаем его в настройках.
Далее в окошке модели выбираем Code Interpreter
Загрузка файлов
Теперь у нас появилась возможность загружать файлы размером до 100 мб.
Это могут быть ваша база данных, ваши расчёты в Excel, pdf файлы, медиа файлы. В общем - 100 мб вполне есть куда развернуться.
Но это всё лирика, главный вопрос “что мне с этого, что с этим можно сделать?”.
Я протестировал несколько реальных задач, уверен в ближайшее время мы увидим сотни крутых кейсов. Пишите в комментариях ваши кейсы - буду благодарен.
Все примеры я буду показывать реальные, из бизнеса (малый бизнес). У больших корпораций наверное другие запросы - ну и другие ресурсы.
Анализ данных
В малом бизнесе у вас может не быть колл-центра, отдела маркетинга, и даже иногда продаж, но всегда будут налоги и Excel. Начнём со второго.
В целом зачастую все наши небольшие данные помещаются в Excel - это и метрики по рекламе, выгрузка с CRM, банковские движения.
Анализ рынка
Для теста возьмём открытые данные.
У ISO есть ежегодный отчёт по количеству действующих сертификатов в разрезе стран и стандартов. Скачиваем и загружаем в него файл, без подготовки.
Дай мне количество сертификатов по русскоязычным странах по стандартам, и посчитай общее количество выданных сертификатов как по стандарту так и по стране
Все запросы я писал очень простым языком, именно "вот надо это,и всё". Сам посмотри колонки, сам пойми где какие данные. Я пытался эмулировать позицию пользователя, есть датасет - хочу ответы в виде график и диаграмм.
Вот такие данные мы получаем через минуту ( сначала он смотрит данные, пробует, размечает) а потом достаточно быстро строит нужные выходные данные.
Просим из таблицы сделать вертикальную диаграмму по стандарту ISO 9001
Вот и тепловая карта по количеству и по странам
А вот и топ-10 отраслей по стандарту ISO 9001 из Беларуси
По его словам он может строить такие виды диаграмм (но что то мне подсказывает, что скоро умные люди найдут способ расширить этот список)
В текущей среде я могу построить следующие виды диаграмм с использованием библиотеки matplotlib:
Линейные графики (Line plots): используются для визуализации данных во времени (так называемые "временные ряды") или для отображения взаимосвязи между двумя наборами данных.
Столбчатые диаграммы (Bar plots): используются для сравнения величин разных категорий или групп.
Гистограммы (Histograms): используются для визуализации распределения одномерного набора данных.
Точечные диаграммы (Scatter plots): используются для визуализации взаимосвязи между двумя наборами данных.
Ящики с усами (Box plots): используются для визуализации статистических свойств распределения данных (медиана, квартили, выбросы и т.д.).
Круговые диаграммы (Pie charts): используются для отображения пропорций различных категорий в общем количестве.
Тепловые карты (Heatmaps): используются для визуализации матрицы данных, где цвет каждой ячейки соответствует значению в этой ячейке.
Графики ошибок (Error bars): используются для визуализации неопределенности или вариации данных.
Эти данные можно сразу попросить сделать в PDF или PPT
Работа по распознаванию PDF счетов
Накладная, счёт, акт - мы их в бизнесе получаем море,и нужно ручками вносить в нашу систему платежей - кому, за что,и сколько платить.
Давайте попросим распознать текст, и выделить платёжные данные.
Возьмём даже не самый простой вид счёта, это больше счёт-договор. Есть и текстовая часть, и табличная. Наша задача - получить кому платить, сколько платить, и за что платить
Загружаем файл и просим, по-простому, по-людски, дать данные:
Единственное НО - с русским языком пишет что не умеет работать,нету библиотеки(
Работа с аудио
Распознать текст с аудио ни на русском, ни на англ у меня не получилось. Уверен можно подсказать библиотеки и может он сможет что то лучше, но я знаю только одну библиотеку- им. Ленина.
Но он может делать простые процедуры - порезать, к примеру, аудио на нужное количество частей (с максимальным размером и длительностью) Это может быть нужно к примеру, когда какое нить приложение не берет большой файл, и нужно его разбить.
Например Whisper, которым мне удалось попользоваться, кушает файлы только до 18 минут, и было неудобно разбивать длинные видео на эти куски. Теперь это просто
Работа с изображениями
Нанесение текста на изображение.
Я попробовал писать текст на изображение, но в такой формулировке он совсем отказался.
Но если изменить задачу на "нанеси watermark" - он пишет. Немного ругается про шрифты, но пишет. Очень мелким шрифтом пишет, даже ему указывал размер шрифта, но он сказал пока могу так. Но уже МОЖЕТ!
В целом простые моменты с изображением может делать - поворот, разворот, изменение формата.
Работа с видео
Он умеет преобразовывать GIF to MP4, делать простые обработки видео, типа "зум",и создавать GIF
В твиттере Riley Goodside есть примеры работы с видеою
Я попробовал решить задачу, с которой недавно возился в CapCut. Сделать равномерное видео по картинке (слайду). Он выполнил и эту задачу, вот результат:
Резюме
Лично для меня этот плагин стал открытием "ящика Пандоры". Главное - запрос - не только инструкция - а готовый результат.
Я думаю это может пошатнуть позицию некоторых утилит - теперь можно будет делать многие вещи внутри chatgpt.
Он мне часто отвечал что у него нету той или иной библиотеки - я с удовольствием представляю, как заиграет этот плагин если в него можно будет загружать нужные библиотеки
Комментарии (21)
Zara6502
11.07.2023 22:08+3Я думаю это может пошатнуть позицию некоторых утилит
всё перечисленное вами в статье мне никогда в жизни не пригождалось, отсюда я сомневаюсь что ChatGPT как и та же Алиса, как-то ощутимо на что-то повлияют. Например я айтишник с 80-х годов, но Алису отключаю везде и всегда, она абсолютно неудобна в использовании и всё моё взаимодействие с Алисой превращается в непреодолимую борьбу, да и факт того что я должен говорить голосом меня напрягает.
Так и с утилитами - мне проще будет написать в консоли привычную строку с ключами ffmpeg с ПРОГНОЗИРУЕМЫМ результатом, недели просить ChatGPT сделать что-то, а потом перепроверять.
Я не сомневаюсь что эти системы будут использоваться и активно и с большей долей вероятности не нашим поколением и не в том виде. Просто будет эта IT 2.0 и всё. Старые системы будут жить еще лет 30-40, так что на этот век мне работы хватит, а то что молодой специалист будет болтать с GPT в чате и думать что он ИТ-гуру - неизбежность.
Мне куда интереснее откуда ИИ знает что вы ему загрузили и как с этим работать? Особенно в контексте счетов. Мне вот от УК падают счета, так там без профессионального дешифровщика понять ничего невозможно, какие-то столбцы "Ур.к.мл" или "Вс.% км". Я не верю в мыслительные процессы современных ИИ, но верю в загрузку данных для обучения. То есть применительно к РФ потребуется загружать счета разных УК всей страны, да еще и регулярно и обучать разметке, пока не научили - ИИ бесполезен как и шуруповёрт без АКБ.
То что касается конкретно моей работы - я пользуюсь ИИ для генерации текста и картинок. Весьма хорошее подспорье вместо запросов к поисковикам с абсолютно бестолковой выдачей и непонятными правами на материал.
atsyhan_minsk Автор
11.07.2023 22:08я же изначально и писал, что будет проще кому-то написать строчку кода. Я смотрю с позиции когда кода нету
А про Алису очень удобно - особенно когда малая на руках и хочет другой мультик)Zara6502
11.07.2023 22:08А про Алису очень удобно - особенно когда малая на руках и хочет другой мультик)
это не более чем выборочный кейс или миллионов, где алиса не при делах. я нигде не говорил что алиса абсолютно никому не нужна, тот же пример про бабушку и поиск (мне многие говорят про дети+алиса, мол хорошо работает ия НЕ спорю). Вопрос в том, что появление Алисы абсолютно никак не пошатнуло позиции классических поисковиков и никто не пишет статей, что гугл или яндекс скоро умрут. А у вас процитированный мной тезис как раз об этом. Я понимаю что слово "некоторых" даёт вам возможность легко забороть мои аргументы, но я-то против самой постановки вопроса. Иначе про любую инновацию можно писать сразу статью, что инновация А пошатнёт позиции НЕКОТОРЫХ вещей Б. Что само по себе понятно и не требует обсуждения, как мне кажется. В этом и смысл инновации ведь.
Куда интереснее появление кейсов доселе даже не рассматриваемых. Из последнего, что такой эффект производило - это Интернет. (я говорю про то что сам знаю, например я не в курсе что там у химиков или медиков происходит, может у них там каждый день открытия) То есть Интернет смело ставится на один уровень с изобретением колеса или парового двигателя. В ИИ подобный потенциал я вижу, но в блогосфере и СМИ всё сводится к "котикам" или "терминатору" Кэмерона, что конечно наивно и забавно, но мало связано с действительностью.
Действительность, которую показываете вы в статье, тоже весьма сомнительная и почему - вам много написали другие комментаторы. ИИ перевернёт мир? Несомненно. Просто не так как пишут. Почему? Потому что большинство мировых инноваций касается жизни небольшой кучки людей. И я не про 1% иллюминатов или масонов. Я про "развитый запад". Блага распределяются неравномерно. Ладно про Запад, жители Москвы абсолютно не понимают как живёт остальная страна. Например в 2002 году мой знакомый в Москве заказывал из офиса через интернет покупку и получал её просто в офисе сидя на стуле. А я жил в городе с 450 ТЫС жителей и у нас было ДВА магазина компьютерной техники (я про неё родимую) где 80% ассортимента были под заказ, про цены я умолчу как и про зарплату. Ну ладно, 20 лет прошло и всё изменилось? Нееет. В 30 км от Новосибирска нет мобильной связи вообще (в городе 2 млн людей проживает, включаю мигрантов из Средней Азии), по трассе 4G только в мечтах, в основном 3G. Tele2 в Алтайском крае стал работать хотя бы в роуминге всего лет 5 назад, приходилось покупать симку МТС например когда туда ехал. Сейчас всё нормально.
Так что какая бы неведомая фигня с ИИ не произошла, стабильно одно - батька, Почта РФ и число Пи.
berng
Это все отлично, пока не появится одна маленькая ошибка, например при начислениях вашей зарплаты, в меньшую сторону. И тогда вы будете задавать вопрос: кто виноват, и что делать, а перед вами будет сидеть промпт-бухгалтер чатжпт с образованием 5 классов, пожимать плечами и показывать вам на экран ответа, и убеждать вас, что все норм. Вроде был даже фильм про это.
Да, для работы с современными технологиями особых навыков не нужно, и уровень вхождения низкий. Но в критичных задачах другие требования к решениям, и главное - проверяемость и ответственность за ошибки.
И главное - согласны-ли лично вы, чтобы критичные для вас лично вещи делали для вас такие-же промпт-исполнители - промпт-музыканты сочиняли музыку, которую вы будете слушать, промпт-режиссеры делали фильмы, которые вы будете смотреть, промпт-повара готовили еду, которую вы будете есть и промпт-бухгалтера расчитывали зарплату, которую вы будете получать за свою работу. И чтобы ваш промпт-менеджер определял вашу необходимость на вашей работе, если вашу работу сможет выполнить любой промпт-школьник или промпт-детсадовец за намного меньшие деньги.
IvanPetrof
А оно и сейчас так - "...так компьютер посчитал..."
dimitrii_z
Но сейчас известны, понятны и редактируемы формулы в Excel, по которым компьютер посчитал. И их как правило можно изменить.
Так что таки да, сей инструмент надо крайне осторожно использовать в чувствительных областях
IvanPetrof
Ну оно не всегда в экселе. Есть вполне себе корпоративная самописная бухгалтерия. На оракле и дельфи.
IvanPetrof
Сорри. Невпопад ответил. Думал о чём-то своём))
atsyhan_minsk Автор
в этом плагине так же показан весь код, как он к этому пришел. Можно посмотреть всю цепочку
Yokii
Но если ты не программист/аналитик ты на этот код смотришь как на китайские иероглифы. Это можно рассмотреть как инструмент повышения эффективности профессионала. А не просто кухарка на кухне надиктовала
atsyhan_minsk Автор
да, согласен,я смотрел) последовательность действий старался понять
но вопрос был в том - что при необходимости, можно будет произвести работу над ошибками, и понять откуда появился неправильный результат
berng
Проводить работу над ошибками может только человек, который знает материал в достаточной мере а) для выявления ошибки б) для исправления ошибки. Одновременно.
Грубо говоря, если человек не знает, что 2+2=4, для него ответ 5 ошибкой не будет, и он не сможет ее обнаружить в рассуждениях - для этого у него недостаточные знания арифметики. И он не сможет ее исправить по той-же причине. Для него это все будет абсолютно правильно, пока не приведет его к очевидному противоречию. Но причину противоречия он понять тоже не сможет (локализовать ошибку) из-за недостаточных знаний. Греческие апории (типа апорий Зенона) на этом строились.
В любых областях знания так.
vagon333
Данный конкретный плагин - не черный ящик.
На запросы он дает примеры кода и тут-же его выполняет.
Пример
atsyhan_minsk Автор
Если кратко - то лично я да
Не знаю как у вас, но у нас в последние года совсем дефицит на кадры, и конечно глав бух (с нашими то законами никакой gpt не разбереться), а линейные бухи почему нет?
Переписать данные с накладной в систему? вполне
Рассчитать зп - опять же, я работал 5 лет в найме, через месяц ходил к бухам сверять зп, так как их данные не сходились
Я думаю просто надо не сравнивать лучший представителей профессий и нейросеть, надо брать среднюю массу
вы написали про режиссёров, давайте опустим гениев, а посмотрим на сериалы на телевиденью, их сюжет, драмы...точно ли нейросеть сделает хуже?)
berng
Дефицит на кадры потому-что не учат и не учатся, и это - проблема образования, а не нейросетей. Попадетесь на прием к промпт-врачу в эпоху отключенного интернета, посмотрим, что будете говорить. Я попадался.
atsyhan_minsk Автор
да я же не про замену - а как компаньон. К тому же врачу - записать голос, перевести в текст, и сразу показать аналитику по похожим людям с такими же симптомами, а он уже пусть принимает решение
berng
Согласен. Я всегда за рекомендательные системы, они по крайней мере позволяют дать некий статистический взглад на проблему. Но честные рекомендательные системы, с пояснениями, обоснованиями, объемами проанализированных данных, а не черный ящик-пифию, обученный непонятным способом на смеси википедии и торрентовых библиотек.
leventov
Бан в Гугле сейчас именно так и работает - если алгоритм решил, что вы спамер, то удаляется все под корень, ни ответа ни привета, решение обжалованию не подлежит. Никакого арбитража нет. Ибо выгодно именно так.
Так что да, вся экономика будет именно в эту сторону двигаться. А потом когда в один прекрасный день все нае*нется - это будет уже другая история...
atsyhan_minsk Автор
я думаю схожие паттерны были когда запускали конвейр, как это автоматическая линия будет делать детали - все упадет. Да, в начале падало, потом улучшали, и сейчас большинство продуктов, чем мы пользуемся собраны без человека
larasage
Конвейер и автоматическая линия - сильно разные вещи.
berng
Сдается мне, вы сильно из будущего. У нас пока все не так хорошо.