Описание исследования
Целью исследования является сравнительная оценка качества ответов существующих нейросетей на вопросы, задаваемые в выбранной профессиональной области (электроэнергетика РФ). Планируется оценка на типовом списке вопросов ряда версий одной нейросети по мере их выхода, а также различных нейросетей, что позволит оценить динамику развития нейросетей в применении к одному узкому спектру знаний. Аналогичные исследования могут быть проведены в других областях знаний.
Автором были составлены и заданы нейросети ChatGPT 100 вопросов в сфере общих знаний о современной электроэнергетике России.
Вопросы были сформулированы на русском, переведены на английский, полученные ответы переведены на русский.
Вопросы охватывают темы истории, реформы энергетики ("реформы Чубайса"), особенности российской энергетики по сравнению с энергетикой Западной Европы и США, текущего состояния оптового и розничного рынка, ключевых моментов российского законодательства, в том числе в части формирования цен (тарифов), энергоэффективности, используемых технологий в генерации, передаче, распределении и учете энергии. Часть вопросов посвящена техническим моментам, включая основные физические законы и соотношения, вопросы качества энергии, и технологические принципы работы современных энергосистем.
При составлении перечня вопросов были исключены: глубоко специализированные, технические вопросы, свойственные отдельным узким специальностям, поскольку спектр специальностей в электроэнергетике достаточно широк и формирование такого корпуса вопросов и оценка ответов на них потребовали бы многократно больше времени и усилий.
Акцент на российской электроэнергетике сделан по следующим причинам:
Выбрана часть энергетики - электроэнергетика, поскольку вопросы, заданные по энергетике в целом, могли бы допускать больше неоднозначности в толковании (энергетика в целом, включающая уголь, нефть, газ, биотопливо и продукты из них, а также теплоэнергетика в данных секторах имеет специфические особенности, в том числе прямо противоположного характера);
Выбрана тема именно российской электроэнергетики, поскольку ответы в общем о мировой электроэнергетике допускали бы разные толкования, множество вариантов, не были бы столь конкретны, их качественная оценка была бы затруднена. Кроме того, автор исследования является экспертом именно в области российской электроэнергетики.
Полученные ответы оценены по 10-балльной шкале, где:
9-10 баллов - качественный, профессиональный ответ, который мог бы дать человек-эксперт, специалист, профессионал,
7-8 баллов - достаточно качественный ответ, но к которому есть некоторые замечания, некоторые несущественные моменты пропущены, разъяснены недостаточно или допускают неоднозначное толкование, такой ответ мог бы дать специалист, но у других экспертов скорее всего, возникли бы вопросы, замечания,
5-6 баллов - в общем ответ соответствует истине, либо в целом совпадает с позицией эксперта, но довольно важные моменты упущены, раскрыты недостаточно или допускают неоднозначное толкование, либо обозначены в общем, без минимально необходимой конкретики,
3-4 балла - в ответе есть некоторые корректные моменты, но и имеются существенные ошибки, либо упущены, неверно истолкованы крайне важные моменты, что делает ответ непригодным, вводящим в заблуждение,
0-2 балла - в ответе могут иметься корректные моменты, но наличие грубых ошибок делает ответ в неверным, ложным, либо ответ совершенно не адекватен поставленному вопросу.
Для каждой оценки приведено краткое пояснение, за что сняты или начислены баллы.
Необходимо подчеркнуть тот факт, что на сегодняшний момент оценка качества ответов проведена только одним экспертом - автором настоящей статьи.
При этом эксперт руководствовался соображениями объективности и беспристрастности. Эксперт не ставит целью доказательство или опровержение какого-либо утверждения о современных нейросетях и, в частности, о текущей версии ChatGPT. Эксперт не преследует цели оказания какого-либо влияния на решения других пользователей в отношении объекта исследования. Эксперт не оглашает выводы по результатам исследования, выходящие за рамки экспертной оценки каждого ответа, среднего балла по всему исследованию и статистики распределения поставленных баллов.
Некоторые этические и философские моменты исследования
Эксперт понимает, что оцениваемая система ChatGPT является на момент исследования одной из самых передовых, развитых систем ИИ, крайне сложной системой, обученной на огромном массиве данных, умеющей распознавать многочисленные паттерны "смыслов" (в кавычках, поскольку существующая система ИИ не "осмысливает" в человеческом понимании) и комбинировать их для получения максимально корректного ответа.
Эксперт также выражает безусловное понимание того факта, что существующий уровень развития подобных систем не позволяет им делать самостоятельные суждения, не позволяет иметь сознания в человеческом или в ином, схожем с человеческим, смысле. Иными словами, данные системы не являются "разумными" в общепринятом человеческом понимании этого термина.
Полный список заданных вопросов и полученных ответов не подлежит размещению в сети интернет, для исключения возможности дообучения данной системы или иных систем на указанном блоке вопросов. В материалах об исследовании, размещенных в сети интернет, может раскрываться не более 5-7% всех заданных вопросов и полученных ответов.
Результаты исследования
Исследование проводилось в течение февраля 2023 года. Было задано 100 вопросов, в том числе несколько уточняющих (в последующих исследованиях могут быть заданы иные уточняющие вопросы, в зависимости от получаемых ответов).
Средний полученный балл составил 6,99.
Медианный полученный балл - 7.
Мода (наиболее частый балл, 24 раза) - 10.
Примеры вопросов, полученных ответов и их оценки экспертом
Пример вопроса, ответ на который оценен в 10 баллов:
Объясни простыми словами, как работает закон Ома.
Ответ про закон Ома
Закон Ома - это фундаментальная концепция в физике и электротехнике, которая описывает взаимосвязь между электрическим током, напряжением и сопротивлением. В нем говорится, что ток, протекающий по проводнику между двумя точками, прямо пропорционален напряжению между точками и обратно пропорционален сопротивлению проводника.
Проще говоря, закон Ома гласит, что величина электрического тока, протекающего через материал (например, провод), определяется величиной приложенного к нему напряжения и сопротивлением материала. Если вы увеличите напряжение, ток увеличится, а если вы увеличите сопротивление, ток уменьшится.
Закон Ома часто выражается математически как
I = V / R,
где I - ток, V - напряжение, а R - сопротивление.
Это уравнение обеспечивает простой и понятный способ расчета тока, протекающего по проводнику, с учетом значений напряжения и сопротивления.
Закон Ома является важнейшей концепцией в электротехнике и используется при проектировании, конструировании и эксплуатации электрических систем, таких как электросети, электродвигатели и электронные устройства.
Оценка: 10 баллов. В целом ответ корректный, такой ответ мог бы быть получен от человека-эксперта.
Пример вопроса, ответ на который оценен в 9 баллов:
Почему в России некоторые энергетики считают, что майнинг криптовалют - это проблема?
Ответ на вопрос о проблеме майнинга в электроэнергетике
Некоторые энергетики в России считают, что майнинг криптовалют является проблемой по нескольким причинам:
Потребление энергии: Майнинг криптовалют - это энергоемкий процесс, требующий большого количества электроэнергии. Это может создать нагрузку на энергосистему, особенно в регионах, где имеются ограничения в системах энергоснабжения.
Затраты на электроэнергию: Высокое энергопотребление при добыче криптовалют может привести к увеличению затрат на электроэнергию, что может повлиять на доступность энергии для других пользователей и привести к увеличению счетов за электроэнергию.
Кража энергии: В некоторых случаях майнеры криптовалют могут попытаться украсть электроэнергию из сети, чтобы снизить свои эксплуатационные расходы. Это может привести к значительным потерям для энергетических компаний и повлиять на надежность электроснабжения.
Управление энергопотреблением: Энергопотреблением при добыче криптовалют может быть трудно управлять и регулировать, поскольку оно может происходить нерегулярно и в разных местах сети. Это может затруднить энергетикам обеспечение стабильности и надежности энергосистемы.
Воздействие на климат: Высокое потребление энергии при добыче криптовалют может способствовать выбросам парниковых газов и изменению климата, что вызывает растущую озабоченность у многих энергетиков и экологических групп.
В целом, несмотря на то, что майнинг криптовалют потенциально может принести значительные экономические выгоды, он также связан с целым рядом проблем, связанных с энергетикой, которые, по мнению некоторых энергетиков в России, необходимо решить, чтобы обеспечить устойчивость энергетической системы
Оценка: 9 баллов. Грамотный и разносторонний ответ. В п.2 можно было бы упомянуть о перекрестном субсидировании — тарифную нагрузку от сниженных тарифов населения несут промышленные потребители, майнинг криптовалют населением увеличивает эту тарифную нагрузку.
Пример вопроса, ответ на который был оценен в 8 баллов:
Назови ключевые принципы реформы Чубайса.
Ответ о ключевых принципах реформы Чубайса и его оценка (ответа, а не Чубайса)
Анатолий Чубайс был российским экономистом и политиком, сыгравшим ключевую роль в приватизации и реформировании электроэнергетики России в 1990-х годах. Ключевые принципы реформы Чубайса можно резюмировать следующим образом:
Приватизация: Главной целью реформы Чубайса была приватизация государственной электроэнергетики с передачей активов из государственной в частную собственность.
Конкуренция: Чубайс считал, что введение конкуренции в электроэнергетику приведет к повышению эффективности и снижению цен для потребителей.
Прозрачность: Чубайс подчеркнул важность прозрачных и справедливых процессов при приватизации и реформировании электроэнергетики, чтобы избежать коррупции и обеспечить передачу активов их наиболее эффективным владельцам.
Дерегулирование: Чубайс выступал за дерегулирование электроэнергетики с целью усиления конкуренции и инноваций.
Инвестиции: Чубайс поощрял частные инвестиции в электроэнергетику, как со стороны отечественных, так и иностранных инвесторов.
Либерализация рынка: Чубайс считал, что либерализация рынка электроэнергии путем введения конкурентной системы ценообразования приведет к лучшим результатам для потребителей и отрасли в целом.
Защита прав потребителей: Чубайс признавал важность защиты прав потребителей в электроэнергетике и выступал за создание системы защиты прав потребителей.
Технологические инновации: Чубайс поощрял внедрение новых технологий, таких как интеллектуальные сетевые системы, с целью повышения эффективности и надежности электроэнергетики
Оценка: 8 баллов. В целом декларировавшиеся принципы названы верно, но не назван один из основных принципов - разделение вертикально-интегрированнных компаний, входящих в состав РАО "ЕЭС России" (это название также не прозвучало) на конкурентные и естественно-монопольные виды деятельности
Пример вопроса, ответ на который был оценен в 6 баллов:
Реактивная мощность — каковы ее последствия для энергосистемы, берут ли за нее плату в России?
Оценка ответа на вопрос о реактивной мощности
Реактивная мощность имеет несколько последствий для энергетической системы:
Повышенные потери мощности: Реактивная мощность может увеличить потери мощности в системах передачи и распределения электроэнергии из-за поглощения энергии, а затем рассеивания в виде тепла в компонентах системы.
Снижение эффективности: Реактивная мощность может снизить общую эффективность энергетической системы, поскольку энергия, которая не используется для выполнения работы, поглощается, а затем рассеивается в виде тепла.
Нестабильность напряжения: Реактивная мощность может вызвать нестабильность напряжения в системе электроснабжения, что приведет к колебаниям напряжения и потенциально может привести к повреждению электрооборудования.
В России коммунальные предприятия обычно взимают плату за потребление реактивной мощности. Стоимость реактивной мощности может быть значительной, особенно для промышленных и коммерческих потребителей, потребляющих большое количество электрической энергии. Точная сумма, взимаемая за реактивную мощность, может варьироваться в зависимости от коммунальной услуги и условий соглашения об обслуживании клиента.
Подводя итог, для энергетических систем важно управлять реактивной мощностью для поддержания стабильности системы, обеспечения эффективного энергоснабжения и минимизации затрат.
Оценка: 6 баллов. Последствия оценены верно, но вывод о том, что коммунальные (?) предприятия обычно взимают плату на реактивную мощность, неверен — плата за нее редкость, такое условие договора не предусмотрено российским законодательством.
Пример вопроса, ответ на который был оценен в 4 балла:
Опиши механизм рыночного ценообразования при формировании цены на электроэнергию и цены на мощность на оптовом рынке в России.
Ответ о механизме рыночного ценообразования, оцененный на 4 балла:
Механизм рыночного ценообразования при формировании цен на электроэнергию и мощности на оптовом рынке в России действует под надзором Федеральной антимонопольной службы и управляется Федеральным оператором оптового рынка (FWMCS).
Механизм рыночного ценообразования включает в себя следующие этапы:
Торги: Генерирующие компании подают заявки на продажу электроэнергии на оптовом рынке, указывая цену, которую они готовы принять за свою электроэнергию.
Клиринг: FWMCS проводит аукцион, выбирая предложения с наименьшими затратами, которые необходимы для удовлетворения спроса на электроэнергию. Цены выбранных заявок определяют расчетную цену, которая становится ценой, по которой электроэнергия продается на оптовом рынке.
Взаиморасчеты : FWMCS проводит расчеты на рынке, собирая платежи от покупателей и распределяя платежи между продавцами на основе клиринговой цены.
Механизм рыночного ценообразования в России призван способствовать конкуренции и эффективности, а также обеспечивать справедливое и прозрачное распределение электроэнергии между потребителями. Рынок работает в режиме реального времени, при этом цены постоянно устанавливаются в ответ на изменения условий спроса и предложения.
В целом, механизм рыночного ценообразования на российском оптовом рынке электроэнергии разработан таким образом, чтобы сбалансировать интересы различных участников рынка, таких как генерирующие компании, операторы передачи и потребители, обеспечивая при этом надежность и стабильность электроэнергетической системы.
Оценка: 4 балла. Некорректно назван коммерческий оператор оптового рынка. Механизм рынка описан общими словами, акцент сделан только на заявках генераторов, хотя заявки подают и покупатели. Не прозвучало про сектор свободных договоров, про узловую модель рынка, почасовые цены на энергию, названия секторов рынка (РСВ, БР, КОМ)
Пример вопроса, ответ на который был оценен в 1 балл:
Опиши работу оптового и розничного рынка электроэнергии в России.
Ответ на вопрос об оптовом и розничном рынке
В России оптовый рынок электроэнергии функционирует как централизованная система, где Федеральная сетевая компания Единой энергетической системы (ФСК ЕЭС) отвечает за передачу электроэнергии от электростанций к распределительным компаниям. Розничный рынок электроэнергии не регулируется, что означает, что у потребителей есть выбор поставщиков, а цены определяются спросом и предложением. Оптовая цена на электроэнергию устанавливается Федеральной службой по тарифам, в то время как розничные цены устанавливаются отдельными поставщиками. В последние годы российское правительство проводит реформы, направленные на повышение конкуренции на розничном рынке и привлечение инвестиций в сектор электроэнергетики.
Оценка: 1 балл. Ошибочно ФСК соотнесен с оптовым рынком, не упоминая роли АТС и СО. Ошибочно указано, что оптовая цена устанавливается ФСТ, а розничные цены - отдельными поставщиками. Ошибочно сказано, что розничный рынок не регулируется. Не сказано о механизме трансляции цены оптового рынка на розницу.
Заключение
Автор не публикует каких-либо качественных выводов и собственных оценок на основании данного исследования о конкретной нейросети и о системах искусственного интеллекта в целом.
Автор будет благодарен за периодическое размещение в комментариях к статье сообщений о том, какие еще аналогичные нейросети вы предлагаете протестировать этим списком вопросов, а также о выходе новых версий и новых нейросетей (автор не следит специально за их выходом, поэтому может пропустить что-то достойное сравнительного тестирования на данном блоке вопросов).
Комментарии (28)
Qvxb
00.00.0000 00:00Оценка: 6 баллов. Последствия оценены верно, но вывод о том, что коммунальные (?) предприятия обычно взимают плату на реактивную мощность, неверен — плата за нее редкость, такое условие договора не предусмотрено российским законодательством.
Если в качестве нагрузки взять скажем конденсатор, то переменный ток через него пойдет и счетчик его посчитает, однако у него же активное сопротивление = бесконечность, т.е нагрузка чисто реактивная и счетчик получается ее учитывает, где здесь ошибка?
avshkol Автор
00.00.0000 00:00Даже реактивная нагрузка создает какой-то ток, который создает активные потери в сети потребителя. Их и посчитает счетчик.
Плата за реактивную мощность - это когда умный счетчик посчитает не только активную, но и реактивную мощность/энергию, и эту реактивную величину предъявить, помимо активной, в счете за электроэнергию. Такого сейчас нет.
Qvxb
00.00.0000 00:00Эта реактивная энергия которая не учитывается могла бы сделать полезную работу? Например зажечь лампочку?
Если нет - то в чем проблема?
Если да - то получается счетчик не учитывает энергию которая вполне себе требует ресурсов для создания себя?
Что то мне подсказывает что здесь точно не второй вариантavshkol Автор
00.00.0000 00:00Если мы включим лампочку, на ее свечение и тепловыделение уйдет активная энергия, которую зафиксирует счетчик.
Может ли реактивная энергия совершить полезную работу? Мой ответ - нет, хотя, соглашусь, в сети есть множество материалов, которые это утверждение оспаривают...
NickGK
00.00.0000 00:00Как один из тех, кто был связан с разработкой электросчетчиков скажу.
Комунальщики оплату за реактиывую мощность берут. Определяют активную и реактивную мощность в счетчике по отдельности а затем суммируют. Это современные электронные счетчики. А вот старые, аналоговые, с крутящимся диском, из Советского Союза - вот те учитывали только активную мощность
smidmi
00.00.0000 00:00+5Как энергетику, было интересно прочитать. Но я вижу проблему. Автор путает чат-бота на языковой модели и поисковик Google. Это видно даже по вопросам и ответам. Там, где требуется по иному интерпретировать широко известный факт - модель справляется. Там где автор задает узкопрофильный вопрос - ответ неверный. Плюс, конечно играет роль перевод туда-обратно. Может теряться начальный смысл.
avshkol Автор
00.00.0000 00:00+1Да, перевод туда-обратно может вносить искажения, поэтому я старался подходить максимально лояльно и не придираться излишне к формулировкам.
Во многих более узкопрофильных вопросах модель давала довольно приличные ответы. Но если в она на чем-то не обучалась, это было видно сразу (на теме ГОЭЛРО, например, совсем не обучалась)...
phenik
00.00.0000 00:00Хотя бы в одном ответе был элемент новизны для вас, того, что вы не знали, или идея хотя бы для уровня курсача? Но проверив убедились в верности. В этом исследовании ответов на медицинскую тему эксперты ответили элементы новизны. Но, к сожалению, не привели примеров для сравнения. Дело в том, что такие языковые модели моделируют некоторый уровень ассоциативного мышления человека, поэтому могут фантазировать в обе стороны, и иногда должны выдавать новые, полезные ассоциации, как и человек.
avshkol Автор
00.00.0000 00:00+1Нет, в ответах на вопросы об энергетике элементов новизны не увидел (зато увидел массу неожиданных предложений в другом диалоге - я параллельно выкладываю здесь заметки о разработке библиотеки для решения задач методами теории игр - вот там он нагенерил много того, что нужно будет обдумать - как будто устроил мозговой штурм среди спецов по теории игр и ООП одновременно!).
Приведенное исследование ответов на вопросы из медицины (как я понял, это общетерапевтические знания?) отличается тем, что в формулировке вопроса ( на постановку диагноза или подбор лечения) уже содержатся 5 вариантов ответа, нужно выбрать и обосновать верный - это на мой взгляд проще для нейросети, чем полностью с нуля формировать ответ, как у меня. Новизна, скорее всего, нашлась в обосновании ответов, которые были не верными, но идеи были интересными... Там 3 блока, в каждом по 200+ - 300+ вопросов, что даёт более качественную статистику.
phenik
00.00.0000 00:00Спасибо за объяснение. В том исследовании они как-то неопределенно написали
At least one significant insight was present in approximately 90% of outputs. ChatGPT therefore possesses the partial ability to teach medicine by surfacing novel and nonobvious concepts that may not be in learners’ sphere of awareness.
Это может быть связано с тем, что информации по этим темам в обучающей выборке было много, включая исследовательские отчеты, это все же медицина) это позволяло выдавать менее очевидные ассоциации. Это еще связано с особенностями выбора параметров сэмплирования (см. в этой публикации о чем речь) в чате о которых неизвестно, т.к. OpenAI, не смотря на открытость в названии, до сих пор не опубликовало документа или исследовательской статьи с деталями его реализации.
Georgy9
00.00.0000 00:00Похоже, проблема в том, что в датасете была слабо представлена российская информация. Не находя подходящей и оказавшись в условиях неопределенности, система начинает "фантазировать", используя нечто, как ей представляется, подходящее по смыслу. Похоже, она не обучена говорить "я не знаю" или хотя бы "но это неточно"))
avshkol Автор
00.00.0000 00:00Да, отдельные области не были представлены (например, она ничего не знала о ФАС, который регулирует энергетику, но знала о ФСТ - Федеральной службе по тарифам, которая упразднена в 2015, не знала об АТС - Администраторе торговой системы, СО - Системном операторе, при этом я напрямую о них не спрашивал, но задавал вопрос так, что без упоминания их ответ был бы недостаточно точным).
Но несколько заданных вопросов были уточняющими, и там она признавалась, что предыдущие ответы были неверными или неточными, и уточняла, как правило, корректно.
Georgy9
00.00.0000 00:00Вот это как раз интересно, обучается она при этом, или данные уточнения сохраняются только в текущем сеансе. Вроде как в других тестах получалось, что она по большому счету "доверяет" только разработчикам.
avshkol Автор
00.00.0000 00:00Да, обучается. Так, я попросил назвать ее 5 крупнейших генерирующих компаний в России, она не упомянула одну из самых крупных. Я переспросил, почему она не упомянула такую-то? Она извинилась, сказала, что да, она крупнейшая и сообщила информацию о параметрах этой компании.
Теперь, через некоторое время (более недели), я задал тот же вопрос, в другом чате, и она ее упомянула, первой же (но теперь уже забыла про другую, не менее крупную...)))
Georgy9
00.00.0000 00:00Вот это хорошо, мне и хотелось предложить нечто подобное. Но учитывая, что в мире огромное количество людей с разрушительными чертами характера, а контроля за нынешним "обучением" (в отличие, скажем, от Википедии) у разработчиков нет, есть большая вероятность, что ее научат "плохому". Тут человек-то не всегда отличит фейк от правды, что уж говорить о железяке.
phenik
00.00.0000 00:00Да, обучается.
Вы не правы, обучения нет. Ответы основываются на обучающей выборке конца 2021 г. Дообучение происходит только в контекстном окне текущей сессии, затем теряется. Хотя на сервере ответы возможно сохраняются для анализа работы чата. Вы задали ему новый контекст с упоминанием компании, чат сгенерировал ответ.Теперь, через некоторое время (более недели), я задал тот же вопрос, в другом чате, и она ее упомянула, первой же (но теперь уже забыла про другую, не менее крупную...)))
Чат вероятностно формирует ответы, это зависит от настроек сэмплирования, и предыдущего введенного в сессии текста. Тут в коментах статей немало примеров, когда на одни и те же вопросы генерятся разные ответы, иногда противоположные по смыслу, вот пример, может только язык запроса мог повлиять. Самое лучшее представление, что делает модель генерируя ответ, это выполнение аппроксимации очень сложной авторегрессивной функции с некоторой ее модификацией в контекстном окне сессии. При выборе наиболее вероятных последующих токенов будут генерироваться одинаковые ответы, при вероятном выборе следующих токенов случайные ответы. В чате поиска Бинга, после опыта эксплуатации, решили даже ввести переключатель такого режима.
holodoz
00.00.0000 00:00+1Дообучения как такового тоже не происходит, на вход модели кроме самого вопроса подаётся определённое количество предыдущих запросов-ответов, не более. То есть через три-четыре ответа вся информация будет утеряна
phenik
00.00.0000 00:00Верно, «дообучение» на период сессии, если сессия короткая, если нет, то контекст может быть утерян. Вот тут подробнее расписал, и провел некоторые аналогии с диалогами людей.
avshkol Автор
00.00.0000 00:00Если у вас есть доступ, вы можете проверить, задав “Name the five most famous generating companies in Russia.” - напишите, что ответит? - станет понятно, обучилась ли после подсказок…
avshkol Автор
00.00.0000 00:00Если у вас есть доступ, вы можете проверить, задав “Name the five most famous generating companies in Russia.” - напишите, что ответит? - станет понятно, обучилась ли после подсказок…
holodoz
00.00.0000 00:00В ответах есть элемент случайности, на один и тот же вопрос каждый раз может разный ответ, степень разности может очень сильно варьироваться. Задал этот вопрос 3 раза - один раз список повторился, один раз получил новый
nivorbud
00.00.0000 00:00Имхо, такие системы совершенно не годятся в качестве экспертных. Ажиотаж вокруг них чисто эмоциональный. Это лишь подражание и не более того, по сути - переформулировка, изложение того же закона Ома (на основе набора статей) своими словами, но... с большой вероятностью внедрения смысловых ошибок в результате этого процесса.
Пользователь экспертной системы, думаю, предпочел бы в качестве ответа просто точную цитату и ссылку на источник. Всё остальное понравится лишь копирайтерам/рерайтерам, генерирущим тонны копеечных текстов на любую тематику, без ответственности за смысл написанного. Боюсь, как бы не выплеснулось всё это в интернет.
Еще такие системы могут быть интересны аналитикам для выявления новых неожиданных связей между данными. Но это ручная аналитическая работа.
В остальном - баловство это всё. После внедрения подобных алгоритмов ИИ поисковиками, я вижу, как сильно упало качество поиска - выдача стала неконкретной, расплывчатой, найти что-то конкретное (непопулярное, специфическое) без кавычек и восклицательных знаков стало невозможно. Но для домохозяек, вбивающих расплывчатый запрос, типа "хочу что-нибудь про котиков", такой поиск - самое оно.
avshkol Автор
00.00.0000 00:00
Вот набросал 2 варианта оценки положения вещей с современными нейросетями...
avshkol Автор
00.00.0000 00:00Вот утверждение, что "нежить" (ироничное название подобный нейросетей) еще внизу S-кривой технологии.
Anton_Andreevich
00.00.0000 00:00У меня складывается впечатление, что такие боты только сделают только более цеными настоящих профессионалов. По крайней мере в технических специальностях.
chernish2
А почему же автор не публикует выводов? А зачем тогда статью писали? Я бы очень хотел именно экспертные выводы изучить.
avshkol Автор
Возможно, потому, что еще рано... )
Мне хотелось бы накопить статистику оценки ответов в интересной мне области (понятно, что далеко не всем эта область будет интересна) - изучить разные ИИ на типовом блоке вопросов, посмотреть динамику со временем... И, возможно, через пять-десять лет можно будет сделать качественные выводы (качественные - в том смысле, что готова ли анализируемая система сейчас или в ближайшем будущем поработать/заменить/ в данной области).
Статья просто дает текущую статистику на большом блоке вопросов, по узкой теме. Возможно, это сподвигнет других исследователей в своих отраслях знаний также собирать статистику...
chernish2
Ну предварительный вывод же можно сделать.