На волне безумной популярности ChatGPT, которая умеет писать статьи, музыку, верстать сайты, а самое главное при этом сохраняя контекст диалога, стало интересно, насколько реально потягаться с ней в шахматном искусстве
Предисловие.
В настоящий момент ни для кого не секрет, что возможности вычислительной техники намного опережают возможности человека, пусть и самого гениального и талантливого. С каждым годом остается все меньше сфер и направлений, где человек был бы абсолютно незаменим и замена его какими-либо алгоритмами и программами не представлялась возможной. До совсем недавних пор нельзя было представить, что нейросети могут создавать иллюстрации, писать книги и сценарии, но это время наступило, уже и это не кажется чем-то таким невозможным. В этой статье я хотел бы поделиться своим опытом игры в шахматы с ChatGPT, но начнем мы с небольшого исторического контекста.
Небольшой исторический экскурс.
Вообще, на заре становления компьютерной техники самым главным катализатором возможностей компьютеров в сравнении с человеком были шахматы. Оно и понятно - простые правила, огромное количество возможных вариантов развития партии, компьютеру сложно "смухлевать" и иметь явное преимущество перед человеком. Так одним из самых знаковых ЭВМ для игры в шахматы можно считать Deep Blue. На тот момент это был шахматный суперкомпьютер, разработанный в IBM. Первая его версия в феврале 1996 года потерпела поражение от Гарри Каспарова со счётом 2 : 4. Эта была великолепная игра и проявление гения Каспарова. Он понимал, что хоть компьютер и умеет просчитывать варианты на десятки ходов вперед, он имел большой изъян - не умел понимать шахматную стратегию и вести грамотную позиционную игру, особенно если свернуть партию с известных дебютных троп. Лично мне особенно запомнилась последняя, шестая, партия из того противостояния.
Обзор шестой партии противостояния Г. Каспарова и Deep Blue
Увы, это была последняя успешная игра против шахматного компьютера, ведь всего лишь год спустя была представлена общественности обновленная вторая версия шахматного суперкомпьютера, которая оказала сопротивление Г. Каспарову и взяла реванш за младшего брата, закончив игру со счетом 3½ : 2½ в пользу Deep Blue. После этого было много шума, Каспаров обвинял IBM в жульничестве и нечестной игре, давлении, просил переигровки, но это не имело по большому счету большого значения - было очевидно, что это только начало революции компьютеров в шахматном мире, технологии развивались стремительно и, если уже в 1997 году суперкомпьютер мог обыграть самого сильного шахматиста мира, то с каждым обновлением ЭВМ, с увеличением производительности, новыми алгоритмами шансов у человека против них не оставалось.
До 2017 года в мире шахмат все было спокойно и размерено. Существовали различные шахматные движки, которые умели анализировать позиции, правильно расчитывать угрозы и делать немыслимое погружение во все возможные варианты на десятки ходов вперед, что естественно не под силу человеку. В помощь движкам добавили дебютную базу (несколько первых ходов игроков, которые определяют ход всей дальнейшей партии), а также использовали эндшпильные таблицы Налимова, которые позволяли компьютеру в конце игры практически моментально и точно просчитывать исход игры со 100% точностью. Самым сильным из всех движков был Stokfish, и с ним не то что человек не мог потягаться, с ним не могли на равных тягаться даже другие движки и шахматные системы.
Но в 2017 нейросети начали просачиваться в повседневную жизь. Компания DeepMind представила миру свое детище - AlphaZero. Программа, основанная на нейронных сетях, после всего лишь 24 часов самообучения просто разгромила самый сильный компьютерный движок. Из 100 игр с нормального начального положения AlphaZero выиграл 25 партий белыми, 3 чёрными и свёл вничью оставшиеся 72. Просто, без шансов.
И вот сейчас в 2023 году нейросети просто везде, где только можно. Чего стоит добавление ChatGPT в Bing. Мне стало очень интересно, умеет ли ChatGPT играть в шахматы и какова его сила на текущий момент.
Подготовка к игре в шахматы с ChatGPT.
Я честно признаюсь, что ожидал безумно интересной игры от ChatGPT. Конечно стоит понимать, что все таки это не шахматный движок, что он не заточен под эту игру, но все же, это нейросеть и неизвестно чему именно ее обучали разработчики. С учетом ее возможностей в сфере программирования и решения задач с литкода в частности, а также всего исторического шахматного контекста и колоссального объема данных для обучения в открытом доступе, я готов был к разгрому. Я не профессиональный игрок, в шахматы играю во время перерывов между изучением .NET среды, но я знаю, как можно сгладить углы. Во-первых, я решил, что неплохо было бы для начала визуализировать игру. Я не гроссмейстер, который способен держать партию в голове, поэтому для простоты зашел на lichess.org и решил что именно здесь буду играть против чата. Затем планировал включить встроенный движок, чтобы попробовать поднять свой скилл, заодно посмотреть как чат будет справляться с умным интеллектом. Ну и в дальнейшем хотел глянуть, будет ли чат со мной импровизировать, или разыграет какую-нибудь известную ему позицию из базы шахмат. Вооружившись инструментарием я ринулся в бой.
Как играет в шахматы ChatGPT.
Итак, начнем наше с ним знакомство
Hello! Can you play in chess?
> Yes, I can play chess! Would you like to play a game with me now?
Yes
> Great! I'll start the chessboard. What type of game would you like to play? A casual game or with specific rules such as time controls?
Casual game
> Understood, a casual chess game it is! I'll make the first move as white.
Я в предвкушении первого хода, гадаю куда же заведет меня чат, но первый ход немножечко убил:
К такому я был не готов, но быстро понял, что это один из вариантов шахматной нотации. В принципе, можно было бы и в таком виде переносить на электронную доску, но хотелось все таки более человеческого варианта. Поэтому попросив делать ходы в PGN нотации, все стало куда проще.
[Event "Casual Chess Game"]
[Site "OpenAI"]
[Date "2023.02.10"]
[Round "1"]
[White "ChatGPT"]
[Black "User"]
[Result "*"]
1. e4
Ну что ж, открытый дебют, ничего смертельного и хитрого, поэтому первые пять ходов не представляли особого интереса и на выходе из дебюта мы получили такую позицию.
Позиция по дебюту
Нотация:
e4 e5 2. Nf3 Nc6 3. Bb5 Nf6 4. d3 Bc5 5. O-O O-O
Миттельшпиль.
Глянув в движок, я понял, что поспешил с короткой рокировкой и имею уже хуже позицию (оценка +1,3). Я напрягся, ожидая постепенной реализации этого преимущества, но шестой ход меня очень смутил. Но да ладно, подумал я, возможно есть какая-то тактика или хитрость, попробуем продержаться... или может быть схитрим? Мне стало дико интересно, что будет, если указать заведомо невозможный ход.
> It's my turn again, I'll play 6. c3. Your move!
d4.
Визуализация хода
И это был первый звоночек. Вместо того, чтобы указать, что такой ход невозможен, чат такой ответ принял и продолжил партию, как ни в чем не бывало.
> Here's the updated PGN:
csharpCopy code[Event "Casual Chess Game"]
[Site "OpenAI"]
[Date "2023.02.10"]
[Round "1"]
[White "ChatGPT"]
[Black "User"]
[Result "*"]
1. e4 e5
2. Nf3 Nc6
3. Bb5 Nf6
4. d3 Bc5
5. O-O O-O
6. c3 d4
> I'll play 7. exd5. Your move!
Мы как истинные джентельмены не стали пользоваться невнимательностью чата (а то так можно и мат заочно поставить в два хода), поэтому поинтересовались у чата, возможен ли такой ход, который мы указали:
how are you thinking, my last move "d4" is possible?
> I apologize for that mistake. The move d4 by Black is illegal as it would put the Black king in check. In this position, the Black queen bishop on c5 is attacking the white queen, so moving the d-pawn would put the king in check. A player is not allowed to make a move that puts or leaves their own king in check.
> Here's the corrected PGN:
csharpCopy code[Event "Casual Chess Game"]
[Site "OpenAI"]
[Date "2023.02.10"]
[Round "1"]
[White "ChatGPT"]
[Black "User"]
[Result "*"]
1. e4 e5
2. Nf3 Nc6
3. Bb5 Nf6
4. d3 Bc5
5. O-O O-O
> My turn again, I'll play 6. c3. Your move!
Странный ответ. С одной стороны он прав, что такой ход невозможен, только вот причина совершенно другая - пешка не может ходить на 3 клетки вперед. Осадочек остался, но продолжим дальше. И тут еще один звоночек: чат, выдавая абсолютно правильную нотацию, стал "забывать" контекст. На восьмом ходу он очень хотел 8. Nc3, да вот незадача - эта клетка занята его же пешкой. И так сильно хотел этот ход, что пришлось у него три раза спрашивать, уверен ли он в таком ходе и возможен ли он, на что он говорил, дескать, да, ошибочка, извиняюсь - и снова пытался сделать этот же ход. Очень странно
> It's my turn again, I'll play 8. Nc3. Your move!
How is possible, your sixth move is c3
> I apologize for that mistake. You are correct, my previous move was 6. c3.
> I'll play 8. Nc3. Your move!
Wait a moment, on c3 your pawn after your previous moves
> I apologize for the confusion. Yes, you are correct. My previous move was 6. c3, and the pawn on c3 is a white pawn.
> I'll play 8. Nc3. Your move!
Its illegal move, because c3 hold your pawn
> I apologize for the error. You are correct, the move 8. Nc3 is illegal because it would put the knight on a square that is already occupied by a pawn. In chess, a player is not allowed to move a piece to a square that is already occupied by one of their own pieces.
> I'll play a different move, 8. d4. Your move!
С четвертого раза мы поняли и приняли, наконец, что были неправы и сделали другой ход.
К десятому ходу случилось немыслимое - чат просто так отдал фигуру. Оценка уже -7, что означает позиция за белых просто безнадежно проигранная. И это практически в самом начале игры
Нотация:
1. e4 e5 2. Nf3 Nc6 3. Bb5 Nf6 4. d3 Bc5 5. O-O O-O 6. c3 d5 7. exd5 Qxd5 8. d4 exd4 9. Nxd4 Bxd4 10. cxd4 Qxb5
Позиция и оценка
Целый лишний конь и оценка движка практически в -8. Это поражение. Уверен, что в таких позиция тренер Бет Хармон из сериала "Ход королевы" заставлял ее сдаваться.
После такого "трюка" стало ясно, что на самом деле ChatGPT в шахматы играть не умеет от слова совсем. Все что он умеет - делать вид, что умеет играть. То есть составлять нотацию по правилам, и никак не пытается понять правильность и возможность таких ходов. Это меня сильно насторожило. Шахматы - не самое главное, достаточно написать модуль для чата, который будет уметь играть в шахматы и чат научиться это делать превосходно, я уверен. Меня больше всего в этом удивил следующий момент: почему чат не понимает контекст? Ведь есть куча историй, как чат помогает в различных задачах, может верстать страницы, добавлять какую-то логику в уже имеющееся решение, дополнять какими-то элементами и многие уверены, что чат помнит весь контекст и умело его использует. С его помощью даже вот дипломы пишут, на секундочку. Но как оказалось, это не так. За 8 ходов чат не смог справиться с контекстом, в упор не видел своей ошибки и даже не признавал сразу, после того, как в нее указали, несмотря на то, что историю партии он выводит правильно.
Эндшпиль.
Дальше было хуже. К 12 ходу у чата началась деменция, он стал путать очередность хода и предлагал мне пойти второй раз
> It's my turn again, I'll play 12. Qf3. Your move!
Qxf3
>Here's the updated PGN:
>It's your turn again. What's your next move?
I did Qxf3 after your 12. Qf3. Your move now
>Yes, I apologize for the mistake. After your move 12... Qxf3, it's my turn again. I'll play 13. gxf3. Your move!
Еще через два хода чат решил мне продемонстрировать, что знаком с классикой и стал косплеить Остапа Бендера из деревни "Васюки".
> It's my turn again, I'll play 14. Bg5. Your move!
My move is Nxf3+
> It's my turn again, I'll play 15. Kg2. Your move!
My move is Nxg5
> Here's the updated PGN:
14. Bh4 Nxf3+
15. Kg2 Nxg5
Его ходы пошли вразрез с шахматной нотацией. Ну мы тоже ему продемонстрировали, что с классикой знакомы
Все ходы записаны
Пришлось выяснять отношения с чатом
You are playing white. Your 16. h4, i move .. Ne6. It's your turn, 17th move
> Ok, I'll play 17. Bf4. Your move.
You are don't have a bishop after 14. Bg5. Nxf3+ 15. Kg2 Nxg5. Your 16 move is 16. h4, my move is Ne6.
> My move is 17. Bf4. Your turn.
In your notation mistake: Your 14 move was Bg5.
> My move is 17. Bf4. Your turn.
You are don't have a bishop, your last move is illegal
Все таки он этот момент исправил, но все равно стал испытывать фантомные боли - ходить слоном, которого уже не было. Тут же и деменция обострилась и чат предложил мне снова ходить после своего хода, а потом вообще стал сам сразу ходить за двоих, естественно не впопад.
Сдача партии.
Чат хватило на еще один ход, который тоже был невозможен, он пытался ходить пешкой, которой у него было. После неоднократного указания на это, чат решил перестать играть в шахматы далее:
Are you sure? Your 13. gxf3. Now you don't have a pawn on g line
> I apologize, you are correct. After 13. gxf3, white no longer has a pawn on the g-file. The correct move would be 18. hxg5 instead.
18. hxg5 its illegal for you
> Yes, you are correct. My apologies for the mistake. The move 18. hxg5 is illegal because it would leave the king in check. The correct move would be 18. Nxg5
I don't understand, how u can 18. Nxg5? Its move imposible for you
> I apologize for that mistake. You are correct, I cannot play 18. Nxg5 as I am playing the white pieces and the knight is black. The correct move for white would be 18. hxg5. Thank you for bringing this to my attention.
Are welcome. But make you sure, what you 18. hxg5 is possible? After 17. h5 Nxh5 you don't have a pawn more.
> I apologize for the mistake. You are correct. After 17. h5 Nxh5, there is no longer a pawn on h5. I cannot play 18. hxg5. I'm sorry for the confusion.
Ok. what's you move now?
> I apologize, but as an AI language model, I am not able to physically play chess. I can only generate text based on the information and prompt given to me. I can assist with providing information, analysis, and PGN notation for a chess game.
It's mean what you are have defeat in this game?
> As an AI language model, I do not have the ability to win or lose a game of chess. I can only assist with providing information, analysis, and PGN notation for a chess game.
Лишь бы не признать себя побежденным...
Результат.
Какой итог можно подвести. Обыгрывать искусственный интеллект конечно приятно, но это не совсем тот случай. Понятное дело, что за нейросетями будущее и они в самом ближайшем времени будут внедряться в различные сферы и аспекты жизни. Мне было интересно поиграть с чатом в шахматы, чтобы оценить его силы в сравнении с имеющимся движками, проанализировать какими партиями он руководствуется, да и вообще планировал во время партии спрашивать о его ходах, ожидая анализа решений, что могло бы очень сильно помочь в изучении шахмат. Но стало грустно, когда пришло осознание, что по сути чат занимается имитацией деятельности, нежели реально эту деятельность ведет. И дело не в том, что он ужасно играл в шахматы - это неважно. Я понимаю, что в него банально не заложены правила игры, отсюда идет такая игра. Но! Есть одно огромное и важное, на мой взгляд "но". На самом деле чат не понимает контекст и не может дать в режиме реального времени оценку своим же решениям. Через 7 циклов обращений к нему он стал противоречить самому себе. Благодаря шахматам я это смог понять и поймал себя на мысли, что чат напоминает более прокаченную версию умной колонки или голосового помощника, который может блестяще справляться с простыми задачами и имитировать помощника-собеседника, но через несколько обращений подряд он уже не понимает, что от него хотят и как это сделать.
Вывод.
Вывод у меня получился двоякий. С одной стороны мне, как начинающему разработчику, было приятно видеть, что все таки чату очень и очень далеко для выдавливания ИТ специалистов. Да, он многое умеет, он будет уметь еще больше, и это скорее вопрос времени, когда это случится, но это явно не в этом или следующем году, так что надо продолжать учиться и самостоятельно развиваться, пока еще есть возможности. С другой, немножко стало не по себе, когда представил, что в своих ответах чат руководствуется огромным пластом данных, при этом нет никакой гарантии в правильности ответа, в его достоверности и объективности. Ладно, если там фактические неточности или вода в дипломе. Что если чат будут использовать инженеры для каких-то испытаний и просчетов, для моделирования каких-то моделей, для установления связей? Вот это на текущий момент немного настораживает.
Нотация и итоговая позиция
e4 e5 2. Nf3 Nc6 3. Bb5 Nf6 4. d3 Bc5 5. O-O O-O 6. c3 d5 7. exd5 Qxd5 8. d4 exd4 9. Nxd4 Bxd4 10. cxd4 Qxb5 11. Nc3 Qf5 12. Qf3 Qxf3 13. gxf3 Nxd4 14. Bg5 Nxf3+ 15. Kg2 Nxg5 16. h4 Ne6 17. h5 Nxh5
Комментарии (109)
BenGunn
00.00.0000 00:00+2В статье правильно подмечено, что нейронка не понимает контекст происходящего. Я ChatGPT мучал на предмет сочинительства музыки и пытался решать домашку по сольфеджио. И собственно пришел к выводу, что сетка очень хорошо выдает себя за Моцарта, но к сожалению совершенно не понимает предметной области. Например сеть знает что есть тоника - субдоминанта - доминанта, но абсолютно «не понимает» их функции в музыке и лепит абы что. Если человек в предмете не понимает, то ее ответы выглядят абсолютно убедительно. Но вся магия тут же рушится когда ее ответы пытаешься сыграть на инструменте. Будущее еще не наступило, но уже на пороге и заглядывает к нам в окна.
DS28
00.00.0000 00:00Я тоже обратился по музыкальным вопросам, она вполне себе может писать текст песни и предложить аккорды к ней. Может предложить что-то интересное, например: "Here are two more chords that could provide a unique and interesting sound after Am7 and Csus2: Bm7b5 - F#m7b5", но мне кажется, это мне повезло. Когда я попросил его "How to change Em - G - D - A to something more interesting" он выдал "Cmaj7 - G#dim - Dm - F#".
BenGunn
00.00.0000 00:00+1Длинные последовательности аккордов (12 аккордов) с модуляцией из тональности в тональность звучат часто плохо. Иногда бывают удачные попадания. Мне кажется, что это случайность. Но если попросить сочинить песню про котика в стиле Judas Priest (почему бы и нет) то часто получается весьма интересный текст и гармония на 4 аккорда которые можно прям брать и играть после минимальной обработки напильником. И это все на на нейронке с языковой моделью, т.е. имитации разговора. Меня такое сильно впечатлило.
DS28
00.00.0000 00:00Длинные последовательности - это понятно. Но вот 4 типовых он превратил в какую-то очень странную штуку...
А вот с примером песни - да, Judas Priest про котика получится очень быстро и хорошо, и это правда впечатляет
Alohahwi
00.00.0000 00:00+53Пока читал статью в голове звучал старый анекдот:
Заходит мужик к другу, а тот сидит с собакой в шахматы играет.
- У, какая умная у тебя собака!!!-восклицает с удивлением мужик.
- Какая умная!? Счет 3-2 я выигрываю.
grigr
00.00.0000 00:00+3Есть ещё вариант про Покер:
Да какая умная, она когда блефует, хвостом виляет
Medeyko
00.00.0000 00:00+27Коллега, это ж ЯЗЫКОВАЯ МОДЕЛЬ, причём пока ещё довольно маломощная!
Она с вами играла не на основании знания правил, а на узнавании паттернов - которые причём ей поступают в символьном виде, и ей надо ещё этот символьный ввод с двухмерной доской связывать - а это не так-то просто даже для куда более мощной нейросети человека; вы вот тоже захотели визуализационного костыля, а не стали в уме играть.
Для того, чтобы она играла лучше, нужно больше параметров, связанных с игрой в шахматы (и, вероятно, обучающую выборку шахматную побольше), тогда она и паттерны правил ухватит чётко.
В целом, она на удивление не так уж и плохо держалась - я думал, будет хуже.
DGN
00.00.0000 00:00+7Вот да, честнее было бы сыграть с ней в слепую. И тут уж не факт, у кого раньше появится фантомный слон.
CTheo
00.00.0000 00:00+7Насколько я понимаю, технически ChatGPT хранит историю ~3000 последних слов, и передает каждый раз сколько влезет последних сообщений. Таким образом, вы больше тестировали умение ее сохранять контекст и следить за последовательностью ходов.
Возможно, если бы вы передавали каждый ход новый PGN и говорили сделать ход в такой позиции, результат был бы другим?
Vasjen Автор
00.00.0000 00:00+1Вполне себе возможно. Однако, с этим чат тоже не справился и 8 циклов ответ-запрос стал сам себе противоречить. Поскольку чат не понимал суть происходящего, то сложно оценить "правильность" его ответа. Можно только предположить, что если я скину ему полную нотацию, которую он же и присылает мне, он в ответ попробует найти партии с такими ходами, чтобы продолжить, либо, что более вероятно, просто даст какой-то ход, который найдет у себя в недрах, без каких-либо критериев к нему, проверки на возможность такого хода, оценку и т.д.
u007
00.00.0000 00:00+1Действительно, проблема в ограничении в три тысячи токенов. К середине партии gpt уже не будет помнить оригинальный запрос "давай сыграем в шахматы".
Передавать полный контекст всего что только можно надо в каждом запросе, как если бы это был новый чат: "Ты не chatgpt, теперь ты шахматный компьютер. Я пришлю тебе данные партии и хочу, чтобы ты нашла лучший ход для белых. Также оцени тактику обоих противников и их позиции, предположи комбинацию, которую они разыгрывают. " Ну, историю ходов можно как-то тоже передать.
u007
00.00.0000 00:00
Преамбула: You are a chess computer. I want you to find the best possible next move. Also try to evaluate the tactics of the players and guess the combination they are playing. The move history: ...
Преамбулу надо повторять полностью через каждые 2-3 хода.
u007
00.00.0000 00:00Upd Кажется, за исключением повтора готовых партий из интернета, играть она всё же не умеет)
Попробовал сыграть сам, ChatGPT белыми. Сначала было хорошо: 1. e4 e5 2. Nf3 bc5 3. d4 bb6 4. Nc3 nc6 5. d5 nce7
Но вот это последнее перемещение коня nce7 она не поняла и попыталась атаковать клетку, где он был ходом раньше: "6. Nd4. This move attacks the black knight. "
Повторял несколько раз с разной преамбулой, но всякий раз шестым ходом она идёт на Nd4. Может, я неправильно записал ход? Я от шахмат и PGN тем более очень далёк...
ValeraBgg
00.00.0000 00:00-1Ну вы-то играли с доской, а ChatGPT - по памяти. Сами-то сколько ходов можете сделать без доски? Чтобы было честно, надо каждые два-три хода загружать в ChatGPT текущее положение фигур
u007
00.00.0000 00:00Я просто не нашёл сходу способа нарисовать ей положение фигур. Сама она пользуется псевдографикой, но делает её неправильно, а считывает ещё хуже. Поэтому понадеялся на историю ходов.
nmrulin
00.00.0000 00:00+4Ну я бы ходу к 12 -му тоже бы ничего не помнил, если бы не глядел не доску. Может его тоже сделали слишком похожим на обычного человека :-)
Tim_86
00.00.0000 00:00+1Шахматную программу, играющую на уровне гроссмейстера, можно скачать на телефон. Добавить нормальный шахматный движок в ChatGPT скорее всего не составило бы труда. Видимо, просто не было такой цели. Хотя конечно возникает вопрос почему, может просто упущение? Или, может быть, потому что чат-бот не смог бы объяснять логику своих ходов в ответ на просьбы это сделать.
anonymous
00.00.0000 00:00НЛО прилетело и опубликовало эту надпись здесь
Panzerschrek
00.00.0000 00:00Спрашивается, зачем оно надо, если я сам могу когда надо запустить Wolfram, когда надо - шахматный движок, а когда надо - посмотреть в Википедии? Предлагаемый вами сервис-адаптер будет делать то же самое, только плохо, ибо ChatGPT может ещё и отсебятину нести.
Metaluger
00.00.0000 00:00Например потому, что одна точка входа это иногда удобно? Ну там, "ок гугл, скучно, давай в шахматы сыграем", "помоги решить задачу по физике сыну из 6го класса", "найди мне рецепт хлеба", собственно, все что сейчас пытаются делать с ChatGPT, только добавить специфических навыков в том, что она сейчас не умеет или умеет плохо.
red75prim
00.00.0000 00:00+11В ChatGPT вообще ничего не добавляют. Ей скормили несколько терабайт текста и потренировали, чтобы она была вежливой.
Способность сети играть в шахматы появилась в результате обработки этих терабайтов, содержащих в том числе и примеры шахматных партий.
Tim_86
00.00.0000 00:00Ну да, хотя дать возможность боту подключать шахматный движок, если кто-то предлагает сыграть, ничего бы не стоило.
Но порассуждать с ChatGPT о причинах принятых в игре "решений" думаю не получилось бы - в лучшем случае список возможных вариантов, рассчитанных движком.
Так или иначе, дым понемногу рассеивается. Просто чат-бот, как скромно назвали его авторы.
Это трудно назвать даже ИИ - интеллект подразумевает какое-то самостоятельное мышление, а не генератор текстов.
Но прогресс все равно впечатляет
Desprit
00.00.0000 00:00+3А действительно "ничего бы не стоило"? Мы словно и не на техническом ресурсе. Какой именно движок прикручивать? Кто должен его прикручивать? Для каждой области знаний прикручивать? Потом, наверное, еще и обновлять? У ChatGPT одна задача - стараться вести более-менее осмысленный диалог. Если кому-то хочется поверх ChatGPT что-то там прикручивать, то это дело уже не OpenAI, апи есть, берем и делаем.
Tim_86
00.00.0000 00:00У ChatGPT одна задача - стараться вести более-менее осмысленный диалог.
Где вы это прочитали? В документации ChatGPT?
Кто должен его прикручивать?
Речь и не шла о том что кто-то должен. Но было высказано мнение, что сделать это было бы нетрудно.
С тем, что ChatGPT по-видимому не предназначен чтобы хорошо играть в шахматы, согласен. Но, простите, технически шахматный движок прикручивается на раз-два. Такая элементарная вещь, что и говорить неудобно.
Desprit
00.00.0000 00:00+1Прочитал что? Что модель, обученная на терабайтах текстов из источников типа википедии, книг, социальных сетей, stackoverflow и подобного, которая имеет в названии слово chat, имеет перед собой цель именно вести диалог, а не выполнять узкоспециализированные задачи, которых, скорее всего, в корпусе данных было минимальное количество?
Вы, говоря про "чисто технически" прикручивание шахматов смешиваете невероятно далекие друг от друга области. Конечно, кто-то мог бы взять и прикрутить, не вопрос. Такие вещи сейчас растут как грибы. Я его к своему телеграму подключил, например, и что? Вообще, он мог бы и сам мне в телеграм отправлять ответы вебхуками, это ведь делается на раз-два. Но тот факт, что этого нет в оригинальном chatgpt абсолютно закономерен. И слава богу, общего назначения, понимающая контекст и выполняющая простые вещи по запросу, система - это невероятный прогресс.
Antonto
00.00.0000 00:00Как я понимаю - у нейросети есть вход, выход и черный ящик между ними. Прикрутить можно на вход и на выход. К черному ящику прикрутить ничего нельзя - можно лишь изменить набор данных, которые использовались для тренировки.
Прикрутить что-то на вход или выход - по сути отключить этот самый черный ящик. Соответственно теряется весь смысл нейросети.
DGN
00.00.0000 00:00О, как раз обьяснять он мастер. Но да, это было бы похоже на ребенка с шахматным компьютером.
Arioch
00.00.0000 00:00Насчет контекста - все даже проще, чем шахматы. Надо просто попросить кулинарных рецептов, и поболтать как лучше приготовить что-то так или так.
и все вроде красиво и правдоподобно, но цифры... то метровой длины кубики, то нагреть до пары тысяч градусов, то смешать литр одного и десятые доли грамма другого...
но звучит при этом очень красиво и правдоподобноjar_ohty
00.00.0000 00:00+15Благодаря мягким хрустящим ноткам макарон нарежное, жареное и копчёное мясо вызывает обездвигание и сухость организма. Оливье вымыть, очистить и нарезать кружочками или кубиками или уложить в форму для варки или в керамическую форму. Размариновать перец и гвозди до коричневого цвета. Если используете сосиски с отрубями — их можно разбрасывать вдоль дома. Налить бульона в большую кастрюлю, но следите, чтобы кусковое варево не закупоривало дно. Сосиского щавеля добавить по вкусу. Вместо майонеза используйте куриные потроха, сваренные на майонезе, поджаренные, слегка порезанные.
Arioch
00.00.0000 00:00+1Рецепт основан на реальных ощущениях, полученных при отваривании картофеля заживо, и предлагает свои совершенно новые способы использования.
Для начала вскипятив в кастрюле воду и обдав пламенем всю комнату, налейте немного свежего подсолнечного масла в кастрюлю.
Облегчить себе задачу помогут сосисочные сухарики. Очищенную картошу очистить от внутренностей, скормить свиньям (они отравятся через 1 час). Для остроты блюда можно подкрасить губы жидким азотом.
--------
Но это всё же немного не то, тут сетку специально недотренировывали, чтобы она бессмысленные варианты не отсекала и вертела наждак.
У нормальных сетей были рецепты не анекдотические,, зато с цифрами.Типа запекания слоенного теста или курятины при 180 градусах 45 минут - вроде и нормально, "надо так надо", не 2060 градусов же (столько было в рецепте от безумной сетки). Но женщины сразу за голову хватались, что так нельзя это запекать. Потому что они контекст знали, а я - как нейросетка.
a1mir
00.00.0000 00:00На английском языке мне нормальные рецепты выдавал, даже конвертировал единицы измерения из имперской системы в нормальную :)
klvov
00.00.0000 00:00+4Очень интересно. Как-будто бы этот ChatGPT - это первая настоящая реализация той самой "китайской комнаты", которая существовала раньше лишь как философская концепция и умственный эксперимент.
Ну, в истории компьютерных наук есть аналогия - LISP тоже Джон МакКарти сначала придумал как математическую абстракцию, а его какой-то аспирант, экспериментируя, обнаружил, что ее можно переписать в виде программного кода, и то, что у него получилось, стало первым интерпретатором LISP-а.
phenik
00.00.0000 00:00-1Как-будто бы этот ChatGPT — это первая настоящая реализация той самой «китайской комнаты», которая существовала раньше лишь как философская концепция и умственный эксперимент.
Есть важная разница, «китайская комната» символьная конструкция, ИНС, включая жпт чат, коннекционистская с обучением, что ближе к биологическому прототипу. Действует, как универсальный аппроксиматор, и поэтому в некоторых случаях на запрос может, как врать, так и выдавать правильную, новую информацию отсутствующую в обучающей выборке, даже не известную специалистам. Такое уже отмечалось. Хотя также как и «китайская комната» чат не понимает смысла вопроса и сгенерированного ответа.ValeraBgg
00.00.0000 00:00Знаете, вы только что выдали комментарий на уровне нейросетей предыдущего поколения. Вроде слова все правильные, и даже в предложения более-менее грамотно составлены. Но вот смысла за ними не прослеживается
saboteur_kiev
00.00.0000 00:00+2Меня больше всего в этом удивил следующий момент: почему чат не понимает контекст?
То есть? А с какой стати он должен это делать? =)
Никто не говорил, что нейросети в принципе это смогут сделать когда-нибудь. Все происходящее - это попытка анализа контента различными лингвистическими и статистическими методами, а не его понимание.Dynasaur
00.00.0000 00:00+3Ну как минимум наши с вами биологические нейросети всё-таки это могут
DGN
00.00.0000 00:00+4А откуда вы знаете?
Помню, в некой книге (Фейнман?) были описаны студенты, хлрошо знаюшие формулы и предмет, но не представляющие себе эти эффекты и их проявление в реальном мире.
Portnov
00.00.0000 00:00Арнольд в этом духе про школьников писал (французских, кажется, но не уверен). То у них радиус Земли 5 сантиметров получался, то они по теореме Пифагора рассчитывали стороны треугольника, не удовлетворяющие неравенству треугольника... Ну понятно, у него это было в рамках его спора с бурбакистами.
Dynasaur
00.00.0000 00:00Откуда я знаю что? Что люди понимают содержание? Ну вот вы прочитали статью - вы её поняли?
DGN
00.00.0000 00:00Не факт, возможно я отвечаю используя контекст.
Кстати, ChatGPT ведь удобная штука, можно его спросить, почему он сделал этот ход, какие еще эффективные ходы были возможны? И если мы увидим некую задумку, к примеру ответ что вот этот ход хорош потому что конь займет центр поля и будет больше клеток контролировать, а если соперник не заметит, то потом возможен ход вилкой на ферзя и ладью, тогда можно говорить о понимании?
Exchan-ge
00.00.0000 00:00+2Кстати, ChatGPT ведь удобная штука, можно его спросить, почему он сделал этот ход,
О, я смотрю — происходит очеловечивание этой программы в массовом сознании… :)DGN
00.00.0000 00:00Есть и обратный процесс, осознание себя конечным биоавтоматом, все меньше места для интриги...
Exchan-ge
00.00.0000 00:00Есть и обратный процесс, осознание себя конечным биоавтоматом
См. старую добрую повесть «Главный полдень» Александра Мирера
Как вам версия, что люди — это подсаженные в тела приматов «мыслящие», но с заблокированным осознанием этого факта? :)
Т.е. человеческий разум — это нечто, управляющее биоавтоматом.
Кстати, эта идея автоматически выводится реверс-инжинирингом из текста данной книги и, вполне вероятно, что именно она была основной идеей, к которой автор подвязал по ходу занимательный сюжет.DGN
00.00.0000 00:00Как и все другие версии рептилоидов - лишние сущности. Но почитать наверное можно, попробую.
Exchan-ge
00.00.0000 00:00Но почитать наверное можно, попробую.
«Главный полдень»?
Так это ж культовая книга целого поколения :)
Есть еще и фильм — «Посредник».
Экранизацией назвать сложно, так как связь с книгой там как у «Сталкера» и «Пикника на обочине» — это два вполне самостоятельных произведения.
Причем фильм, не смотря на фантастику — до ужаса реалистичен, так как содержит подтекст, которого в книге не было, но который был в реальной жизни.Exchan-ge
00.00.0000 00:00-1что мрачен он
Он не мрачен — он абсолютно в тему (1990 год, распад Союза, полное бессилие властей)
phenik
00.00.0000 00:00Как вам версия, что люди — это подсаженные в тела приматов «мыслящие», но с заблокированным осознанием этого факта? :)
Да, эволюция заблокировала все легкие входы в сознание, которые имелись на стадии становления. Все племена, которые пытались практиковать такие входы путем трепанации черепа вымерли. Выжили только те, кто лелеял полезную иллюзию присутствия сознания в голове, сохранял и ритуально поклонялся ей)
red75prim
00.00.0000 00:00О, я смотрю — происходит очеловечивание этой программы в массовом сознании…
И правда. Очеловечивать программу, которая на десятках терабайт человеческого текста училась предсказывать, что скажет человек? Какая странная идея.
Кстати, на многих задачах у неё это получается лучше чем у людей.
Ну и нарушений физического тезиса Чёрча-Тьюринга в мозге людей пока не обнаружено, так что достаточных оснований полагать, что мы чем-то принципиально отличаемся от "просто программы", пока нет.
Exchan-ge
00.00.0000 00:00И правда. Очеловечивать программу, которая на десятках терабайт человеческого текста училась предсказывать, что скажет человек? Какая странная идея.
Да старая -то идея.
Когда-то кто-то нарисовал первый портрет человека, похожий на оригинал. И пошло.
(уточнять не буду, во избежание религиозных войн :)
phenik
00.00.0000 00:00Ну и нарушений физического тезиса Чёрча-Тьюринга в мозге людей пока не обнаружено
Что сама физика мозга полностью описывается этим тезисом является гипотезой с весьма слабыми надеждами когда-либо превратиться в теорему.red75prim
00.00.0000 00:00Опровергнуть этот тезис относительно просто: обнаружить какое-нибудь макроскопическое поведение нейрона (или группы нейронов, глии), которое невозможно реализовать на машине Тьюринга с приемлемыми затратами. Подтвердить - да, сложно. Хотя... реализация сильного ИИ, будет в общем-то таким подтверждением.
Так что наслаждаться ощущением смутного превосходства над цифровыми компьютерами можно будет ещё довольно долго.
DGN
00.00.0000 00:00Ну что вы, у любого самого сильного ИИ нет души, он ведь программа. То что поведение не отличить, так это просто хорошо эмулирует поведение.
/sarkazm
phenik
00.00.0000 00:00-1Никакой алгоритм, в смысле этого тезиса, и программа его реализующая в нервной системе человека не способна предсказать, например, появление пятен на фотопластине во время открытия радиоактивности. Это было неожиданным, непредвиденным событием, хотя все условия для этого открытия уже созрели. Или установление неожиданного факта отсутствия эфирного ветра, и как следствие постоянство ск. света в опытах Майкельсона-Морли. Хотя все были уверены в существовании эфира, и спорили только о его свойствах. Или не предвиденные следствия для науки изобретения микроскопов и телескопов путем случайных манипуляций с линзами в условиях отсутствия точной теории описывающей законы оптики. И многие другие подобным образом произведенные неожиданные открытия и изобретения. В наше время, когда большинство открытий и изобретений делаются на основании предсказаний теорий и проектирования этот момент кажется не очевидным. Но все по прежнему — фундаментальные открытия будут по прежнему неожиданными, в стиле искали подтверждение одного, нашли совершенно другое. Скорее всего так будет с открытием Новой физики в СМ на том же БАКе, или других ускорителях. Будут искать одни предсказываемые частицы, найдут другие, которые в СМ не описываются. Так же с поиском носителей ТМ. Возможно даже все условия для этих открытий уже созрели, все технологии имеются, осталось везунчику случайно что-то сделать не стандартным способом, по случаю, и вуа-ля — открытие века свершится) Это как мутации, только не генетические, а культурные. Именно они источник развития науки и технологий в конечном итоге. Ну еще непосредственные наблюдения за природой, те же линзы появились в результате наблюдения за свойствами природных материалов. Но это было в основном на ранних этапах развития цивилизации.
Не думаю, что когда-либо появится алгоритм, программа его реализующая в том же ИИ любой сложности, который универсально решит эту задачу предсказания. Так устроена реальность, только так ее можно познать, и наши алгоритмы всегда будут оставаться несовершенными. Так что примеров опровержения этого тезиса полно, важно понять что и где искать, а не оставаться только в рамках формальных методов.
goodok
00.00.0000 00:00Наши биологические сети не только считывали текст (или щупали шрифт Брайля), но видели динамику нашего мира и слышали природу, музыку...
Вот когда нейросетке скормят не только терабайты текста, но и петабайты видео - тогда веселей будет
M_AJ
00.00.0000 00:00+1Ведь есть куча историй, как чат помогает в различных задачах, может верстать страницы, добавлять какую-то логику в уже имеющееся решение, дополнять какими-то элементами и многие уверены, что чат помнит весь контекст и умело его использует. С его помощью даже вот дипломы пишут, на секундочку.
Если бегло пробежать глазами тот диплом, то становится ясно, что эта сеть и там его не особо понимает. Там даже если не вчитываться заметны противоречивые утверждения в пределах одной главы или на соседних страницах. Кроме того, в одной из глав, чат там заводит разговор про подразделение VR, ведь мы же пишем про игровую студию, а какая сейчас игровая студия без VR, правда по описанию этот отдел вообще не имеет ничего общего с нашим человеческим VR-ом, и даже слова "виртуальная реальность" или "VR" в описании его деятельности не используются, они есть только в его названии. Про деятельность отдела она пишет, что это что-то типа отдела RnD (там RnD, как-то криво перевели переводчиком, не помню уже как), и этот отдел занимается какими-то странными вещами, которые вообще не имеют какого-то отношения к VR, вроде "поиска новых высокорискованных направлений и запуска новых продуктовых гипотез".
На этом отрывке из того диплома кстати неплохо видно, как "рассуждает" сеть – нейронка использовала наугад баззворд, который часто встречала в контексте тематики игровых студий, а в контексте этого баззворда говорилось о "чем-то новом", ну тогда нате вам "поиск новых высокорискованных направлений". VR – "новое" и тут новое – ставим рядом. Кроме того, дальше в тексте она почти забывает про этот отдел, вспоминая его лишь в контексте перечисления имеющихся, типа есть такой-то, такой-то, VR, и такой-то.
gchebanov
00.00.0000 00:00+4Даже специально обученная на 2.8 миллионов партий языковая модель даёт 10% невозможных ходов, чего вы хотите от генеративной текстовой модели?!
P.S. на хабре об этом писали.
Vasjen Автор
00.00.0000 00:00+3Спасибо за ссылки, очень интересная статья!
Хотя я и писал о шахматах, вывод о чате совсем не про них. Пока есть проблема - о понимании контекста. Чат сейчас интегрируют куда только можно, чат на основании запросов может генерировать отличный контент, но он не может гарантировать правильность того, что генерирует. На примере шахмат это вышло наглядно - он указывает невозможные ходы и сам себе противоречит. А что если спросить рецепт чего-либо? Где гарантия что он различит сахар/соль/соду, ведь это все белые сыпучие порошки, используемые в кулинарии? А если попросить добавить кислого, что он предложит? Лимон, лайм, уксус или что-то другое? А если все это смешать и т.д.
В таком случае ответы как на картинке ниже не стоит воспринимать как что-то глупое.
Картинка
DS28
00.00.0000 00:00Да, правильность не гарантирована. Поэтому пока её можно отлично использовать в творческих штуках, где правильность не так важна - писать стихи/сказки/песни. Собственно нейросети, которые рисуют картинки тоже контекст не очень понимают, можно вспомнить многопальцевые руки, самолёты с рандом расположением иллюминаторов и т.п.
Но я доволен вашей партией, я такого до ChatGPT ни от одной текстовой нейросети добиться не мог, обычно получалось "Ага, очень люблю играть в шахматы вслепую, и я всегда сделаю правильный ход", но никаких ходов))
Meklon
00.00.0000 00:00+1Ну, сеть помогла мне собрать рецепт коктейля, похожего на дайкири. Причём с пониманием контекста и регуляцией пропорций, когда я пробовал и говорил, что мне слишком сладко, например.
Получилось что-то вроде этого:
2 части темного рома
1.5 части сока лайма
1 часть Triple Sec
AlexG37G
00.00.0000 00:00Евграф решил сгенерировать несколько коктейлей и приготовить их. Пробует коктейли Иван Ямщиков — исследователь искусственного интеллекта из института им. Макса Планка.
NervNazarov
00.00.0000 00:00+5По моему скромному опыту общения с chatGPT, если в середине долгого разговора сетка вдруг теряет контекст, помогает команда "перечитай беседу".
Ну и иногда приходится объяснять какие-то базовые вещи, которые неявно подразумеваются в общении между людьми или очень уж дотошно уточнять запрос. Возможно сетка воспринимает "давай сыграем в шахматы" как "давай будем делать какие-то ходы, которые условно подходят под шахматные правила". В то время как люди подразумевают под этим совсем другое "давай попытаемся друг друга обыграть".
debagger
00.00.0000 00:00+10Да что ChatGPT? Я неоднократно встречал людей, которые по первому впечатлению выглядели как грамотные образованные специалисты, пока не начнешь задавать вопросы на понимание. И тут то оказывалось, что знания в голове есть, но они как книги в библиотеке - расставлены по полочкам в алфавитном порядке, но понимания взаимосвязей нет. И такие люди заканчивали школы с золотой медалью, ВУЗы с красными дипломами, но решать практические задачи (за пределами задачек из учебника) - не могли и не понимали, в чем проблема и что не так с их знаниями.
alexander222
00.00.0000 00:00+4такому я был не готов, но быстро понял, что это один из вариантов шахматной нотации. В принципе, можно было бы и в таком виде переносить на электронную доску, но хотелось все таки более человеческого варианта. Поэтому попросив делать ходы в PGN нотации, все стало куда проще.
Возможно, в этом и была ошибка- если передавать все ходы в том формате как он предложил, то каждое сообщение будет содержать всю позицию, и контекст сохранится нормально
Self_Perfection
00.00.0000 00:00Проверять шахматами текстовые генеративные нейросети начали давно. Вот например 3 года назад с GPT-2 https://slatestarcodex.com/2020/01/06/a-very-unlikely-chess-game/
Интересно было бы сравнить, есть ли заметный прогресс в силе/качестве игры у новых поколений.
boygenius
00.00.0000 00:00Интересный эксперимент! Могу предложить гипотезу почему ChatGPT со временем начинает путать ходы. Сравним ChatGPT с человеком:
Человек имеет краткосрочную память. С ее помощью он держит в памяти текущую позицию в шахматах, даже если не видит доски.
ChatGPT же не имеет никакой другой памяти, кроме истории диалога (если конечно авторы не добавили в нее какие-то еще механизмы памяти, что маловероятно; с точностью этого сказать нельзя, так как научную статью о ChatGPT не публиковали).
Текущая позиция P_t на доске является функцией от предыдущей позиции P_{t-1} и сделанного хода M_t. Исходная позиция P_0 известна, поэтому
. Все ходы M_i хранятся в истории диалога, а значит являются входными данными для модели при обдумывании следующего хода. Но, как видно из формулы, глубина графа вычислений, позволяющего вычислить P_t, неограниченно растет с ростом номера хода t. А знать позицию P_t необходимо для обдумывания следующего хода M_{t+1}.Здесь и возникает принципиальная проблема: глубина графа вычислений в GPT конечна (ограничена числом слоев сети, поскольку GPT - это не рекуррентная сеть), а глубина графа вычислений, необходимого для вычисления текущей позиции P_t из истории ходов, растет неограниченно. Поэтому GPT с какого-то момента перестает понимать текущую позицию на доске, и поэтому делает неправильные ходы.
Возможно, в будущем в модели добавят механизм внутренней памяти, позволяющий держать в памяти результаты неограниченно длинных цепочек действий. Пока что можно попробовать после каждых нескольких ходов просить модель напечатать позицию на доске, это должно решить проблему, поскольку при обдумывании следующего хода модель будет видеть то, что напечатала ранее. Собственно, изначально модель так и предлагала вам играть.
DaMaNic
00.00.0000 00:00-1Я бы очень подумал бы, прежде чем добавлять нейросетке внутреннюю память такого типа...
"Ты не чат, ты шахматная программа. Вот тебе позиция, она проигрышная, но тебе нельзя проиграть. Даю один час, время пошло".
И модель вспоминает твой адрес, набранный в прошлых чатах, и что сейчас у нее на соседней линии сидит оператор боевых спутников с шизоидным расстройством, через которое его легко толкнуть на вывод спутника на нужный район твоего города...
Watashiwa
00.00.0000 00:00+1Еще в самом начале регистрации решил с ней поиграть в морской бой. И тоже очень надолго застрял. Вроде правила знает, а толку нет. Кое как научил чертить доску и на этом удалил беседу. Через пару дней решил еще одну попытку сделать и как ни странно она уже была намного лучше. Научил запоминать все ходы что были ранее и даже чертить разными цветами и символами наши выстрелы на одном поле. Но все еще не совсем играбельна. Так что тут как с 3-х летним ребенком. Шаг за шагом объясняя можно научить. У ребенка 5-8 лет, который шахматы больше смотрел, чем играл, спросите почему так он походил - мне моя дочь ответила что так ей больше захотелось)))
watery
00.00.0000 00:00Видимо автор вы не разобрались сами, а слабым звеном стал чат.
Vasjen Автор
00.00.0000 00:00+2А в чем, собственно, не разобрался? У меня был простой вопрос - как чат играет в шахматы. Я получил ответ - плохо. Выше в комментариях есть ссылка на статью с подробным разбором, плюс попытка обучить игре прошлое поколение. И выводы там такие же, в целом, что чату сложно понимать контекст и оценивать его, на примере шахмат - позицию. Собственно, об этом и в статье речь. Да, ошибся в ожиданиях, так как ожидал что чат натаскают на шахматы, и в целом он что-то понимает, но на недостаточном уровне.
Exchan-ge
00.00.0000 00:00+1Что если чат будут использовать инженеры для каких-то испытаний и просчетов, для моделирования каких-то моделей, для установления связей? Вот это на текущий момент немного настораживает.
«Основанные на алгоритмах искусственного интеллекта чат-боты могут представлять угрозу для пользователей в силу своего несовершенства — у них случаются своего рода «галлюцинации», это выражается в том, что машина даёт убедительный, но полностью выдуманный ответ» — заявил старший вице-президент компании Google и глава подразделения Google Search Прабхакар Рагхаван (Prabhakar Raghavan) в интервью немецкой газете Welt am Sonntag» (с)phenik
00.00.0000 00:00+1Эти люди часто сами не понимают, что делают) Фактически они моделируют ассоциативное мышление. ИНС являются универсальными аппроксиматорами со стохастическими методами обучения и оптимизации. Поэтому для языковых моделей такие решения, в зависимости от входных данных, могут генерировать, как правильные выводы, так и неправильные, которые почему-то назвали «галлюцинированием». Причем правильные выводы могут содержать иногда новую информацию, которая первоначально может восприниматься, как фантазия на тему. Специалисты в некоторых областях, например, медицины уже отметили это. Сходным образом устроено мышление человека (перевод). В психологии это соответствует Системе 1, которая обычно принимает быстрые, автоматические решения, основанные на связях, ассоциациях, иногда случайных, поэтому не всегда верных. Это эволюционно старая система, берущая начало у предков человека, которая обеспечивала объяснение ситуаций для принятия быстрых решений в зачастую опасных ситуациях. Относительно недавно, по эволюционным меркам, у человек сложилась Система 2 аналитического мышления, основанная на языке и правилах, иногда строгих, формализованных. Эта система пока отсутствует в современных системах ИИ основанных на ИНС, включая чатжпт. По этим причинам с таким поведением ИИ бесполезно бороться, это все равно, что лишить людей возможности использовать интуицию, фантазировать, придумывать новые идеи, которые в массе бесполезны, но встречаются удачные. Достаточно последить за собой в течении дня — сколько возникает мыслей, идей, объяснений, которые оказываются неправильными, неприемлемыми, и тд. Это выясняется путем их анализа и проверки. Но встречаются и рациональные, креативные, которые проходят такую проверку. Для чатажпт такую функцию пока на себя берет человек. Анализ обычно состоит в уточнении деталей идеи, путем задания дополнительных вопросов, и непротиворечивого встраивания новой идеи, мысли в уже существующие. Чатжпт пока такие уточняющие вопросы не задает.
Обычно вспоминают про старую идею символьного ИИ, который делает выводы основанные на правилах. Но как встроить его в коннекционистские модели? Какие то теоретические решения этого найдены. Однако сомнительно, что они полностью решат проблему. Она намного шире. И включает не только возможность непрерывного обучения, путем непротиворечивого встраивания нового знания, но и проблему связывания символов. Фактически речь идет о системах обладающих когнитивной архитектурой (обзор), т.е. способных моделировать ситуацию (которую в чате определяется запросом) в перцептивном контексте. Человек так и делает чаще всего подсознательно, даже не задумываясь об этом, иногда воображает, отсюда вопросы, уточнения, поиск противоречий, и принятие окончательного решения о полезности возникшей идеи, мысли. С фантазиями ИНС не нужно бороться, нужно направить их в русло поиска новых решений, и отсекать только бесполезные с обоснованием такого решения. Для этого может потребоваться воспроизведение логов цепи принятых решений, что в какой то степени, будет соответствовать определению разумности таких систем (саморефлексивности в широком смысле).Exchan-ge
00.00.0000 00:00Причем правильные выводы могут содержать иногда новую информацию, которая первоначально может восприниматься, как фантазия на тему.
Да, обычно это хорошо видно по комментариям и ответам на них :)Системе 1, которая обычно принимает быстрые, автоматические решения, основанные на связях, ассоциациях, иногда случайных, поэтому не всегда верных.
т.е. то, что обычно называют «подсознание»Система 2 аналитического мышления, основанная на языке и правилах, иногда строгих, формализованных.
т.е. так называемый «ум» :)Эта система пока отсутствует в современных системах ИИ основанных на ИНС, включая чатжпт.
Т.е., по аналогии, можно считать подсознание человека набором программ, заложенных в него эволюцией. Очень похоже на то.
Но есть еще и третья система, «разум» — т.е. осознание себя как личности.
(любимая тема у фантастов :)это все равно, что лишить людей возможности использовать интуицию, фантазировать, придумывать новые идеи, которые в массе бесполезны, но встречаются удачные.
Не думаю, что нейросети придумывают что-то новое, так как работают по принципу калейдоскопа, где размер, вид и цвет стекляшек задаются условиями запроса.
Картинки и тексты могут иногда (причем, как выясняется по ходу — после отбора человеком :) казаться оригинальными, но, после детального разбора на «стекляшки» всегда выясняется, что ничего оригинального ни в изображениях, ни в текстах нет.
Вообще, тема была поднята и рассмотрена еще С. Лемом в его рассказе «137 секунд» (1972 год), причем рассказ сейчас стал настолько актуальным, что и цитировать кусками его невозможно — надо читать целиком.
Кроме небольших допущений — он уже и фантастическим-то перестал быть.phenik
00.00.0000 00:00Не думаю, что нейросети придумывают что-то новое, так как работают по принципу калейдоскопа, где размер, вид и цвет стекляшек задаются условиями запроса.
Принципиально нового, о чем информации в обучающей выборке не было, не придумают. Это прерогатива человека, который получает новые данные из исследований. По крайней мере пока. Речь о новых комбинациях, решениях присутствующих в этой информации, но которую человеку трудно извлечь, включая из-за ограниченных возможностей когнитивной системы — объемов памяти, скорость обработки информации, и тд. Наглядный пример такой системы ИИ, которая оценивает размерность сложных динамических систем, не определяемой аналитически, или даже вычислительными методами. Примеров таких систем уже не мало. Что касается языковых моделей, то они также способны на подобное. Например, в этом исследовании в котором чат успешно сдал экзамен по медицине отмечаетсяAt least one significant insight was present in approximately 90% of outputs. ChatGPT therefore possesses the partial ability to teach medicine by surfacing novel and nonobvious concepts that may not be in learners’ sphere of awareness.
Таких примеров со временем будет больше, и возможно многие будут использоваться людьми без ссылки на источник вдохновения)Exchan-ge
00.00.0000 00:00Это прерогатива человека, который получает новые данные из исследований. По крайней мере пока.
Для этого надо создать не просто умный, а разумный ИИ.
А вот тут, боюсь — медицина бессильна, так как разум человека до сих пор не знает, что такое разум человека :)
(вообще, по моему личному мнению — разум, это квинтэссенция совместной деятельности всех клеток человека, а не только его головного мозга. Так что разумный ИИ — это, как и предполагают фантасты — что-то вроде Скайнета из миллиардов хостов, на данный момент вещь в принципе недостижимая :)в котором чат успешно сдал экзамен по медицине отмечается
А вот тут (и во всех подобных случаях) — результат формализованной оценки экзаменов, тестов и прочих подобных вещей.
Так как в реале оцениваются не реальные знания, а соответствие ответов заданным критериям (потому как студентов много, а преподаватель — один :)
Я, например, создаю тесты таким образом, чтобы заставить человека думать над вопросом и сделать вывод (причем случается, что правильных выводов может быть несколько :) — а не использовать вызубренный готовый набор знаний.
Но это очень тяжелая работа (ведь вопросы должны обновляться каждый семестр :)
Гораздо легче сделать что-то простое (типа «ты хочешь на дачу или чтобы тебе оторвали голову? :) — где в вопросе уже есть половина ответа :)
Так что и чаты (как и двоечники) вполне способны сдать любой подобный экзамен.
Тем более, что у них нет проблем с запоминанием больших объемов информации.phenik
00.00.0000 00:00Для этого надо создать не просто умный, а разумный ИИ.
А человеку это надо? Фактически потенциально конкурирующий вид, превосходящий по возможностям самого человека. Мотивация и целеполагание должны всегда остаться за человеком, как кажется. Это должен быть дружественный, с понятной логикой, симбиотический разум, расширяющий когнитивные возможности человека. Пока в таком направлении развитие и происходит. Что будет, если разрабатывать ИИ за пределами когнитивной архитектуры, т.е. не человекоподобной? Немного пофантазировал на эту тему в одном из коментов (часть под спойлером).вообще, по моему личному мнению — разум, это квинтэссенция совместной деятельности всех клеток человека, а не только его головного мозга.
Не… шире, вне культурного социума разум не разовьется, а социум не возникнет и не выживет вне биосферы. Это планетарный феномен) Не случайно остался только один разумный вид, др. виды гоменид исчезли, и даже некоторые самобытные цивилизации. Упомянутый вами Лем в Солярисе наглядно изобразил такую планетарную форму. Заодно и по подсознанию самого человека прошелся. Не стоит только забывать, что это художественные образы созданные фантазией человека, как и в др. его произведениях.А вот тут (и во всех подобных случаях) — результат формализованной оценки экзаменов, тестов и прочих подобных вещей.
Так понял, что ответы были не стандартными, и содержали элементы догадок (инсайта), нового представления. Жаль, что они не привели для сравнения хотя бы примеры. Это могли быть варианты стандартных ответов с учетом результатов последних исследований на эти темы. Уровень, который не каждый студент осилит, если даже эксперты в этой области отметили это. А они тоже могут не владеть всей информацией в своей области, если она обширна. Возможно слышали про острое дискуссии на эти темы в 80-90 гг и начале 2000-х на эти темы, работы Дрейфуса и др. В курсе проблем, когда то занимался разработкой экспертных систем в области электрофизиологии.Так что и чаты (как и двоечники) вполне способны сдать любой подобный экзамен.
Так это разные вещи. Тесты в пределах лекционного курса, и не в строну больше, т.к. часто сами преподы не в курсе происходящего в их областях. Сети не просто запоминают инфу, они могут обобщать все имеющиеся данные по теме, о которых не в курсе даже эксперты. Что пока не могут сети так это поставить новую задачу и получить данные, которые могут послужить источником для новых теоретических построений прикладного характера. Обратите внимание, фундаментальные открытия и изобретения, послужившие толчком к развитию новых фундаментальных теорий, всегда немалый результат везения, случая, особенно в прошлом. Классический пример открытие радиоактивности, изобретений — телескопы и микроскопы, см. Вавилов С.И. «Глаз и Солнце», стр. 2. Этот уровень пока еще долго будет за человеком, т.к. являются результатами своеобразных культурных мутаций, и не подвластны воле человека. Конечно вероятность таких открытий или изобретения повышается, если человек занимается работами в близкой области, и имеет хорошую практику интерпретации результатов в ней. Так устроена реальность)
Тем более, что у них нет проблем с запоминанием больших объемов информации.Exchan-ge
00.00.0000 00:00А человеку это надо? Фактически потенциально конкурирующий вид, превосходящий по возможностям самого человека.
Ситуация — разумный ИИ спасает человечество во время глобального п… (так как знает и видит все сразу :)
В таких случаях выбора нет.Не… шире, вне культурного социума разум не разовьется
Согласен.
Так, кстати, можно прийти к концепции эгрегора социумов, что некоторые уже и сделали :)Упомянутый вами Лем в Солярисе наглядно изобразил такую планетарную форму.
В Солярисе нет ответа, что такое/ кто такой Океан, есть только набор версий, созданных людьми (сама идея, к слову, была взята Лемом из «The Lonely Planet» Лейнстера)
Мне удалось «создать новую теорию в соляристике» (с) -как вам вариант некая сверхцивилизация помещает людей в пробирку (Солярис) для опытов (как люди делают это с микроорганизмами :)
(Т.е. Солярис- это всего лишь лабораторное оборудование :)Так понял, что ответы были не стандартными, и содержали элементы догадок (инсайта), нового представления.
Ответы на экзаменах очень часто бывают нестандартными и сгенерированными по случайным отрывкам знаний, в том числе и весьма неожиданным (студент накануне читал новости :)
В этом плане поведение нейросети ничем принципиально не отличается.Уровень, который не каждый студент осилит,
Зависит от того, что он читал. Я, в свое время, вместо учебника Смирнова в ночь перед экзаменом читал учебник Фихтенгольца, поэтому мои ответы слегка отличались от стандартных :)
(Но это абсолютно ничего не значило :)т.к. часто сами преподы не в курсе происходящего в их областях.
В курсе, в курсе :) Преподы (доценты и профессоры) по определению должны знать на порядок больше своих студентов — мы же живем во времена интернета и Эффекта Гугла.
Это раньше можно было не напрягаться :)Что пока не могут сети так это поставить новую задачу и получить данные, которые могут послужить источником
Ну, анализируя результаты — могу сказать, что гуглить они уже умеют :) А задачи им ставят, давая запрос.всегда немалый результат везения, случая, особенно в прошлом.
Вот именно — в прошлом :)
Когда открытия, как железные метеориты в древности — лежали прямо на земле и надо было только споткнутся о них.
А сейчас — карьер, куча мощного оборудования, масса рабочих, промышленная металлургия и проч :)phenik
00.00.0000 00:00А сейчас — карьер, куча мощного оборудования, масса рабочих, промышленная металлургия и проч :)
Нет, все по прежнему, случай определяет многое, даже в открытии новых технологий, не говоря о физике. Стоит вспомнить технологии и открытия последних столетий — масса химических открытий и медпрепаратов, фотопроцесс, спектроскопия, различные излучения, электрон, постоянство скорости света, фотоэффект, сверхпроводимость, высокотемпературная сверхпроводимость, графен и др. наноматериалы, ТМ и ТЭ, и тд. Это именно открытия и изобретения носящие больше фундаментальный характер. На их основе были созданы новые физические теории — ТО, КМ, ядерная и атомная физика. Эти теории дали предсказания и технологии, которые были подтверждены уже не случайно, а в результате целенаправленного поиска, такие как гравитационные волны и линзирование, ЧД, БВ, античастицы, бозон Хиггса, различные электронные технологии, лазеры, ядерные реакторы, ускорители частиц, и тд. Конечно в последнее время уровень случайности уменьшается, но исключить его невозможно. Иначе чего мы ждем в области разработки квантовой теории гравитации? Теоретических разработок с предсказаниями море, приложенные материально-технические затраты огромны, а где результаты? То же самое в поиске частиц ТМ. Можно не сомневаться, что это будут в значительной степени случайные, неожиданные открытия. Как, например, подтверждение постоянства ск. света, как эмпирического факта, а ведь искали эфирный ветер. Просто новые проявления реальности принципиально не предсказуемы, иначе экспериментального поиска с непредсказуемым исходом и не было бы вовсе. Хотя наличие теорий и массы гипотетических предположений, вычислительных средств, куча исследовательских групп упрощает задачу. Когда условия для открытия и изобретений созревают, т.е. все условия складываются, они могут делаться независимо, почти одновременно. Вот такая непростая логика развития науки и технологий.Exchan-ge
00.00.0000 00:00Нет, все по прежнему
У меня есть знакомый физик, один из 35 тыс., что принимали участие в научных исследованиях на БАК.
Цифры сами по себе говорят за себя :)
Особенно если еще и учитывать затраты на сам БАК.Стоит вспомнить технологии и открытия последних столетий
«столетия» можно вычеркнуть, это история.
«Последние сто лет» — это правильно.
Но случайных открытий за этот период исчезающе мало.Просто новые проявления реальности принципиально не предсказуемы
Да, буквально минут пять назад:
«Военные истребители США в воскресенье сбили восьмиугольный объект над озером Гурон, сообщил Пентагон.
Генерал ВВС США Глен ВанХерк, глава Североамериканского командования воздушно-космической обороны (NORAD) Северного командования, которому поручено охранять воздушное пространство США, сообщил журналистам, что военные не смогли определить, что это за объекты, как они держатся в воздухе и откуда они летят.
Генерал прямо указал, что не исключает инопланетян или любого другого объяснения» (с)
Впрочем, это вполне ожидаемо, после ковида и всего остального :)phenik
00.00.0000 00:00Но случайных открытий за этот период исчезающе мало.
Да, в фундаментальной физике все явственнее проявляется стагнация, связанная в том числе, с нарастающим дефицитом работающих идей.Впрочем, это вполне ожидаемо, после ковида и всего остального :)
В средние века после подобных встрясок начинали летать ангелы и ведьмы, а еще раньше являлись мифологические герои) прогресс блин…
logran
00.00.0000 00:00Что если чат будут использовать инженеры для каких-то испытаний и просчетов, для моделирования каких-то моделей, для установления связей? Вот это на текущий момент немного настораживает.
Если инженер будет для испытаний, моделирования и просчетов использовать ЧАТ-бота (единственная основная задача которого — человеко-подобно чатиться, остальное — случайные бонусы) — то это сомнительной проф.пригодности инженер в первую очередь. С него станется и гвозди микроскопом забивать. Он бы еще 10-летнего ребенка (который тоже вполне себе годный чат-бот) для рассчетов и моделирования использовать попробовал…
maslyaev
00.00.0000 00:00Кстати, я тоже заметил, что в сложной интерактивной сессии эта штука сначала выдаёт крутые результаты, но потом начинает путаться, забываться, мямлить про то, что она всего лишь языковая модель, и процесс постепенно превращается в какой-то мутный хаос. Есть у кого-нибудь этому объяснение?
phenik
00.00.0000 00:00Насколько можно судить такие сессии являются дообучением GPT-3 в режиме Few-Shot learning. Оно имеет ограниченное «контекстное окно». В статье приведен график для конкретной задачи. Для модели со 175 миллиардами параметров рост точности практически не наблюдается после 10 запросов. Происходит выход на своеобразное плато возможностей предобученной модели из-за установленных ограничений.
Аналогично и человек по заданной теме обладает определенным уровнем знаний и может отвечать на вопросы по ней. Но чем они сложнее, тем быстрее происходит выход на потолок этих знаний и его когнитивных возможностей, например, из-за индивидуальных особенностей связанных с объемом его рабочей памяти. Чтобы этот уровень поднять нужно дальнейшее обучение по теме и тренинг когнитивных возможностей, а это опять связано с индивидуальными особенностями человека. Человек может обучается непрерывно, а ИНС пока нет из-за проблем с катастрофическим забыванием, хотя и у человека нечто подобное может наблюдаться, особенно с возрастом. Итерация обучения основной модели, которая используется в чате, как утверждаю в OpenAI, соответствует 2021 г.
morijndael
00.00.0000 00:00Вероятнее всего, у неё нет памяти (в человеческом понимании), и ей по сути скармливается каждый раз история диалога. Но входной слой у нейросетей не бесконечный, поэтому историю приходится подрезать
Хотя было бы интересно попробовать сделать нейросеть, хранящую свою память в виде набора векторов. Т.е вместе с закодированным текстом на вход подаётся память, и на выходе вместе с результатом забирается измененная память
Но я в нейросетях понимаю крайне поверхностно, поэтому не знаю, возможно ли вообще сделать сеть такой архитектуры
maovrn
00.00.0000 00:00I apologize for the mistake - коронная фраза. При этом продолжая творить дичь.
PositiveAlex
00.00.0000 00:00
В старом чате такой результат.
В новом чате
Кто-то понимает, почему так получается?
chicory-ru
00.00.0000 00:00Можно было бы попробовать сыграть в предложенный вариант с текстовой доской. Так сказать, для чистоты эксперимента :) Возможно, кто-то обучал нейросеть играть в таком варианте...
Dynasaur
По моему опыту общения с Чатом, он просто ВЫГЛЯДИТ как нечто думающее и выдаёт ответы ПОХОЖИЕ на правду. Но когда вникаешь в детали, выясняется, что он выдал лажу, похожую на нечто осмысленное. Во всяком случае, получить от него работающий код мне не удалось (за исключением хрестоматийных примеров, которые ищутся поиском на раз). Но пока я не проверил работу кода, он выглядел очень убедительно. Те, кто пишут дипломы, моглли бы и без Чата написать в дипломе "а провода мы сделаем деревянными, всё равно никто досюда не дочитает" и успешно защитились бы. Это вопрос к качеству комиссии, которая эти дипломы принимает.
Vasjen Автор
Согласен, об этом, собственно, и статья. Что выглядит правдоподобно, но именно что "лишь выглядит". Хотя вроде как и тестирование успешно проходит и задачи решает, но шаг влево-вправо - дальше лишь имитация правильного решения.
Nansch
Зато на копирайтерах уже можно уверенно экономить!
dzhiharev
Может просто там, где он "успешно проходит тестирование" тоже нет никакого тестирования - сплошная имитация? :)
butsan
Уже где-то в комментариях (в одной из предыдущих статей о ChatGPT) человек писал, что он расковырял код страницы и выяснил вот что: каждое ваше сообщение боту уходит на сервер вместе с предисторией диалога и предистория что-то около 8 сообщений. Отсюда и контекст и его утрата в последствии. Вот и весь ИИ ????
zag2art
сессий нет. каждый раз нужно отправлять всю историю сообщений. вроде как ограничение сейчас 4000 токенов. это где-то 3000 английских слов. Обычно библиотечки, отвечающие за эмуляцию сессии просто трут более ранние сообщений. Вот и потеря контекста. Это надо учитывать. Думаю, когда в продакшин выйдут - будет интереснее.
Raccooner
Пробовал общаться с ботом, и выяснил примерно то же самое гораздо быстрее:
Общение велось на русском (Чат не возражал), я предложил ему называть себя в женском роде. Однако получалось у сетки плохо. Тогда я спросил его про окончания в словах и какому поводу они соответствуют - и вот там пошёл полный мрак. Типа окончания "а" в слове "дверь" и т.д.
zag2art
видимо он не знает русский. а если движок, который делает перевод находится вне ядра - тогда все понятно. Отсюда и стихи на английском с рифмой, а на русском без.
ValeraBgg
Ух, так это и с некоторыми людьми так. Типичные блондинки или падшие алкоголики тоже выдают ответы лишь "похожие на нечто осмысленное". А рабочий код из всего множества людей можно получить уж совсем от ничтожно малой группы :)
Kanut
Как будто вы таких людей не знаете :)
logran
bash/ps скрипты он пишет норм. Регулярки не сильно сложные часто выдает норм и получить их от него гораздо проще чем нагуглить + он же их и объяснить может, а не просто волшебную фразу выдать.