Разговор с Сергеем Лукьяненко, писателем-фантастом, автором романа «Ночной дозор» и других известных произведений, состоялся в кулуарах международного симпозиума «Создавая будущее», организованного при поддержке Национальной технологической инициативы.
На форуме писатель говорил про влияние искусственного интеллекта на нашу жизнь, вызовы, которые стоят перед человечеством сегодня, и про то, как новое поколение интеллектуалов будет с ними справляться. Поэтому часть вопросов была об этом. И еще там работала выставка «Наследие для будущего», посвященная невероятным предсказаниям писателей-фантастов прошлого, которые сбылись в наши дни, и мы также поговорили с Сергеем Лукьяненко о даре визионерства современных фантастов.
— Сергей Васильевич, здесь на форуме много говорят об искусственном интеллекте и опасностях, которые исходят от него. Что вы думаете об этом?
— Я считаю, что есть две главные опасности. Первая — ИИ — может быть зол по отношению к человечеству. А вторая — что может быть добр. И добрый искусственный интеллект, который будет за нас писать хорошие книги, снимать хорошее кино, замечательно управлять производством и все остальное делать вместо нас — это ловушка. Путь к тихому плавному вымиранию человечества. То есть мы можем оказаться в мире, где всё для человека, но при этом никакого смысла существования человека нет. И это очень сложная и коварная ловушка. Причем раньше в нее уже попадали элиты разных стран. Из истории мы знаем, например, как разрушались Римская и другие великие империи и страны, где элита теряла смысл существования, переставала понимать, для чего она вообще создана.
— Выходит, и «злой», и «добрый» ИИ опасен, замкнутый круг. А еще вы как-то сказали, что видите будущее, но не хотите пугать им людей. Означает ли это, что вы смотрите на будущее достаточно пессимистично?
— Скорее сказал бы, что смотрю на будущее с осторожностью. Я все же по натуре больше оптимист и думаю, что мы справимся со всеми вызовами. Но для этого надо, конечно, прикладывать определенные усилия. У нас очень много разных ловушек впереди. И помимо таких очевидных и банальных, как военные угрозы или угрозы эпидемий, в том числе искусственно созданных с помощью выведенных в лабораториях вирусов, впереди маячит ловушка интеллектуального и, быть может, даже товарного изобилия. Она связана с развитием нейросетей. А также ловушка биологического краха человечества, связанная с вмешательством в его геном.
На форуме «Созидая будущее» Сергей Лукьяненко активно общался со своими китайскими читателями, а также журналистами из Китайской Народной Республики, которые приехали в Москву как гости и участники на этот симпозиум.
В Китае книги Сергея Лукьяненко начали активно издаваться с 2023 года, его научная фантастика пользуется там популярностью, и его часто называют «русский Лю Цысинь».
На фото слева: Сергей Лукьяненко на форуме "Создавая будущее" демонстрирует журналистам из КНР свою книгу на китайском языке .
— Верите ли вы в силу российских стартапов, мы можем добиться технологического прорыва?
— Я верю в наши прорывные технологии, в беспилотные системы, например, такие, которые развивает наша компания Cognitive Pilot. Верю, как ни странно, и в российские квантовые вычисления. У нас также есть серьезные заделы в биотехнологиях. То есть достаточно много заделов и молодых людей, которые остались работать здесь, в России. Пожелаю им всем терпения, работоспособности и немножко удачи.
— На форуме работает выставка блестящих исторических предсказаний ваших коллег, писателей-фантастов XX века. А сегодняшние фантасты: могут ли они радовать нас таким же уровнем визионерства?
— Предугадывание будущего часто происходит случайно. Моделей у будущего много, и в какой-то момент одна из них, наконец, попадает в точку. И тогда все радостно кричат: «Вот он, фантаст-провидец!» Но все же, если фантастикой заниматься по-хорошему и пытаться экстраполировать в будущее то, что видишь в сегодняшнем дне, то, конечно, возможны и определенные прицельные попадания.
— На форуме вы говорили о разнице поколений и роли информации. Поясните, пожалуйста.
— Мы сейчас живем в странное время: ведь каждое последующее поколение получало больший запас доступной информации и техническую возможность с ней работать. Поколения развивались в логике усложнения работы с информацией, и этот фактор являлся водоразделом между ними. А сейчас вся информация становится общедоступной. И где бы сегодня в мире мы ни находились, всегда остаемся на связи с информационными потоками. Поэтому сегодняшнее поколение столкнулось с кризисом переизбытка информации, когда становится все сложнее отыскать правильную и необходимую.
Много фейков, домыслов и теорий, которые воспринимаются как реальность. И вот уже нас не удивляют люди, которые верят в плоскую Землю. Каждому следующему поколению приходилось работать со все большим объемом информации, а нынешнему «Поколению Бета», то есть тем, кто появится на свет уже в эпоху искусственного интеллекта, на мой взгляд, придется иметь дело с ее верификацией. И это проблема, с которой до сих пор поколения не сталкивались.
Всегда была какая-то энциклопедическая база, фундаментальная наука и всем известные аксиомы. Сейчас аксиом нет. И молодой человек, вступающий в жизнь, плавает в бескрайнем океане информации, в котором нет никаких ориентиров.
— Кто-то из великих сказал, что фантасты умеют разговаривать с небом. Ведете ли вы этот разговор?
Конечно, разговор с небом остался. Но это, скорее, не разговор, то есть не диалог — мы его по большей части слушаем, — Сергей Лукьяненко.
Post Scriptum
Что это за «Поколение Бета», о котором говорит Сергей Лукьяненко?
Поколение «Бета» — термин из т. н. «Теории поколений», который активно используют для обозначения генерации детей, которые будут рождены в 2025 году. Так как шаг между технологическими поколениями составляет примерно 15 лет, то речь идет, соответственно, о детях, которые родятся в 2025–2040 годах. Ожидается, что оно последует сразу же за поколением «Альфа», родившимся примерно с 2010-го по 2024 год.
Отличительная черта «Беты» в том, что поколение появятся на свет, когда искусственный интеллект станет повсеместной реальностью, и все ключевые технологии так или иначе будут с ним интегрированы. Таким образом, эти дети с первых своих дней будут жить в мире с высокоразвитыми ИИ, автоматизацией, беспилотными технологиями и сложными цифровыми системами, которые будут управлять многими процессами. Их детство и юность будут, вероятно, проходить в эпоху, когда представление об истине также будет формировать нейросеть, так как существенная часть онлайн-контента будет создаваться искусственным разумом либо с его помощью.
Считается также, что «Бета-поколение» будет более осведомленным о проблемах устойчивого развития и экологии, поскольку они в активном взрослом возрасте столкнутся с серьезными последствиями изменения климата, им придется решать возникающие проблемы.
Комментарии (70)
toruvel
18.11.2024 09:23Хотелось бы услышать более конкретные прогнозы, но могу понять боязнь Лукъяненко, кхм, «попасть пальцем в небо»
Проблема верификации информации важна, мне кажется в будущем это будет решаться путем последовательной проверки цепочкой живых людей, так, как сейчас работает «Википедия», например
Но проблема «лживых» ИИ действительно пугает
Oleg_Nikishenkov Автор
18.11.2024 09:23согласен с вами, интересная мысль, может даже появятся соцсети, которые будут исключительно этим вопросом верификации заниматься, нечто похожее уже существует, впрочем
nik_savchenko
18.11.2024 09:23путем последовательной проверки цепочкой живых людей, так, как сейчас работает «Википедия»
добавлю немного личного пессимизма)
Боюсь предположить, что, как вариант, нужна будет как цепочка из людей, так и цепочка верификации этих людей) И все равно обеспечить стопроцентную гарантию корректности будет сложновато.
Тот же опыт "Википедии" показывает, что содержание статей может быть, мягко говоря, необъективным, но сам ресурс при этом имеет претензию на некоторую энциклопедичность.
И да, ранее и в настоящее время проблема верификации тоже не решается в 100% случаев, я бы и 50% дал с трудом, но кто я такой, чтобы мерить)
Но наблюдается явное увеличение скорости распространения информации, т.е. банально растут риски (ну и да, кто оседлывает поток, тот владеет умами, звучит банально, но мне, например, сложно спорить). И история с "в одном конце деревни кашлянул, в другом говорят, что завтра похороны" вполне трансформировалась, например в "ученый изнасиловал журналиста" и "мастерство" заголовков и копирайта с рерайтом.
Поэтому проблема лживых ИИ меня тоже пугает)Oleg_Nikishenkov Автор
18.11.2024 09:23кто оседлывает поток, тот владеет умами
На мой взгляд, тоже поколенческий вопрос, кстати
nik_savchenko
18.11.2024 09:23в том ключе, что последующие не захотят ничего седлать или будут делать это с меньшей интенсивностью или речь о другом?
Oleg_Nikishenkov Автор
18.11.2024 09:23А оседлать попробуй тех, кто принципиально только кнопочными телефонами пользуется, не доверяют смартфонам. Отключились от интернета - и все, вышли из матрицы
nik_savchenko
18.11.2024 09:23Двояко, мне кажется, все же.
С одной стороны да, а с другой - вот тебе ТВ, газеты(те же околоуфологические издания, какой-нибудь дилетант и иже с ними) и нужные книжки. И толпа тех, кто смартфону доверяет и с ним не расстается. Сложнее? Да. Нереально? Не уверен.
Ну и то, что дозировка меньше - не значит же, что ты не сидишь на игле, простите за столь вульгарную аналогию.
qw1
18.11.2024 09:23Проблема верификации информации важна, мне кажется в будущем это будет решаться путем последовательной проверки цепочкой живых людей
Сгенерированного контента будет гораздо больше, чем возможностей людей его проверить. Грубо говоря, если на вопрос "почему небо голубое" раньше ребёнок мог увидеть проверенную статью в википедии, то в будущем он будет спрашивать напрямую у чат-бота, читать галлюцинации, и верить им.
Oleg_Nikishenkov Автор
18.11.2024 09:23А я бы сказал, что это уже так, многие отказались от Википедии и браузера и сразу спрашивают у жпт
kompilainenn2
18.11.2024 09:23Глубина, Глубина, я не твой
Oleg_Nikishenkov Автор
18.11.2024 09:23Предложите развитие темы, вернёмся к ней
nik_savchenko
18.11.2024 09:23История с Глубиной как раз закончилась темой, которую лучше не развивать, если мне не изменяет память)
Вот этот самый мирок аватаров, живущих в виртуальности, а не в реальности - один из сценариев результата плохоконтролируемого технического развития, мне кажется, матрица на отечественный лад, с сознательным выбором.
aik
18.11.2024 09:23ИИ — может быть зол по отношению к человечеству. А вторая — что может быть добр.
ИИ не может быть зол или добр. ИИ - это инструмент, как молоток или скалка. Добр или зол может быть тот, кто использует инструмент. Молотком можно забивать гвозди или ломать кости. Но злым он от этого не становится. Ибо молоток - это предмет. Он не думает. И ИИ тоже не думает.
Добр или зол может быть искусственный разум, но его пока не наблюдается.
Oleg_Nikishenkov Автор
18.11.2024 09:23Тут, видимо, кавычки надо поставить, писатель выразился образно
smarthomeblog
18.11.2024 09:23Как раз ИИ должен думать и проявлять чувства. То, что сейчас выдаётся за ИИ им ещё не является. Но кто знает, как оно повернется в ближайшем будущем.
aik
18.11.2024 09:23ИИ думать не должен. ИИ должен делать то, на что запрограммирован.
Думать должен ИР.
Hardcoin
18.11.2024 09:23Какой смысл в подобной лингвистической эквилибристике?
aik
18.11.2024 09:23Исключительно точность терминологии. ИИ не обладает сознанием, потому его надо отделять от "искусственного разума" - это совершенно отдельная область.
qw1
18.11.2024 09:23Смысл в том, что настоящие злодеи не прятались за ширмой "злого ИИ". Если ИИ дифференцирует тарифы или выдаёт рекламные тексты, максимально бьющие в цель и заставляюшие тратиться на фигню, то злой - владелец корпорации, которая получает прибыль, а не ИИ.
Autochthon
18.11.2024 09:23Возможно мы столкнемся не с избытком информации, а с ее дефицитом. Если умрут все тематические форумы где ИИ будет брать данные для обучения? Возможно даже новые технологии окажутся под угрозой внедрения из-за того, что о них ничего не знает ИИ. Но мне кажется, что скорее всего возникнет определенный баланс.
Oleg_Nikishenkov Автор
18.11.2024 09:23интересная мысль! действительно ,без нашего активного мыслительного процесса ИИ не на чем будет учиться
Hardcoin
18.11.2024 09:23Ценность человеческого мыслительного процесса преувеличена. Alpha Zero обходился без него (не считая самой разработки алгоритма, конечно).
Буквально через год мы увидим отказ от человеческих данных для обучения во многих областях. Запомните этот твит, как говорится.
qw1
18.11.2024 09:23С детерминированными играми сравнивать неуместно. Там точно известно, что есть победа, а что поражение, по поэтому можно нагерерить много ситуаций и оценить их автоматически.
А что делать с текстами, с рисунками? ИИ может нагенерить дохрена всякой мути, но без оценки человеком невозможно проверить ценность сгенерированного, а значит и направить обучение.
Hardcoin
18.11.2024 09:23Оценка - это не то же самое, что исходные данные для обучения.
У массовой аудитории считается, что для рисования ещё более качественных картинок нужно ещё больше картинок от людей, но ситуация уже не такая. Ещё лишний петабайт картинок не является необходимым (и никак не поможет оценить качество сгенерированного)
А вот оценка без сомнения нужна. И проблема получить максимум результата из минимума оценок. Есть RLHF, но он далёк от идеала.
qw1
18.11.2024 09:23В Alpha Zero генерация + оценка полностью автоматическая.
А тексты/картинки... Никто не будет вычитывать/отсматривать миллиард гигабайт попыток, тем более тех, которые отличаются чуть-чуть (но эти отличия важны, чтобы понять, куда двигаться модели). RLHF - черепашья скорость, по сравнению с тем, что нужно Alpha Zero.Hardcoin
18.11.2024 09:23К чему вы клоните? Что человек нужен для оценки? Нужен.
Но это не значит, что он нужен для начальных данных (в том смысле, что картинок не хватает сейчас)
Oleg_Nikishenkov Автор
18.11.2024 09:23да, но тут есть творческая "заморочка": что человеку нужно: оценивать или создавать самому?
Oleg_Nikishenkov Автор
18.11.2024 09:23Если через год, то уже сейчас должны быть прецеденты
Hardcoin
18.11.2024 09:23Они есть. Вот пара старых статей в этом направлении (не считая alphazero)
https://arxiv.org/abs/2110.08176
Вот распознавание объектов с помощью самостоятельного изучения окружения (с ограниченным датасетом от людей)
https://www.psc.edu/spatial-ai/
Работы ведутся и прорыв в этой области определенно будет.
vilgeforce
18.11.2024 09:23" У нас также есть серьезные заделы в биотехнологиях " - интересно было бы узнать какие именно. Наиболее серьезный "задел" в биотехнологиях - почти четверть века гонений на генетику. Поэтому и отставание с тех пор.
Особенно доставило про пожелание терпения тем, кто тут остался работать. Не хорошего начальства, не интересных задач - а терпения и удачи, да.
SvetBolgova
18.11.2024 09:23А при чем здесь гонения на генетику? Гонения как начались так и закончились, а биотехнологические исследования сильные, от них и заделы. Институт генетики, например, (на которую гонения) всегда давал серьезные результаты, и публикациями в Nature, и патенты, не знаю, какие еще критерии серьезности дать, но они все есть.
vilgeforce
18.11.2024 09:23Гонения закончились, да упущенное время так и осталось упущенным. Если вы говорите о заделах - расскажите конкретнее, особенно про институт генетики (который из, кстати?) - который всегда(!) давал серьезные результаты. Как там с серьезными результатами этого института в 1927 или 40-50х годах? Особенно с публикациями в Nature?
Открытие нуклеиновых кислот, их структуры и роли? Вирусы? Электронный микроскоп? Моноклональные антитела? Может хоть синтез белка в СССР открыли? Интерференция РНК? CRISPR? ПЦР? Все эти Southern Blot'ы? ничего из этого...SvetBolgova
18.11.2024 09:23:) Нет, в 50-х годах советских ученых в Nature не публиковали.) Они не отправляли туда статьи. Но не потому, что нечего было. И ничто из того, что вы назывете, не биотехнология. Институт отпочковался от Курчатника в 1968 году. Публикация в Nature на тему предсказание структуры белка в нулевых, эта та тема, за которую Нобелевку дали на той неделе. Лично моя диссертация была про синтез L-аргинина коринебактериями, и вот это — биотехнология, годная вполне.
vilgeforce
18.11.2024 09:23"Институт генетики" - 1930 год основания, первый деректор - Вавилов.
"Институт общей генетики" - 1966 год основания
"Институт цитологии и генетики Сибирского Отделения РАН" - третий институт, 1957
И конечно же в биотехнологии не нужна генетика и т.д. Можно и без нее, но плохо. Собственно, как оно и было везде, кроме Курчатовского
Hardcoin
18.11.2024 09:23упущенное время так и осталось упущенным
Не бывает такого. Не существует вечных преимуществ.
alcanoid
18.11.2024 09:23Почему у меня ощущение, что все фото Лукьяненко из поста нарисовала нейросеть?
DSSilver
18.11.2024 09:23Когда появилось книгопечатание был вой по поводу деградации людей.
Когда появились калькуляторы, был вой о деградации людей.
Когда появился Интернет был вой о деградации людей.
Между тем, качество и сложность интеллектуального продукта, на любой временнОй базе, все это время только повышается.
Какой из этого можно сделать вывод? Вой о деградации людей - надежная, нестареющая тема! С ней сравнится только нестареющая со времен античности тема о «порочности молодежи», которая, на взгляд старцев, каждый раз хуже, чем их поколение.
Oleg_Nikishenkov Автор
18.11.2024 09:23Не согласен. Речь идёт не о том, что кто-то стал хуже или лучше, а о том, нужно стараться или нет добывать знания. Пример из жизни: многие молодые люди уверены, что иностранный язык легко выучить и общаться на нем. К этой мысли их подталкивают, на мой взгляд, в частности, легкодоступность онлайн словарей и автоматических переводов, которые сейчас во многом на ИИ построены, возможность общения в соцсетях и в переписке с подсказками от ИИ и прочего. И каково же их искреннее разочарование, когда они узнают, что чтобы общаться на приличном иностранном языке, нужно посвятить этому вопросу много времени упорного труда. И я сравниваю со своим поколением: нам и в мысли не приходило, что это легко, изначально настраивались на то что будет нелегко и придется часть жизни отдать этому процессу, пожертвовав чем-то другим. Я бы добавил, что ещё и иллюзия создаётся лёгкости и бессмысленности тяжёлого труда в ряде вопросов. Зачем, если можно сгенерировать ИИ?
IvanBodhidharma
18.11.2024 09:23Это тот самый Лукъяненко, который вот это писал?
Booboooru
18.11.2024 09:23Вы бы видели ,что он в 14м году писал
qw1
18.11.2024 09:23Для меня он стал неприятным, когда вошёл во всякие авторские общества и присоединился к гонениям на открытые библиотеки. Хотя начинал-то, с бесплатного распространения своих опусов по ФИДО и интернетам, чем и завоевал популярность.
GrinEgor
18.11.2024 09:23Мнение "эксперта" с "безупречной" репутацией.
Chetverh
18.11.2024 09:23На "международном" симпозиуме.
Нынче, если почитать состав всего заявленного "международным", там 80% Россия, 15% СНГ, 4% дружественые страны и по 1-2 из остальных. Из этих 1-2 половина с русскими фамилиями.
Но не подкопаешься: международно.
sneg2015
18.11.2024 09:23Гипотеза что произойдет сращивание человека и ИИ. Уже сейчас есть очки с дополненной реальностью, телефон многие не выпускают из рук. Осталось только вживить это в тело. Это не хорошо и не плохо, это возможно новый этап эволюции.
Oleg_Nikishenkov Автор
18.11.2024 09:23в принципе этого нельзя исключать, если мы вживаем искусственные зубы для питания, искусственные сердца и сосуды для кровообращения, искусственные суставы для перемещения, то почему бы рано или поздно не дойти до вживления искусственных частей мозга для мышления?
d00m911
18.11.2024 09:23В данных вопросах он, при всем уважении к нему, не является специалистом.
Oleg_Nikishenkov Автор
18.11.2024 09:23А что Станислав Лем был специалистом в ракетостроении? А Азимов в робототехнике? Писатель-фантаст смотрит в будущее, с этого и начался разговор.
GeorgKDeft
18.11.2024 09:23Про Рим было смешно... вымерли значит ребята потому что не знали что им делать. И никакого телевизора не надо оказывается чтоб сдеградировать до самоуничтожения? А как же варвары спалившие Рим? Они разве смысла жизни империи не придали?
anoneko
Словно до ИИ зумерьё много читало и не выбирало деградировать даже не скрывая этого. Очередной жупел луддизма.
Oleg_Nikishenkov Автор
Гуманитрии обращают внимание на гуманитарный аспект развития, и это нормально абсолютно, луддизма тут нет: никто не призывает останавливать развитие этой технологии и тем более "крушить станки". И есть, все же, о чем задуматься, ИИ действительно все лучше и лучше выполняет за нас некоторые виды работ, соблазн расслабится очень велик. Но, расслабившись, мы непременно начнем терять навыки
vilgeforce
Вы правда расстроены потерей навыка конюха, землепашца, изготовителя лаптей и т.д.?
Dron76
Судя по количеству статей написанных нейросеткой - отомрут как раз интеллеклуалы. Поскольку природа избавляется от того что не нужно. В данном случае - от мозгов.
vilgeforce
Скорее наоборот - качество тех статей что до сеток, что после - не очень, мягко скажем. Но время, конечно, покажет...
Oleg_Nikishenkov Автор
Согласен с вами полностью
alcanoid
Ну да, нейросети пока не сплели ни одной пары лаптей, если что.
Oleg_Nikishenkov Автор
Лаптей, наверно , нет. Но, думаю, речь идёт о творческих вещах, что ближе, конечно, писателям как творческим личностям (тексты, сценарии, иллюстрации и пр.).
vilgeforce
Хороших не заменят, их и так-то очень мало...
Hardcoin
А что насчёт средних? Тезис "хорошим ничего не угрожает" слишком часто используется. Не может быть слишком много людей выше среднего, это самой концепции среднего противоречит. Что будет с ними (с нами)?
Oleg_Nikishenkov Автор
И я бы даже в ряде случаев жёстче ставил вопрос: не просто потеря навыков, а потеря профессии и работы.
Slisel
А я вот согласен с этим утверждением. Ии на текущем этапе развития ни что иное как интерактивная библиотека онлайн с огромной базой информации. Каким образом библиотека делает человечество глупее? Я пользуюсь ей для программирования. И я не посню, чтобы обращался к gpt по одному и тому же вопросу 2 раза. Получается, что я умнею с ней, а не глупею. Разве нет?
Oleg_Nikishenkov Автор
Ну не только библиотека. Тексты, например, создаются в огромном количестве. Переводы с и на иностранные языки, изображения самые разные, презентации, дипломные работы, статьи . Уже есть СМИ, которые полностью написаны ИИ. И, к сожалению, школьники и студенты часто прибегают к ИИ, ленятся сами, увы
Slisel
Они учатся не уделять внимание вопросам, которые им скучны. Мне сложно себе представить, чтобы графоман отказался писать сочинение на любопытную для него тему. Так же сложно представить себе, чтобы радиолюбителей убивала возможность покупать готовые устройства на алике. Радиолюбителей от этой возможности меньше не становится. И писатели не переведутся. И музыканты с композиторами - тоже. И художники будут творить.
Leader-bot
Творить-то они будут, а им будут за это платить? Уже сейчас многим проще и дешевле нашаманить в нейросети, чем заказывать иллюстрацию. У меня есть знакомые художники, которые прямо в ужасе. Это не в тему статьи, просто мысль в комментарии зацепила.
Dron76
необходимое обучение часто скучно и неприятно приложением усилий, думаю, это утверждение не нужно доказывать
vlatro
Мне кажется, тут проблема глубже. И в «дипломах», и в прочих «работах» слишком много внимания стало уделяться воде и оформлению, а не содержанию по сути.
Если какую-то работу можно написать с помощью ИИ более, чем наполовину - её научная ценность близка к нулю.