Сейчас модно обсуждать ChatGPT / Сopilot и код, который они генерируют. Может ли AI полноценно программировать? Заменит ли он меня? Имхо этот вопрос вторичен, проблема куда глубже и серьёзнее.
Одни говорят, что на сегодняшний день в Copilot нет ничего плохого — это всего лишь инструмент, устраняющий мелкую рутину. Оно напишет за тебя цикл, проверит if err != nil, но не более того. Другие — что развитие ИИ идет нелинейно, с ускорением, и по опросам специалистов появление разума, сравнимого с человеческим, неизбежно. А если можно будет тиражировать искусственных ученых и программистов, то и до сверхразума недалеко. Который, хе-хе, может решить уничтожить всех людей.
Т.е. другими словами, никто не знает, что будет. Мнения различаются, но важно понимать, что
вероятность опасного развития событий больше нуляи эта вероятность не то чтобы совсем иллюзорна.
Окей, возможно, в сверхразум на всякий случай встроят три закона робототехники, и допустим это сработает. Или даже бог с ним, предположим, сверхразум сделать не получится, а просто будут очень-очень умные ИИ-помощники, на порядки круче, чем GPT4. Но даже если и так, человечество очень быстро получит доступ к огромному числу изобретений: производство, медицина, электроника и вообще что угодно. Это может привести человечество к золотой эпохе.
А может и убить: знаменитый эксперимент с крысами ("Вселенная-25") показал, что когда им сделали а-ля "золотую эпоху", они вообще перестали размножаться и вымерли. Эксперимент много критиковали, но как иллюстрация возможных проблем — самое то.
А что если люди смогут жить по 500 лет, и при этом размножаться? Ух, что будет! Что-то непредсказуемое. Перенаселение, болезни и войны за ресурсы? Или экстренное освоение космоса?
Я к тому, что при любом раскладе есть много нюансов и потенциальных смертельных опасностей. Смертельных для всего человечества. Но эти нюансы если и обсуждаются, то даже не на втором плане, а скорее на десятом. Обычно мы просто делаем свою работу, и всё. Максимум — разговоры в курилке "а возможно ли заменить программистов".
Поймите меня правильно, есть организации, которые исследуют такие проблемы, например, MIRI, но власти у них ноль, скоуп исследований ограничен, и почти никто это не обсуждает. В отличие от приколов типа "смотрите, мне chatGPT нарисовал текстом Девятый вал Айвазовского"
Это, конечно, впечатляет, что нейросеть непойми как научилась считать и рисовать (хотя задумывалась как T9 на максималках), но это же по сути всё неважно, по сравнению с рисками для человечества.
Воззвание Илона Маска и прочих с целью остановить развитие GPT — это интересно, но не более. Никакого практического результата от этого нет и не будет.
Философия отстает от технологий
Проблема в том, что хотя человек как отдельная личность вроде бы более менее начал что-то соображать и хотя бы немного ушел от стадии инстинктов обезьяны, всё человечество в целом живет абсолютно хаотично. Оно почти никогда не задается вопросами "зачем" и "а что будет, если".
Мы сначала что-то делаем, потом смотрим что получилось. Это самый настоящий дебаг на проде.
Такое броуновское движение породило, например, атомную энергию. Вроде и польза огромна, но минимум четыре раза человечество было буквально на волосок от полного уничтожения, помогло только чудо.
Урбанизация населения и появление самолётов ускорило наше развитие, но за счет такого плотного взаимодействия людей очередная пандемия может уничтожить сразу всех.
Индустриализация возможно в конце концов уничтожит наш климат.
И так далее.
Эти вероятности небольшие, но мы постоянно раз за разом испытываем судьбу, и если ничего с этим не сделать, то по закону больших чисел
человечество обязательно погибнетЕсли бросать монетку много-много раз, то она встанет однажды на ребро.
Искусственный интеллект — это просто еще одна вероятность звиздеца в эту копилку. Классический пример: какой-нибудь неадекват с помощью мощного интеллектуального помощника может сделать саморазмножающегося наноробота, и эти твари за считанные дни съедят всю поверхность планеты, превратив ее в серую грязь.
Специалистов, занимающихся исследованиями, связанными с машинным обучением, всё больше и больше, тысячи их, они растут чуть ли не по экспоненте.
Философских обсуждений, которые у всех на слуху — ничтожно мало. Международных организаций, способных продумать, проверить на риски и главное эффективно ограничить сомнительную технологию на уровне всего мира — ровно ноль.
Просто все страны сами по себе. Если условная Европа заботится о выбросах углекислого газа и сортирует мусор, то в других странах могут топить чем попало и выбрасывать мусор прямо в реку или море.
Этические проблемы и вопрос "зачем?"
Вот мы сделали нейросети, которые умеют рисовать во многом лучше художников. Внимание, вопрос: что это в целом дало человечеству, какую пользу? Ради чего мы лишаем любимой работы тысячи людей? Чтобы что? Будет меньше голода или болезней? Нет ведь.
Свободный рынок очень хорош для развития, но в любой стране обязательно есть процедуры для его регулирования: антимонопольная служба, трудовой кодекс с ограничением трудового дня и т.д. Совсем без ограничений нельзя, потому что иначе в итоге победит одна корпорация, которая скупит всех конкурентов, а людей сделает практически рабами.
Мы хорошо помним печальную историю добавления тетраэтилсвинца в бензин, когда все уже знали, что это ужасно вредно (особенно детям), но бизнес еще десятилетиями не сдавался и продолжал травить людей (и даже себя) ради извлечения прибыли.
Луддизм — не выход
Но запретить вообще всё новое — конечно тоже не выход. Технологии нам нужны. Как минимум неплохо было бы забэкапить человечество на других планетах, или построить эффективную защиту от метеоритов. А то мало ли что. Сделать это без технологий (а возможно и сверхразума) не получится.
Избавиться от голода и бедности тоже хотелось бы. Да и работать в целом поднадоело, пусть роботы уже пашут.
Но и хаотическое неконтролируемое бросание смертельной для всех монетки тоже недопустимо. А мы бросаем ее с ускоряющейся частотой. Дебаг на проде.
Кстати о луддизме. Были бы все эти восстания и погромы машин, если бы промышленная революция в Англии шла чуть медленнее и продуманнее? Промышленная эволюция, так сказать. А может, это чушь, и лучше ускорять развитие как можно сильнее, тогда в целом меньше людей будет страдать? Я не знаю.
Еще пример: раньше в сельском хозяйстве было задействовано больше 90% населения. Благодаря автоматизации это число сократилось до единиц процентов (в развитых странах). Т.е. огромные толпы людей в то или иное время оказывались без работы и перемещались в города, чтобы хоть как-то заработать себе копейку. Сколько там было сломанных судеб?
В общем, эти проблемы должны кем-то продумываться в явном виде, и цель "заработать еще миллиард любой ценой" недопустима, когда речь идёт обо всех людях сразу.
Кто знает, может быть как раз сверхразум поможет человечеству выбраться из смертельной ловушки экзистенциальных угроз.
"Fun" facts
-
Элиезер Юдковский предложил стратегию, призывающую человечество к «смерти с достоинством», он считает выживание человечества недостижимо, мы должны сместить фокус наших усилий на то, чтобы помочь человечеству умереть с чуть большим достоинством.
-
Многие думают, что исчезновение одних профессий компенсируется появлением других профессий. Сейчас меньше трубочистов (более современное отопление), зато появились сантехники. Это во многом так, но при замене интеллектуального труда искусственным интеллектом это не сработает, ведь ИИ универсален, и сможет заменить до кучи и все вновь появившиеся профессии.
Зачем я всё это пишу?
Очень хочется, чтобы люди говорили о глобальных проблемах, потому что это экстремально важно. Просто обсудите с кем-нибудь в курилке, в рабочем чате, особенно если кто-то скидывает очередной прикол про chatGPT или midjourney.
Хватит уже дебажить на проде.
Больше полезного можно найти на telegram-канале о разработке "Cross Join", где мы обсуждаем базы данных, языки программирования, новости и всё на свете!
Комментарии (48)
Poperechny11
13.07.2023 17:53+1Это лишь новая реальность, к которой нам предстоит привыкнуть, хоть и тяжело представить куда всё это приведёт.
raamid
13.07.2023 17:53-1Поддержу автора. Все предыдущие иструменты которые создавало человечество не были "черным ящиком", в отличие от ИИ. Так что есть о чем задуматься.
ilriv
13.07.2023 17:53+3Очень многие опасные инструменты были "черным ящиком". Люди сначала не догадывались о вреде радиации, затем провели множество испытаний чтобы оценить летальность ядерного оружия. Наркотики (в т.ч. героин) продавались в аптеках. Ядохимикаты применялись без исследования токсичности. И т.д.
Имеющийся в Интернете контент сгенерирован людьми по их личному разумению. И если факты ещё можно считать относительно достоверными, то в области интерпретации фактов всегда была экологическая катастрофа. Например в учебниках истории достоверными можно считать только даты, а интерпретации фактов всегда зависели от политической установки. Возможно, риски фальсификации фактов напротив заставят более бережно обращаться с информацией.
Moskus
13.07.2023 17:53+1Озабоченность "фальсификацией информации" принимает уже форму настоящей обсессии. Тем временем, в том, что кто-то правдоподобно врёт в интернете, нет абсолютно ничего нового.
Sau
13.07.2023 17:53Пока это происходит довольно локально.Обычному человеку не хватит мотивации и изобретательности чтобы сфальсифицировать что-то крупнее записи в блоге.
С нейросетью генерирующей правдоподобную информацию в промышленных количествах будет совсем иначе. Можно не просто придумать фейк, можно окружить его таким количеством информации, что он станет неотличим от фактов. Вплетён в существующие факты. Представьте себе город-стотысячник, жители активны в соцсетях, есть какие-то местные паблики, подслушано, новости, группы по местным ЖК, местные проблемы, можно пообщаться с жителями, кто-то из его жителей есть в друзьях у ваших друзей. Фотографии города, панорамы, памятник основателю, статистика по преступности, доходам, всякие ИП, филиалы красного и белого. Пара тревел-блоггеров бывают что-то постят про этот город, буквально пару общих фраз. Можно отправить жителю открытку и получить ответ. Можно связаться с кем-нибудь по телефону, телефонный префикс есть. И даже по видеосвязи. Вот, например, Всеволожск, есть он или нет? Вроде есть всё перечисленное. А я могу вам сказать что проезжал там недавно, и ничего кроме лесов и полей не видел.
Город? Страну? Религию? Историю? Альтернативный политический строй, которых всем покажется привлекательнее текущего?
Moskus
13.07.2023 17:53Это красивая фантазия, которая не то чтобы невозможна, но куда менее возможна, чем уже реально применяющиеся системы, которым люди уже доверяют массовые решения сомнительного качества.
raamid
13.07.2023 17:53Очень многие опасные инструменты были "черным ящиком".
Согласен. Очень многое сначала было черным ящиком. Только вот если с ЯО, антибиотиками, наркотиками и т.п. ситуация со временем становится более понятной, то в случае ИИ ситуация во временем становится все менее понятной и контролируемой. До такой степени, что в перспективе люди вообще перестанут понимать суть происходящего.
BugM
13.07.2023 17:53Зачем вы нападаете на инструмент? Инструмент хороший, им много хороших штук можно сделать.
Нападайте на плохое использование инструмента. Недавно на Хабре хорошо написали чем черевато плохое использование генеративных нейросетей в современном интернете. Вот это реальная проблема.
Ядерная энергия это хорошо. Реально хорошие штуки с помощью нее сделали. Ядерная война это плохо. Чтобы ее не было построено много всяких заборов. Заборы работают. Вот нужно что-то такое вероятнее всего.
Moskus
13.07.2023 17:53+1Предложите эффективный способ априорной оценки побочных результатов применения недетерминированного инструмента.
Иначе, "нейтральность" инструмента оказывается ложной, так как её оценка происходит только в рамках предопределенной задачи. А всё за её пределами просто игнорируется, никак не проверяется и т.п.
BugM
13.07.2023 17:53Полезен любой инструмент с помошью которого можно создать что-то априори полезное. Как делать так чтобы всякие гадости большого масштаба с помощью этого же инструмента не делались человечество умеет.
Тут есть некоторая проблема как сделать так чтобы интернет оставался ну более-менее нормальным. Как сейчас пойдет. Но эта проблема выглядит решаемой. Тот же спам с которым все умеют бороться только на порядки больше и качественнее.
Moskus
13.07.2023 17:53А при чём здесь вообще интернет? Уж не сводите ли вы проблему к пресловутой генерации бредового контента?
BugM
13.07.2023 17:53Именно в этом я и вижу главную проблему. Возможно есть и другие проблемы, которые пока не видны. А эта четко видна и может стрельнуть с высокой вероятностью.
Moskus
13.07.2023 17:53Это близорукое восприятие. Вероятно, под влиянием сенсационалистских новостей. Тем временем, ML давно применяется в повседневных задачах, а вы это полностью игнорируете в пользу возможной фантазии.
BugM
13.07.2023 17:53Ну применяется и что? Это как раз хорошо. Полезный инструмент - приносит пользу. Я именно про то где он может глобально навредить.
Moskus
13.07.2023 17:53Так в том то и дело, что утверждение о том, что приносит пользу - это ерунда. Потому что, например, когда такой инструмент помогает безответственным и ленивым hr просеивать резюме, кто оценивает, делает ли он это вообще сколько-нибудь объективно и близко к реальности?
Ещё раз, специально для вас, упрямо игнорирующего проблему, о которой говорю я: методы машинного обучения используются в принятии решений, конкретные критерии принятия этих решений никому не известны, качество решений - также неизвестно (верят на слово вендору). Но для вас это "хорошо, приносит пользу".
А вы беспокоитесь о том, что кто-то, например, правдоподобное фальшивое фото в интернете опубликует.
BugM
13.07.2023 17:53Если он конкретным hr будет приносить вред их эффективность понизится и их уволят. Они сидят на премиях за найм, зарплата там на еду обычно. Или даже их компании разорятся. Что тоже хорошо в конечном итоге. Все самом себя отрегулирует.
Я не понимаю зачем переживать о нормальных событиях? Они глобально даже полезны, а не вредны. Плохие подходы тоже надо проверить чтобы убедиться что они плохие. Вдруг это не так на практике окажется?
Люди принимают решения тоже по разному. Очень по разному. Введение еще одной переменной никак не повредит.
Я беспокоюсь о чем-то реальном. Что может принести много бед всем людям уже в этом-следующем году. А не про какие-то частные штуки которые экономика сама отрегулирует.
nagafonov
13.07.2023 17:53Если взглянуть на историю человечества, люди всегда изобретали и создавали инструменты упрощающие жизнь. Поэтому сценарий создания сверх интеллекта это лишь вопрос времени, возможно мы уже на пороге. Сможет ли человек контролировать свою безопасность при этом? Я думаю это маловероятно, так как не логично более совершенному существу, быть рабом человечества.
nuclight
13.07.2023 17:53Совершеннее? Пока что оно гораздо примитивнее человека, и с текущими матмоделями - совершеннее не будет.
flancer
13.07.2023 17:53Про монетку на ребре - это хорошо. Мы все умрём, рано или поздно. И человечество тоже умрёт. Всё. Когда-то. Как минимум, согласно действующим научным представлениям об окружающем - либо Солнце выгорит, либо Вселенная схлопнется или остынет в ноль. В общем, в дальней перспективе шансов на выживание никаких. Конец детерминирован. "Самурай - это не цель, самурай - это путь" (с) Дебаг на проде - это, как минимум, волнующе.
randomsimplenumber
13.07.2023 17:53+1Дебаг на проде
А что делать? Тестового стенда нет, backup некуда делать и нечем разворачивать. Так и живем
последнийкрайний миллион лет.Moskus
13.07.2023 17:53Проблема не в том, что дебаг на проде, а что это просто ужасно работающий прод без особых попыток дебага.
flancer
13.07.2023 17:53это просто ужасно работающий прод
А вот это уже точка зрения и она зависит от того, кто вы - оптимист или пессемист.
анекдот в тему
Жили-были два брата близнеца. Похожие, конечно, но один оптимист, а другой пессимист. Соответственно один всем доволен и счастлив, а другой всегда недоволен, все ему не так.
И вот наступает Новый год, родители ломают голову, какой бы подарок сделать братьям, чтобы радости у них было поровну, ведь детей они своих любят одинаково... И вот под елочку пессимисту кладут лошадку, а оптимисту - кучку говна.
Утром пессимист в слезах: Сплошное огорчение...Не белая, а коричневая, грива куцая, хвост не той длины, да и вообще лошадь игрушечная, а он-то живую хотел.
А оптимист забегает в комнату радостный, глаза светятся: "А у меня лошадка ЖИВАЯ!!! Только она убежала..."
Moskus
13.07.2023 17:53Это ложный аргумент относительности. Наличие эффектов, которые объективно отличаются от ожидаемых - факт. В свою очередь, да, вы можете выбрать их игнорировать или нет.
flancer
13.07.2023 17:53ну, как бы вы правы, если аргумент относительности действительно ложный. А если не ложный? Кто оценивает ложность аргумента относительности? Никто не отрицает отклонение регистрируемого от ожидаемого. Но ведь никто ни ожидал стопроцентного совпадения. Или вы таки ожидали?
ilriv
Традиционное замечание: инструменты не опасны, опасны люди которые их применяют со злыми намерениями.
varanio Автор
Да, это понятно. Но в реальности их используют именно что люди, какие попало
DeepFakescovery
а ну ладно, тогда распродаём nvidia кластеры, прекращаем исследования.
pulsatrix
poxvuibr
Стандартный ответ от Юдковского. В случае с ИИ опасен инструмент сам по себе. Для того, чтобы он принёс вред, злых намерений не нужно. Как с атомной электростанцией - достаточно не соблюдать технику безопасности и всё кончится плохо. И если с АЭС технику безопасности хотя бы стараются соблюдать, то с ИИ этот вопрос не волнует вообще никого.
ilriv
Для того, чтобы он принёс вред, злых намерений не нужноЕсли не соблюдать технику безопасности при работе с садовыми граблями, может потребоваться хирургическое вмешательство.
ИИ отличается от других инструментов тем, что без непосредственного участия человека он не может причинить ни вреда, ни пользы. А вред может причинить только в результате целенаправленных действий самого человека. Может быть потом ситуация изменится.
Moskus
Вы верно понимаете проблему, но у вас плохой аргумент. Несоблюдение правил - это детерминированная ситуация, когда известно, что если чего-то не делать или далать иначе, будет нежелательный эффект. В случае ML-инструментов (но не только их) существует проблема того, что мы не знаем, что именно случится, если их использовать.
poxvuibr
Про АЭС это был не аргумент, это была аналогия. Аналогии врут, но мне постоянно советуют использовать их для объяснения. В очередной раз я продемонстрировал, что их лучше не использовать.
Хорошее уточнение, да. Если развить аналогию с АЭС, то можно сказать, что когда ты не в курсе какие правила нужно соблюдать, чтобы АЭС была безопасной - лучше её вообще не включать. Но аналогии врут, конечно. То, что написали вы, мне кажется более понятным.
Moskus
Аналогии для объяснения вредны, потому что создают больше проблем, чем решают, особенно когда оппонент с вами не согласен (тогда вы просто приглашаете или аргумент о том что аналогия - некорректная, или создаёте почву для ухода от темы). Полезны они только для иллюстрации, когда вы кого-то чему-то учите, а не спорите с кем-то.
poxvuibr
Я бы даже сказал, что не для иллюстрации, а для того, чтобы человек мог что-то делать, на самом деле не понимая что он делает.
Moskus
Нет, это как раз предельно некорректный способ использования аналогий.
poxvuibr
Ну как. Процессы называют аналогичными, если они описываются одинаковыми уравнениями. Ну или похожими, если аналогия не точная. Это нужно как раз, для того, чтобы не понимать, как происходит процесс, но иметь возможность его контролировать, за счёт того, что ты понимаешь, как происходит аналогичный процесс
ilriv
- Требования техники безопасности при работе с ИИ можно сформировать только на основе практики применения. Поэтому "мы не знаем, что именно случится" - это плохой аргумент
- Чем активней ИИ будет применяться сейчас, когда он еще не стал опасен, тем быстрее будут сформулированы требования ТБ
- ИИ может причинять вред или пользу только через человека т.к. не имеет возможности влиять на окружающую среду в обход человека. Поэтому ответственность лежит на тех людях, которые работают с ИИ. Но у них еще есть время поэкспериментировать
saboteur_kiev
Насколько я знаю, именно это случилось в Чернобыле.
Moskus
Нет, авария в Чернобыле - детерминированная проблема, которая случилась, потому что цепь обстоятельств и решений сдвинула её в сторону неопределенности развития событий.
Проиллюстрирую аналогией. Для взрослого человека, знакомого с управлением автомобилем, очевидно, что если снять с ручного тормоза автомобиль с неисправной основной тормозной системой, строящий на склоне, он поедет и может во что-то врезаться. Но если хозяин автомобиля случайно забыл его запереть, а кто-то ещё привёл кучу детей поиграть рядом с ним, ситуация становится непредсказуемой, потому что появляется возможность, что малолетний идиот сделает нечто, что для него не является очевидно опасным.
saboteur_kiev
Цепь обстоятельств выглядела как "что мы не знаем, что именно случится, если делать вот так", просто "мы" состояла из некоторого количества людей на разных уровнях ответственности.
Hardcoin
Однако термин "Источник повышенной опасности" относится именно к предметам, а не к людям.
ilriv
Есть масса предметов которые могут убить вас без вашего ведома. ИИ без ведома человека может разве что нагружать вычислительные ресурсы.
Moskus
Убить непосредственно - пока нет. Испортить карьеру - уже много лет как да. А от карьерных трудностей на фоне депрессии и до самоубийства недалеко.
И да, живой HR или менеджер обладает ровно теми же способностями. Вопрос в том, что это частный единичный и случайный фактор. А один и тот же инструмент на базе ML может использоваться в сотнях компаний одновременно.
Moskus
Неверно. Это одна из форм фундаментальной ошибки атрибуции.
Опасность может представлять применение с самыми добрыми, но непродуманными намерениями. И здесь рассуждающих на эту тему подводят ложные аналогии с инструментами, эффект от которых можно легко предсказать.
Ошибочная оценка эффектов может быть не менее, а иногда даже более опасна, так как недостаток знаний о вопросе может мешать не только верно предсказать эффект но и распознать негативный эффект.
Собственно, исторических примеров подобного (типа использования биологических методов борьбы с вредителями) - более чем достаточно, чтобы даже человек, склонный к конкретному мышлению, мог понять, что целенаправленное злое намерение абсолютно не является необходимым условием для вреда.
berng
Недавно задал bing-у вопрос - найти нобелевского лауриата в одном из сибирских университетов. Вот что он мне выдал:
The closest Irkutsk State University has come to producing a Nobel laureate is with Nikolai Basov. Basov was born in Ust-Kamenogorsk, which is now in Kazakhstan, but he studied physics at Irkutsk State University from 1943 to 1948. After graduating, Basov went on to work at the Lebedev Physical Institute in Moscow, where he made significant contributions to the field of quantum electronics. In 1964, Basov was awarded the Nobel Prize in Physics, along with Charles Townes and Alexander Prokhorov, for their work on the development of the maser and laser.
However, Basov did not actually graduate from Irkutsk State University. He was expelled from the university in 1947 for participating in anti-Soviet activities. He was later reinstated, but he did not graduate until 1950.
So, while Irkutsk State University has not produced a Nobel laureate, it has certainly produced some talented individuals who have made significant contributions to their fields.
Думаю, Николай Басов очень удивился-бы таким неизвестным фактам своей биографии. То-есть продвинутая нейронка соврала буквально все важные факты (выделено жирным), и умело попыталась спаять это с известными фактами, чтобы ее ложь было сложно отличить от правды...
Жаль, что очень немногие понимают, почему это и должно работать именно так. Генеративная нейронка всегда пытается заполнить недостающее чем-то, умело сгенерированным, и поэтому никогда не стоит доверять никаким ее результатам, они в принципе получаются не фактическими, а лишь похожими на фактические, просто по способу их построения. Просто вследствие алгоритма обучения сети и способа ее работы. Поэтому нынешний хайп генеративных нейронок одновременно и смешон, и весьма опасен.
Moskus
Фокус на ситуации вранья сбивает людей с толку. Потому что факты, в общем, проверить можно. Это, опять же, детерминированная проблема.
А вот решения, принятые на основе распознаваемых ML-инструментом (никому неизвестных) паттернов, проверить может быть невозможно.