Леопольд Ашенбреннер, бывший сотрудник OpenAI из команды Superalignment, опубликовал документ под названием «Осведомленность о ситуации: Предстоящее десятилетие», в котором он делится своим видением будущего ИИ. Основываясь на своих знаниях в этой области, Ашенбреннер предсказывает стремительное развитие искусственного интеллекта в ближайшее десятилетие.
Мы прочитали этот документ объемом в 165 страниц за вас. В этой статье расскажем о ключевых идеях Ашенбреннера и о его прогнозах на будущее искусственного интеллекта.
В статье будут использоваться следующие термины:
AGI (Artificial General Intelligence) — Общий Искусственный Интеллект, ИИ с разумом человеческого уровня
Сверхинтеллект — ИИ, ставший в разы умнее людей
Алгоритмический прогресс — улучшение алгоритмов машинного обучения
OOM (order of magnitude, порядок величины) — десятикратное увеличение, 10x
Капитальные затраты (CapEx) — расходы компании на приобретение или модернизацию оборудования
Вступление
По словам Ашенбреннера, американский бизнес готовится вложить триллионы долларов в развитие вычислительных мощностей, необходимых для создания машин, способных думать и рассуждать. К 2025-2026 годам эти машины, как ожидается, превзойдут по интеллекту выпускников колледжей, а к концу десятилетия станут умнее, чем любой человек. Ашенбреннер предупреждает, что этот прогресс может привести к гонке в области ИИ между США и Китаем, а в худшем случае — к полномасштабной войне.
Для начала давайте разберемся, кто такой Леопольд Ашенбреннер и чем занималась его команда.
Ашенбреннер был уволен из OpenAI ранее в этом году. По его словам, причиной увольнения стало то, что он поднимал вопросы о недостаточных мерах безопасности в компании и делился документами, которые, по мнению руководства OpenAI, содержали конфиденциальную информацию. Ашенбреннер отрицает, что в документе была конфиденциальная информация, и утверждает, что в нем лишь упоминалось о планах компании по созданию AGI (общего искусственного интеллекта) к 2027-2028 годам.
Перед увольнением Ашенбреннера юрист OpenAI расспрашивал его о взглядах на прогресс ИИ, AGI, уровень безопасности, роль правительства в регулировании AGI и его лояльность к компании. Ашенбреннер был одним из немногих сотрудников, кто не подписал письмо с призывом вернуть Сэма Альтмана на пост CEO после того, как совет директоров его уволил.
Команда Superalignment, ранее возглавляемая Ильей Суцкевером и Яном Лейке (они тоже ушли из OpenAI), занималась контролем развития AI. Их главная цель заключалась в удержании искусственного интеллекта в определенных рамках, чтобы он:
Соответствовал целям его создателей
Не действовал непредсказуемо
Не наносил вред человечеству
I. От GPT-4 к AGI: Подсчет OOM (Orders of Magnitude)
В первой главе Леопольд Ашенбреннер утверждает, что AGI (Artificial general intelligence) появится уже в 2027 году. Это будет разум, по своим возможностям сопоставимый с человеческим. Ашенбреннер приходит к этому выводу, анализируя темпы прогресса в области deep learning за последние годы:
С 2019 по 2023 год, от GPT-2 до GPT-4, был пройден путь от моделей с интеллектом дошкольника до моделей, сравнимых с одаренным старшеклассником. Этот гигантский скачок произошел всего за 4 года.
-
Этот прогресс обусловлен ростом вычислительных мощностей (примерно на 0.5 порядка величины в год), алгоритмическими улучшениями (еще +0.5 порядка в год) и «расковыванием» моделей — переходом от простых чатботов к более гибким агентам.
Многие люди предполагают, что рост вычислительных мощностей связан с законом Мура. (Закон Мура — это наблюдение Гордона Мура, предложенное им в 1965 году. Он предсказал, что количество транзисторов на кремниевом чипе будет удваиваться каждые два года). Но, вместо предполагаемых 1-1.5 ООМ за десятилетие, мы наблюдаем гораздо более быстрое масштабирование вычислений (почти в 5 раз быстрее, чем по закону Мура) благодаря гигантским инвестициям. Раньше, трата даже одного миллиона долларов на одну модель было возмутительной мыслью, которую никто не допускал.
Как менялись вычисления с течением времени
Если эти тенденции сохранятся, то в следующие 4 года, к 2027, мы должны ожидать еще одного скачка, сопоставимого с прогрессом от GPT-2 до GPT-4. Это, вероятно, приведет нас к AGI-системам, способным выполнять работу на уровне ученых, исследователей и ИИ-инженеров.
Ключевую роль будут играть алгоритмические прорывы и «расковывание» моделей, а не только масштабирование вычислений. В ближайшие годы модели превратятся из чатботов в гибких «агентов», сравнимых с сотрудниками-людьми.
Несмотря на то, что обычно все внимание уделяется инвестициям в технологии, алгоритмический прогресс является не менее важным драйвером прогресса.
Леопольд Ашенбреннер признает большую неопределенность в прогнозах, но считает, что AGI к 2027 году — наиболее вероятный сценарий, если экстраполировать текущие тенденции. Он предупреждает, что к этой возможности нужно отнестись предельно серьезно. Достижение уровня AGI станет лишь первым шагом на пути к интеллекту, превосходящему человеческий.
Существует проблема под названием «Стена данных». Суть проблемы заключается в том, что данные в интернете не бесконечны (сейчас ИИ-модели обучаются именно на них). Если рассматривать область программирования, то все публичные репозитории на Github оцениваются примерно в 1 миллион токенов. Вероятно, подход к обучению моделей вскоре придется менять.
Различные лаборатории уже сейчас вкладывают ресурсы на поиск новых подходов и способов решить эту проблему. Исследователи пробуют множество стратегий, начиная от синтетических данных и заканчивая RL-подходами. Конечно, любые результаты исследований, которые касаются «стены данных», являются собственностью компаний и в настоящее время не публикуются.
II. От AGI к Суперинтеллекту: Интеллектуальный взрыв
После достижения ИИ человеческого уровня (AGI), прогресс не остановится. Сотни миллионов AGI смогут автоматизировать ИИ-исследования, сжав десятилетие алгоритмического прогресса (5+ порядков величины) в 1 год. Мы быстро перейдем от человеческого уровня к ИИ-системам, намного превосходящим человека. Сила и опасность сверхинтеллекта будут огромны.
Ашенбреннер приводит аналогию атомными и водородными бомбами. Если атомная бомба является просто эффективным оружием, то водородная бомба — это устройство, способное уничтожать целые страны. Так же будет с AGI и сверхинтеллектом. Сверхинтеллект, вероятно, будет способен обеспечить военное преимущество определенным странам. Из-за этого все человечество столкнется с одним из самых напряженных и нестабильных периодов за всю нашу историю.
Благодаря автоматизации ИИ-исследований, ИИ-системы вскоре смогут работать намного быстрее, чем люди:
Gemini 1.5 Flash работает примерно в 10 раз быстрее GPT-4, обеспечивая производительность, аналогичную GPT-4. Это алгоритмическое ускорение, которого удалось достичь всего за год паре сотен исследователей. Что будет, когда исследованиями и обучением моделей будут заниматься не люди, а ИИ-ученые? Как быстро они смогут достичь подобного?
Например, у нас есть 100 миллионов ИИ-исследователей, каждый из которых работает в 100 раз быстрее человека. Каждый из них сможет выполнить годовой объем работы за несколько дней. Не представляйте здесь просто 100 миллионов младших стажеров-программистов (мы получим уже в ближайшие пару лет). ИИ-исследователи будут очень умными, смогут прочитать каждую когда-либо написанную статью по машинному обучению, глубоко обдумать каждый предыдущий эксперимент, проведенный в лаборатории, учиться и накапливать опыт. Они смогут развить гораздо более глубокую интуицию в области машинного обучения, чем любой человек.
Они смогут легко написать миллионы строк сложного кода, держать весь код в контексте и тратить человеко-десятилетия (или больше) на проверку и перепроверку каждой строки кода на наличие ошибок и оптимизаций. Они будут превосходно компетентны во всех частях работы.
Идея появления сверхинтеллекта часто перекликается с давними дебатами о возможности создания ядерной цепной реакции и атомной бомбы.
Г. Уэллс предсказал появление атомной бомбы в романе 1914 года. Когда Лео Силард, американский ученый и физик, впервые задумался об идее цепной реакции в 1933 году, он не мог никого в ней убедить. Цепная реакция была всего лишь теорией.
Когда в 1938 году было открыто деление ядра, Силард снова запаниковал и стал настаивать на секретности, ведь некоторые ученые начали осознавать, что приближается момент создания атомной бомбы.
Даже Эйнштейн, который изначально не считал цепную реакцию рабочей теорией, быстро понял последствия такого открытия и был готов сделать все, чтобы эти последствия предотвратить. Но Ферми, Бор и большинство остальных учёных считали, что не стоит серьезно относиться к возможности создания бомбы. Секретность этих исследований казалась им бессмысленной и абсурдной. Идея о цепной реакции звучала слишком безумно (даже когда до создания бомбы оставалось всего 5 лет).
Ашенбреннер утверждает, что мы вскоре снова столкнемся с «цепной реакцией», даже если сейчас все это кажется спекулятивным. Ведь среди ведущих учёных в лабораториях искусственного интеллекта многие считают «интеллектуальный взрыв» неизбежным.
Они могут это предвидеть. Сверхинтеллект — возможен.
Ашенбреннер предполагает, что уже совсем скоро мы столкнемся с одним из самых напряженных и нестабильных моментов в истории человечества. Неудача может легко стать катастрофой. Он рассуждает о том, что «интеллектуальный взрыв» и временной период после появления сверхинтеллекта будет одним из самых нестабильных, напряженных и опасных периодов в истории.
IIIa. Гонка за кластером стоимостью в триллион долларов
По мере роста доходов от ИИ, до конца десятилетия триллионы долларов будут вложены в создание GPU, дата-центров и электростанций. Чем активнее будет развиваться AI, тем быстрее произойдет промышленная мобилизация, в том числе увеличение производства электроэнергии на десятки, а может и на сотни процентов.
Компания Nvidia уже потрясла мир, ведь продажи центров обработки данных резко выросли с 14 миллиардов долларов в год до 90 миллиардов. Но, по словам Ашенбреннера, это только начало.
Человечество движется к созданию индивидуальных кластеров для обучения моделей стоимостью в сотни миллиардов долларов к 2028 году. Они будут требовать мощности, эквивалентной той, что требует небольшой штат США. А уже к концу десятилетия мы придем к кластерам стоимостью более чем в $1 трлн, требующим мощности более 20% от производства электроэнергии в США. Триллионы долларов пойдут на производство сотен миллионов GPU в год.
Почему Ашенбреннер делает такие выводы? Вот несколько фактов:
Цукерберг купил 350 тысяч H100. Amazon приобрел дата-центр мощностью в 1 ГВт рядом с атомной электростанцией. Ходят слухи, что в Кувейте строится кластер мощностью 1 ГВт, эквивалентный 1,4 млн H100. А Microsoft и OpenAI работают над кластером стоимостью 100 миллиардов долларов (цифра, сопоставимая с стоимостью Международной космической станции).
Но главный вопрос пока что остается без ответа — где взять 10ГВт энергии? (по грубым расчетам, именно столько энергии понадобится для кластера в 2028 году). Уже в 2030 году нужна будет мощность в 100 ГВт. Это мощность эквивалента 20% производства электроэнергии в США. Это будет уже не просто склад GPU, а сотни мощных электростанций.
Производство чипов тоже потребует кратного роста, но все же вопрос с энергией будет стоять более остро. Также остается вопрос локации. Будут ли кластеры построены в США или в странах Ближнего Востока? Национальная безопасность требует, чтобы они строились в Америке, даже если с точки зрения географии это будет менее выгодно.
IIIb. Заблокированные лаборатории: безопасность для AGI
Ведущие национальные лаборатории, которые занимаются разработкой искусственного интеллекта, считают безопасность второстепенной задачей. В настоящее время они, по сути, преподносят ключевые секреты, ведущие к созданию AGI, на блюдечке с голубой каемочкой.
При текущем курсе развития событий, ведущие китайские AGI-лаборатории будут находиться не в Пекине или Шанхае, а в Сан-Франциско и Лондоне. Через несколько лет станет ясно, что секреты разработки AGI являются самыми важными секретами национальной обороны и заслуживают такого же отношения, как чертежи бомбардировщиков и подводной лодки класса Columbia, не говоря уже о пресловутых «ядерных секретах».
Поскольку гонка AGI ускоряется, все большему числу людей становится ясно, что суперинтеллект будет иметь решающее значение в международной конкуренции. В настоящее время ИИ-лаборатории едва способны защищаться от скрипт-кидди.
Алгоритмы AGI разрабатываются прямо сейчас, но охраняются на уровне стартапа. Последствие утечки этих алгоритмов одно: преимущество США в гонке AGI будет безвозвратно утеряно.
Что требуется для должной защиты AGI:
Полностью изолированные дата-центры с системой безопасности как на военных базах
Новые достижения в области конфиденциальности вычислений и шифрования
Работа всех исследователей в защищенных помещениях
Строгая проверка персонала и мониторинг
Жесткий контроль внешних зависимостей
Постоянный интенсивный пентестинг со стороны спецслужб
Текущая готовность лабораторий ИИ:
Лаборатории не готовы к защите от полномасштабного промышленного шпионажа
Нет времени на подготовку, учитывая вероятные сроки создания AGI (несколько лет)
Необходимые шаги, которые следует предпринять:
Немедленное и радикальное усиление безопасности лабораторий ИИ
Строительство вычислительных кластеров AGI в США
Готовность лабораторий ИИ сотрудничать с военными
IIIc. Superalignment
Главная проблема при создании и разработке AGI — это проблема суперсогласованности (superalignment). Как мы можем контролировать ИИ-системы, которые превосходят человека интеллектуально? Текущие методы согласованности, такие как RLHF (обучение моделей зависит от человеческой обратной связи), не будут работать для сверхчеловеческих систем.
А взрывной рост интеллекта (intelligence explosion), описанный во второй главе, делает проблему суперсогласованности чрезвычайно острой.
Возможно, переход от систем, где RLHF работает, к системам, где он полностью сломается, произойдет слишком быстро. Человечество к этому не готово.
Мы быстро перейдём от систем, в которых сбои и ошибки не имеют последствий (ChatGPT сказал плохое слово, ну и что), к чрезвычайно высоким ставкам (упс, сверхинтеллект самостоятельно вылез из нашего кластера, теперь он взламывает военные базы).
Получившийся в итоге суперинтеллект будет слишком разумным, вследствие чего потенциально чуждым.
Все это будет происходить в невероятно нестабильный и напряженный период.
Управление таким резким ростом интеллекта потребует экстраординарной компетентности. Ошибки на этом пути неизбежны, поэтому многослойные меры защиты критически важны. В целом, Ашенбреннер настроен оптимистично. Он уверен, что человечество способно решить проблему суперсогласованности. Однако, он обеспокоен рисками, которые могут возникнуть. Ключевым из них будет ответственное управление ситуацией, а для этого потребуется серьезное отношение к проблеме.
IIId. Свободный мир должен восторжествовать
Сверхразум даст военное преимущество, сравнимое с ядерным оружием. Страны, обладающие им, будут доминировать над теми, у кого его нет. Даже преимущество в несколько месяцев может быть решающим. Авторитарные режимы могут использовать сверхразум для мирового господства и тотального контроля внутри страны. История показывает опасность диктатур. Ашенбреннер говорит о том, что свободный мир должен победить авторитарные державы в этой гонке.
Здоровая конкуренция в AGI-гонке будет иметь решающее значение для безопасности не только отдельных стран, но и всего мира в целом. Это позволит обеспечить относительную стабильность, которая будет необходима для решения проблем безопасности в крайне нестабильный период появления сверхразума.
США и все остальные страны должны начать относиться к ИИ как к вопросу национальной безопасности. Чтобы избежать проблем в будущем, необходимо уже сейчас обезопасить лаборатории ИИ, строить вычислительные кластеры внутри страны и сотрудничать с разведывательным сообществом и военными.
IV. Проект и V. Прощальные мысли
Мы решили объединить завершающие главы документа в одну, так как они обе содержат в себе одну общую мысль. В этих главах Ашенбреннер рассматривает возможные сценарии, связанные с развитием искусственного интеллекта (ИИ) и достижением им сверхчеловеческого уровня — суперинтеллекта.
Он выделяет возможные препятствия для «интеллектуального взрыва»:
Ограниченные вычислительные мощности и их недостаток для проведения экспериментов
Фундаментальные ограничения, связанные с алгоритмическим прогрессом
Идеи становятся всё сложнее, поэтому вероятно ИИ-исследователи лишь поддержат текущий темп прогресса, а не увеличат его в разы. Однако Ашенбреннер считает, что эти препятствия могут замедлить, но не остановить рост интеллекта ИИ систем.
Ашенбреннер призывает серьезно отнестись к перспективе появления суперинтеллекта в ближайшие годы и десятилетия. Хоть это и даст человечеству огромные возможности, ошибки и просчеты могут иметь катастрофические последствия. Во всем тексте прослеживается важная мысль — необходимо обеспечить надежный контроль ИИ на каждом этапе.
Если вы хотите прочесть документ самостоятельно, его можно почитать здесь.
Также с Леопольдом Ашенбреннером вышел подкаст, который можно глянуть тут.
Комментарии (185)
amazingname
05.06.2024 10:36+20Аналогии в стиле "с атомной бомбой тоже думали что она не возможна" никогда не работают. Нужно смотреть на реальное положение вещей, это гораздо надежнее.
Если посмотреть реально - сейчас мы действительно обнаружили нечто обнадеживающее в AI. Сначала это были сверточные сети: если просто подавать картинку в нейронную сеть, она не сильно эффективна, но если подобрать правильную архитектуру, которая позволяет сети эффективно отражать закономерности в изображении, сеть становится сколь угодно умной в распознавании изображений. Аналогичная вещь случилась с трансформерами. Все что нужно - архитектура которая позволит сети эффективно отражать закономерности обущающего тестового материала. И тогда случается волшебство - обученная сеть достигает уровня, когда она ведет себя в точности как спонтанно реагирующая человеческая память и даже лучше.
Открытием здесь было два факта. Первый факт - вменяемого числа искуственных нейронов достаточно чтобы достичь почти человеческого уровная реакции и понимания матерала. Это было неожиданно, учитывая насколько сложны нейроны мозга и насколько их много.
Второй факт - даже обычного алгоритма обратного распространения достаточно чтобы в нейронной сети отразились и разложились все знания мира, как это делает биологический мозг.
Дальше вопрос - что еще у нас есть? Вроде пока больше ничего. Мы можем взять миллион примеров любого разумного но спонтанного поведения (с немедленной реакцией без планирования) и найти архитектуру для сети, которая это поведение воспроизведет. Сейчас это дело техники. С этим похоже и придется работать инвесторам.
Что касается некого принципиального прорыва - может быть найден новый способ обучения, не требующий так много информации, или может оказаться что достаточно большая сеть вдруг сама по себе станет умнее чем материал на котором ее обучали. Это все может случиться а может не случиться, точно так же как это было раньше. Здесь ничего не поменялось.
RGrimov
05.06.2024 10:36IMHO, свёрточные сети выстрелили, когда появился достаточный набор данных - ImageNet1K, так то они были давно известны, ими ещё Лекун баловался в конце 90х для распознавания цифр и подписей.
inkelyad
05.06.2024 10:36+1Что касается некого принципиального прорыва - может быть найден новый способ обучения, не требующий так много информации, или может оказаться что достаточно большая сеть вдруг сама по себе станет умнее чем материал на котором ее обучали.
А еще можно попытаться не торопиться, а построить телеуправляемого андроида, воткнуть его в качестве 'тела' для сетки и воспитывать ее лет 20 точно так же как человека воспитывают. С полноценными периодами 'сна/отдыха', где сеть дообучается на том, что она в течении 'бодрствования' увидела и в контексте запомнила.
PeeWeee
05.06.2024 10:36+1НИР "Или шах, или ишак"?
Полагаю перспективнее начать с "первичного бульона". При удачном раскладе на дольше хватит. А если вдруг "не прокатило", то хотя бы без статьи за экстремизм обойдется.inkelyad
05.06.2024 10:36НИР "Или шах, или ишак"?
Да нет, серьёзно. Если нам нужен(а вот точно нужен? Судя по всему все хотят уже сверхчеловеческий) интеллект, близкий к человеческому - то и нужно создавать его способами, близкими к человеческим. Иначе получим может и интеллект, но 'инопланетный', после чего иметь головную боль, что оно мыслит не так и делает совершенно непредсказуемые и неудачные с нашей точки зрения выводы/решения.
Aldrog
05.06.2024 10:36Можно подумать, что все люди совершают предсказуемые и удачные решения и думают одинаково. Или что известен научно достоверный способ воспитать человека так, чтобы он думал «правильно» и далее по списку.
omxela
05.06.2024 10:36+1Если нам нужен (а вот точно нужен? Судя по всему все хотят уже сверхчеловеческий) интеллект, близкий к человеческому - то и нужно создавать его способами, близкими к человеческим.
Вы не создаёте человеческий интеллект. Он сам такой получается с тем или иным успехом. Вы никак не контролируете этот процесс. А на входе вы имеете для этого мозг, который не вы создали и о работе которого не имеете, по сути, никаких разумных представлений. Казалось бы, простая и естественная мысль: хотите создать разум - поймите сначала, как он устроен и как он работает. Иначе вы получите тупой автомат, который ещё и лажает время от времени. В результате вам придётся тратить свой естественный интеллект на то, чтобы понять, что вам тут лопатой набросали. А вы-то мечтали, поди, совсем о другом. Это классическая фобия о человеке - придатке машины. Ей много лет.
DaneSoul
05.06.2024 10:36+2С другой стороны, самолет у нас крыльями не машет как птица, а машина лапами не перебирает как лошадь. Вполне вероятно что и в сфере ИИ более эффективные другие подходы, чем у природы.
Тем более, что человеческий интеллект сам по себе во многом "черный ящик" и люди друг друга зачастую понимают с трудом и "отмочить" ту еще дичь могут совершенно неожиданно, так что за эталон понятной системы тоже странно брать.
Wesha
05.06.2024 10:36+1машина лапами не перебирает как лошадь
BigDog смотрит на Вас с непониманием
inkelyad
05.06.2024 10:36Вот только их последний робот - может пользоваться своими ногами ну ни разу ни так, как природные аналоги.
KvanTTT
05.06.2024 10:36самолет у нас крыльями не машет как птица, а машина лапами не перебирает как лошадь
Такая механика в некоторых случаях имеет преимущества: по крайней мере она более универсальная. Думаю машина с ногами может как сносно бегать, так и преодолевать сложные препятствия.
AlexeySetevoi
05.06.2024 10:36+4Насчет атомной бомбы, как и любого другого проекта инженерного — вопрос был в исследованиях, испытаниях и освоении производства. Никто не сидел и не думал из серьезных ученых/разработчиков, что это невозможно. Скорее думали о том, сколько для этого всего надо сделать. Это как с ИТЭР — все знают что делать, но есть организационные и технические сложности вытекающие из не‑приоритетности этого проекта для участников.
Tyusha
05.06.2024 10:36+22Сверхразум даст военное преимущество, сравнимое с ядерным оружием. [...] Авторитарные режимы могут использовать сверхразум для мирового господства и тотального контроля внутри страны. История показывает опасность диктатур. Ашенбреннер говорит о том, что свободный мир должен победить авторитарные державы в этой гонке.
Если убить всех плохих, то в мире останутся только хорошие люди. Несколько таких проектов в истории человечества уже пытались провернуть.
unclejocker
05.06.2024 10:36+8В любом случае хорошие останутся, ведь именно они напишут мемуары.
MAXH0
05.06.2024 10:36Если судить прочитанные мною мемуары, то останутся плохие, которые вовремя сдались/уехали/сменили сторону.
bbs12
05.06.2024 10:36+2Это отчасти заблуждение. Геноцид индейцев например был официально признан.
Если бы Гитлер победил, написал мемуары и эти мемуары считались бы в современном мире адекватными и нормальными - такой мир был бы либо замкнутой антиутопией как в книге "1984", в котором население скажет что угодно, лишь бы не поехать в лагеря на урановые рудники. Либо этот мир был бы самоуничтожен в результате какого-либо внутреннего коллапса. Этот мир не может существовать долго даже в относительно нормальном состоянии, такая ситуация нестабильна.
MAXH0
05.06.2024 10:36+1Вы оптимист.
Если бы Гитлер победил,
то победил бы и Геббельс и его наследники. "Mein Kampf" вполне популярен в современном мире. И в большинстве обществ достаточно 10% идеологически заряженных лидеров, чтобы 80% "тех, кому не интересна политика" следовали в общем фарватере, а 10% оппозиции были ошельмованными маргиналами. И без всяких урановых рудников.
ksbes
05.06.2024 10:36Просто хочу напомнить про одного "победившего Гитлера". Хотя он, конечно, был повменяемее. Всё-таки наследник Цивилизации, а не потомок голозадых варваров из лесов.
SergioShpadi
05.06.2024 10:36+22Вот кстати да. Многие тут на Хабре уверены, что вой американских леваков про системный расизм - это исключительно плод их воспалённого сознания. Но если плотно пообщаться с обычными американцами, (обычными не в смысле карикатурного реднека, а в смысле среднего "прогрессивного" представителя Силиконовой Долины, например), то быстро понимаешь о чём идёт речь. Они относятся к представителям других наций как к каким-то там ни на что не способным отсталым аборигенам. Так что легко верится, что внутри своего общества одни ведут себя примерно похоже по отношению к другим. При этом больше всего пещерного нацизма демонстрируют как раз те самые леваки, кто воют про системный расизм. Вот даже в этой статье всё сквозит этой темой национального превосходства - типа нельзя позволять другим строить свой AGI, а то что это удумали папуасы авторитарные!
darthmaul
05.06.2024 10:36+5Как по мне, это старый - добрый трибализм. Если у соседа будет большая палка - он побьёт меня, если у меня больше - то я его.
SergioShpadi
05.06.2024 10:36+1Безумное двоемыслие, кстати. С одной стороны эти люди рассказывают, что представители всех племен и их видение мира одинаково ценны (основная левая идея), с другой же стороны рассказывают, что нам нужна палка побольше, чтобы всем другим племенам набить кочерыжку (основная правая идея). Можно уважительно относиться к представителям обоих идей, можно уважительно относиться к тем, кто ищет срединный путь между этими полюсами - людям, кто считает у обоих идей есть плюсы и минусы и пытаются найти некий баланс между ними (основная идея центризма). Но невозможно уважать людей, которые декларируют эти две противоречащие друг другу вещи одновременно.
Tyusha
05.06.2024 10:36+2Те, кто выступают за толерантность, крайне нетолерантно относятся к тем, кто против толерантности. Стало быть, какие же они тогда толерантные?!
А если они всё же к нетолерантным относятся толерантно, то выходит, что они поощряют нетолерантность, поэтому снова-таки толерантными не являются.
Налицо кризис. Движение толерантности в тупике.
Kanut
05.06.2024 10:36+1Те, кто выступают за толерантность, крайне нетолерантно относятся к тем, кто против толерантности. Стало быть, какие же они тогда толерантные?!
Толерантность, грубо говоря, это про "не лезть в жизнь и дела других людей". Но только до того момента пока их "жизнь и дела" не начинают лезть в ваши "жизнь и дела".
То есть как только "противники толерантности" начинают влиять на жизнь "сторонников толерантности", то толерантность прекращается "по определению".
inkelyad
05.06.2024 10:36+4Те, кто выступают за толерантность, крайне нетолерантно относятся к тем, кто против толерантности. Стало быть, какие же они тогда толерантные?!
Потому что парадокс толерантности. (Ну или сильно-сильно короче в русском варианте)
Kanut
05.06.2024 10:36+1Какое-то у них другое определение толерантности похоже. В википедии например:
Толера́нтность (от лат. tolerantia — «терпение, терпеливость, способность переносить») — социологический термин, обозначающий терпимость к иному мировоззрению, образу жизни, поведению и обычаям. Толерантность не равносильна безразличию. Она не означает также принятия иного мировоззрения или образа жизни, она заключается в предоставлении другим права жить в соответствии с собственным мировоззрением.
И дальше:
Проявление толерантности также не означает терпимости к социальной несправедливости, отказа от своих убеждений или уступки чужим убеждениям, а также навязывания своих убеждений другим людям.
inkelyad
05.06.2024 10:36+2Какое-то у них другое определение толерантности похоже.
Ну да. Если верить той же статье - это одна из причин/решений парадокса. Лингвистическая. То, что одним и тем же словом называются разные понятия и результате все запутывается до логического противоречия.
MiyuHogosha
05.06.2024 10:36Это аналогично парадоксу лжеца. Биение по категориям не являтся бинарным.
Лжец может сказать правду, если это в его интересах
Wesha
05.06.2024 10:36+2можно уважительно относиться к тем, кто ищет срединный путь между этими полюсами - людям, кто считает у обоих идей есть плюсы и минусы и пытаются найти некий баланс между ними
Знакомо...
Соглашатель:
Милые! Ну, не надо! Не подымайте ругань!
Бросьте друг на друга коситься.
Протяните руки,
обнимите друг друга.
Господа, товарищи,
надо согласиться.Француз (злобно):
Чтоб я согласился?
Это уж слишком!Рыбак: (злобно. И рыбак и француз костыляют шею соглашателю).
Ах ты, соглашатель!
Ах ты, соглашателишка!Соглашатель (отбегая, побитый, скулит).
Ну вот,
опять...
Я ему по-хорошему,
а он...
Так вот всегда:
зовешь согласиться,
а тебе наложат с двух сторон.MiyuHogosha
05.06.2024 10:36Это суть философии дао (и одной из их притч).
Вот толь следование этой философии выражается в "пусть они перебьют друг друга, а я в сторонке постою и помедитирую, а потом помогу выжившим". Не работает, если в ходу пошли огнеметы.
bbs12
05.06.2024 10:36+2типа нельзя позволять другим строить свой AGI, а то что это удумали папуасы авторитарные!
Для таких утверждений есть основания. В авторитарных странах к управляющим системам страны чаще приходят родственники или друзья главного. Они не прошли соответствующий отбор на уровень своей компетенции, чтобы быть допущенными к такой сложной работе. А грамотно управлять страной - очень сложная работа. В неавторитарных странах вероятность этого ниже, а значит такая страна автоматически будет управляться в среднем более компетентными людьми.
mk2
05.06.2024 10:36>В неавторитарных странах вероятность этого ниже, а значит такая страна автоматически будет управляться в среднем более компетентными людьми.
Это если неявно предполагать, что "приход родственников или друзей главного" это главная или хотя бы основная причина прихода некомпетентных людей к управляющим системам страны.
Есть множество других возможностей - "купил должность", "политический назначенец", "выбранный голосованием популист", для примера. Какие из этих вариантов дают гарантии, что выбранный человек прошёл "соответствующий отбор на уровень своей компетенции"?
И как минимум двух последних вариантов в не авторитарных странах больше по определению.
acsent1
05.06.2024 10:36Ну и выходцы из правильных семей обычно вполне умные люди. Достаточно посмотреть на элиту- очень мало там людей со стороны
leok
05.06.2024 10:36+1Я не знаю с кем вы там общались, но мой опыт категорически несогласуется с вашим описанием. Наверное, вы путаете представителей других наций с поклонниками традиционных ценностей. Последнее, да, вопринимается как атавизм, но даже в России эти ценности недостаточно популярны, чтобы вопринимать их как характеристику всей нации. Ну или вы общались с радикальными товарищами, для которых и 90% жителей США тоже недостаточно прогрессивны.
olezh
05.06.2024 10:36+2Да, при этом вспоминая, что чертежи ядерной бомбы утекли ко всем кто был сильно заинтересован. Да ещё и во времена когда отсутствовали такие жирные каналы информации как сегодня. Как эти люди собираются сохранить любую революционную технологию в тайне когда на протяжении всей истории это не удавалось?
Насчёт самой статьи - ничего нового.
boldape
05.06.2024 10:36Я не знаю какой у вас жизненный опыт, но мне кажется вам стоит попутешествовать по океании/пацифику и посмотреть чем живут представители нативных народностей так называемые индженики. Далеко не сразу, но вы возможно начнёте таки оспаривать/сомневаться во всеобще признанных гуманитарных тезисах о том, что представители всех расс одинаково убоги. Нет, не одинаково и таки есть коррелеция между рассой человека и тем чего от него ожидать не зная этого человека. Это конечно не повод быть рассистом - автоматически и безапелляционно навешивать какие-то характеристики на основании только лишь рассы, но игнорировать праяры/базовые вероятности полученные от рассы тоже глупо, а иногда и фатально глупо.
amazingname
05.06.2024 10:36Вопрос не в том, есть ли эта кореляция. Если вы возьмете двух случайных представителей одной рассы то весьма вероятно что один будет обладать блестящим умом а второй будет читать с трудом. То что все люди разные это и так общеизвестно.
Вопрос в том что делать. Сейчас на западе решили, что лучшая стратегия - верить что разницы между рассами и нациями нет или что она не так существенна. Результат этой стратегии - вавилонское смешение народов и культур в котором одни страны начинают деградировать, другие обогащаются в смысле цивилизованности. Наилучшая ли это стратегия никто не знает, но как есть.
marcbook
05.06.2024 10:36+3Если показательно убить пару плохих, то остальные плохиши начинают вести себя гораздо лучше. Факт!
amazingname
05.06.2024 10:36+1Если убить всех плохих, то в мире останутся только хорошие люди. Несколько таких проектов в истории человечества уже пытались провернуть.
Например?
Tyusha
05.06.2024 10:36+2Подозреваю, Адольф желал всемирного добра и счастья всем хорошим арийцам. Он же наверняка не считал себя злодеем.
А ещё был Пол Пот. Там с помощью мотыг и мачете забили 3 миллиона "плохих", приближая светлое будущее.
Мао, Сталин, Ленин, Энвер-паша, Саддам, Багосора... (Прошу прощения у остальных, кого забыла)... Это я ограничилась лишь 20 веком.
bbs12
05.06.2024 10:36+2Подозреваю, Адольф желал всемирного добра и счастья всем хорошим арийцам
Имхо, нет. Если посмотреть на его ближайших друзей - там в основном отморозки и дегенераты. Просто по личностям и характеру людей видно, что они крысы, как во многих криминальных группировках ОПГ.
Глубоко в душе Гитлер кайфовал от зрелища концлагерей. Т.е. стремился скорее не сделать лучше арийцам, а заставить страдать других.
А сказки про добро - это популизм, чтобы усидеть на троне и быть популярным.
amazingname
05.06.2024 10:36+1Не не, вы сказали о нескольких проектах, когда люди которые формально и по общим признакам могли считаться хорошими решили убить всех плохих. Такого просто не было никогда. Фашисты со своим культом силы и совершенства и особождением от химеры совести никак не могли считаться "хорошими" ни в какой объективной ситсеме координат. И аналогично про остальных. Зачем обязательно черное называть белым а белое черным? Что это пошла за тенденция и к чему она приведет?
AlexeyZlobin
05.06.2024 10:36+3Это не мешало им самим себя считать хорошими. Точно так же не мешает сейчас считать себя хорошими - еще одну страну, что тоже развязала крупнейшую со времен вов, войну в Европе. Почитай вообще мемуары рядовых немцев, как изнутри для них этот режим выглядел, наткнешься на множество современных параллелей.
Tyusha
05.06.2024 10:36Любой человек, любой подлец и негодяй в глубине души считает себя хорошим и правильным человеком. Это не касается наверное только совсем уж паталогичечких психопатов.
Так что те, кого вы считаете отмороками и дегенератами таковыми себя не считали, не считала их такими и подавляющая частью общества.
А Сталин, Ленин, Дзержинский и вся эта компания — это другое, позвольте спросить? Если уж кто ОПГ, так у этих даже больше оснований таковой считаться.
amazingname
05.06.2024 10:36Это не важно кто кем себя считает. Хорошие люди отличаются от плохих тем что они не делают другим того что не пожелали бы себе, если кратко. А не тем кто их кем считает.
Вы пишете:
Если убить всех плохих, то в мире останутся только хорошие люди. Несколько таких проектов в истории человечества уже пытались провернуть.
Но это не правда. Никогда хорошие люди такого не оргазовывали и никто никогда не задавался такой целью. Все было наоборот - эгоистичные люди которые любили только себя звали убить всех слабых, чужих, других, но никогда тот кто исповедует гуманизм не может быть одновременно источником бедствий (т.е. в принципе конечно может, но это не тот масштаб проблем и всегда есть большие сомнения относительно виновников бедствий). Подобный релятивизм, когда белое и черное - все едино, приведет к третьей мировой.
ksbes
05.06.2024 10:36+2Хорошие люди отличаются от плохих тем что они не делают другим того что не пожелали бы себе, если кратко.
Кант, мягко говоря не универсален. Есть много как бы "объективных" определений "хорошести" (например "чукчанский": хороший тот, кто мне приносит пользу).
И если вы не уловили мысль начального сообщения - то подсказываю: это стёб над вот такими как вы, считающими, что существуют абсолютные моральные нормы которым все обязаны следовать. И предупреждение о том, к каким кровавым гекатомбам приводит такая точка зрения.
amazingname
05.06.2024 10:36+1Абсолютных моральных норм не существует, как не существует вообще ничего абсолютного, даже математической истины. Но существуют определенные работоспособные тенденции. И к кровавым последствиям приводит как раз отрицание этих тенденций. И никогда - следование им.
Но сейчас пошла мода на полный релятивизм. Дескать ваше добро, гуманизм и ценности относительны и приносят еще больше горя чем отрицание этих ценностей. Но это чистой воды обман. Единственно, что приятно чувстовать себя умным отрицая все подряд. Но поверьте, это дело как раз не хитрое и это любой умеет.
Это как если вам предлагают одеяло когда вам холодно, а вы начинаете рассуждать сколько людей были задушены одеялами, сгорели от сигареты и одеяла и так далее. Это бессмысленное занятие. И делается это в двух случаях: чтобы оправдать зло с которым ты ничего не можешь поделать и чтобы просто показаться себе умнее других. Как-то так.
event1
05.06.2024 10:36+1Из этого абзаца становится понятна цель и целевая аудитория оригинального текста. Цель — получить грошей на защиту от Страшного АГИ™. Целевая аудитория — американские военные или связанные с ними инвесторы.
BeLord
05.06.2024 10:36+2Дано: Лада Гранта, нужно а) оптимизировать конструкцию с точки зрения сборки, все операции по сборке должны выполняться роботом, б) оптимизировать материалы, износ деталей на 10% при 10 летней эксплуатации или пробеге 1 млн км, в) отпускная розничная цена оптимизированной версии 5 млн рублей, г) базовый технические характеристики (скорость передвижения, потребления топлива, динамика не должны ухудшиться). Вот, есть у меня подозрение, что инженеры Тойоты с такой задачей потенциально справятся, а ИИ сможет?-)))
venanen
05.06.2024 10:36+11С задачей установить отпускную цену Гранты в 5млн справится и АвтоВАЗ. Оптимизировать материалы и производство - не справится и тойота, там место проклятое -)
ImagineTables
05.06.2024 10:36+82025-2026 годам эти машины, как ожидается, превзойдут по интеллекту выпускников колледжей, а к концу десятилетия станут умнее, чем любой человек
И наконец-то построят термояд. /s
Wizard_of_light
05.06.2024 10:36+1И наконец-то построят термояд
А потом, видимо, применят. Наконец-то.
SergioShpadi
05.06.2024 10:36+9Мы прочитали этот документ объемом в 165 страниц за вас
Ну вот же ИИ уже захватил мир
Wesha
05.06.2024 10:36Ну вот же ИИ уже захватил мир
А ведь предупреждали!
— Давай свои заметки, - не слишком охотно сказал Фэй, протягивая руку. Он поймал шелестящие листки, выскользнувшие из пальцев Гастерсона, аккуратно разровнял их у себя на колене, а затем, передал через плечо своему щекотуну, который защелкнул клешни на полях с обеих сторон и довольно быстро стал вести верхний лист дюймах в шести от своего единственного глаза.
— Но я хотел, чтобы это прочитал ты, — ошеломленно сказал Гастерсон, не отрывая глаз от происходящего.
— Пух-Бах сделает это лучше меня, — заверил его Фэй. — Уловит суть, не выплескивая с водой ребенка.
— Но, черт подери, это ведь все о нем, — еще настойчивее сказал Гастерсон. — Он не будет объективен.
— Он сделает лучше, — повторил Фэй, — и более объективно. Пух-Бах настроен на подробное реферирование. Перестань беспокоиться. Это беспристрастная машина, а не подверженный ошибкам эмоционально неустойчивый человек, сбитый с толку обманчивым сознанием.
[...]
Гастерсон вышел, толкнув вращающиеся двери. Он уже примерился сделать шаг на медленно движущуюся транспортную ленту. А потом, подчинившись порыву, резко толкнул дверь и заглянул внутрь.
Погрузившись в вялую задумчивость, Фэй сидел в той же позе, в какой Гастерсон его оставил. Пух-Бах на его плече торопливо сучил своими маленькими металлическими ручонками, разрывая заметки на все более мелкие клочки. Он бросил обрывки, которые стали медленно падать на пол
—Фриц Лейбер. Ночь волка
(конец немного предсказуем)
Xambey97
05.06.2024 10:36+9Сдается мне, что всю эту тему раздувают по полной только ради одного - рынка ценных бумаг и стоимости акций компании Nvidia, которая по сути сейчас весь рынок и двигает в основном, на кону у крупнейших фондов мира огромные бабки, которые еще надо перевести из воздуха в прибыль, а в нынешних экономических условиях это не просто. Подобные расходы на электроэнергию для супер AI звучат фантастически и что-то мне подсказывает, несут как раз характер "привлечь больше хомяков" в сектор и надуть ценник, мы же как никак в мире сплошных спекуляций в экономике живем. История знает подобные пампы, и всегда они заканчивались одним и тем же, в IT секторе в последний раз крахом дот комов... Это все правда не отменяет высокого потенциала развития AI, но его возможности как по мне сильно преувеличивают.
coresky
05.06.2024 10:36+4Если всё так, как описано в статье, то это равносильно что обнаружили эскадрилью инопланетян, которые прибудут к 2030 году. По фантастическому сценарию фильма, человечество объединяет усилия.
xoid555
05.06.2024 10:36+14сдается мне что это один из "специалистов по этике" которых уволили из OpenAI поняв что они бесполезны чуть более чем полностью
karabas_b
05.06.2024 10:36+1Не совсем, он экономист. Чел закончил колумбийский университет лучшим на курсе (valedictorian) в 19 лет, при том, что английский даже не его родной язык. Его бы радостно взяла на работу любая компания мира.
remova
05.06.2024 10:36+1Что требуется:
Полностью изолированные дата-центры с системой безопасности как на военных базах
Строгая проверка персонала и мониторинг
Постоянный интенсивный пентестинг со стороны спецслужб
Готовность лабораторий ИИ сотрудничать с военными
Что-то напоминает
anzay911
05.06.2024 10:36+1Что требуется для должной защиты AGI:
Полностью изолированные дата-центры с системой безопасности как на военных базах
Новые достижения в области конфиденциальности вычислений и шифрования
Работа всех исследователей в защищенных помещениях
Строгая проверка персонала и мониторинг
Жесткий контроль внешних зависимостей
Постоянный интенсивный пентестинг со стороны спецслужб
А потом генерала Брюстера попросят справиться с вирусом, захватившим половину интернета и второстепенные программы Пентагона.
Timchikk
05.06.2024 10:36+7Наверное такой же ажиотаж был в 60-х: только недавно все самолёты были поршневыми, а сейчас уже летают в несколько раз быстрее скорости звука, запустили спутник, потом человека, выход в открытый космос, летаем на орбиту как на работу, стыковки и проч., совсем скоро Луна - а потом точно Марс и т.д. С точки зрения этих ожиданий космическая программа "человечества" (в целом) влетела в бетонную стену к середине 70-х
omega-hyperon
05.06.2024 10:36Космическую программу перестали финансировать в требуемых для этих подвигов объемах. У НАСА сейчас весь бюджет меньше, чем был в середине 60-х под одну Луну. Для Марса к 1982-му просили в три раза больше, чем требовала лунная программа на пике.
Johnneek
05.06.2024 10:36+5Перестали финансировать, так как исчезли военные и экономические цели - стало понятно, что освоение Венеры невозможно, Луны и Марса - бессмысленно.
С ИИ пока и близко не так - экономические и военные цели вполне осязаемы. Так что ближайшее десятилетие мегафинасирования гарантировано.
kickstarter
05.06.2024 10:36+1Космическая программа дала тысячи современных технологий, которые используются в нашем повседневном мире
Timchikk
05.06.2024 10:36+1Правильно (впрочем, не уверен про "тысячи"). Но ожидания 60-х были совсем о другом.
Mike_666
05.06.2024 10:36+1AGI доступный только военным США - перспектива страшная, как они поступили с атомной бомбой мы уже знаем.
Будем надеятся что они не успеют достичь решаюшего перевеса и какой-никакой баланс в мире сохранится. Пока вся надежда на Китай...amazingname
05.06.2024 10:36+5AGI доступный только военным США - перспектива страшная, как они поступили с атомной бомбой мы уже знаем.
Закончили войну за 3 дня, а потом позволили Японии победить себя (США) в свободной конкуренции и стать одной из самых развитых стран мира. Ужас-ужас.
Mike_666
05.06.2024 10:36+10Сбросили ядерные бомбы на города не имевшие военного значения, убив многие тысячи мирных жителей включая женщин и детей, а война закончилась с разгромом квантунской армии, собственно бомбы на срок капитуляции повлияли мало.
В Японии до сих пор размещены военные базы США, содержащиеся за счет Японии, причем служащие на них неподсудны местному суда, в том числе за преступления совершенные за пределами баз против местных жителей.
По поводу свободной конкуренции тоже интересно, как только Япония начала закреплять победу в ней сразу же начались "Потерянные десятилетия" (и продолжаются по сей день)
amazingname
05.06.2024 10:36+4Война закончилась? Закончилась. Япония стала высокоразвитой страной? Стала. Какая-то прямая вина США в потерянных десятилетиях есть? Ее нет.
А высосать из пальца при большом желании можно вообще все что угодно. Обычно это делается чтобы найти самооправдания, когда "в действительности все не так как оно на самом деле", ага.
AlexeyZlobin
05.06.2024 10:36+2Да, конечно не имеющие военного значения. Всего лишь ставка командования второй армии, что и должна было защищать остров от десанта США, а также армейские склады, где хранилось все, что требовалось, чтобы этот остров защищать.
Ну и еще уничтожили одну из крупнейших военных верфей Японии.
Такие вот "не имеющие военного значения" объекты.
Вот что реально не имело значение, так это "разгром" отрезанной на материке Квантунской армии, что в общем-то и не сопротивлялась, так как сопротивление было бессмысленным, а самая армия ни на что не влияла. Уж вплавь они на Японские острова бы не отправились, чтобы защищать их от высадки десанта..
Что реально повлияло на решение Японии перестать торговаться на переговорах о капитуляции и капитулировать без условий - так это не разгром армии, а само вступление СССР в войну, так как Япония пыталась использовать не объявившего ей войну СССР как посредника для того, чтобы выбить себе более приемлемые условия (если быть точнее, сохранение императорской власти над страной). Ну и Ядерные бомбы, что подстегивали перестать торговаться и капитулировать.
>Потерянные десятилетия
Парень, нам бы в России такие "потерянные" десятилетия, я бы от счастья прыгал.olezh
05.06.2024 10:36Сами верфи Мицубиси не уничтожили, возможно только персонал, бомбу сбросили выше на жилой район Нагасаки, если речь об этом.
AlexeyZlobin
05.06.2024 10:36+2Уничтожили сталелитейные, орудийные и торпедные заводы. Прилет был в промзону, на жилой район никто бомбы не сбрасывал, какой смысл? Их и так взрывной волной снесло, а вот более крепкие заводы нужно было уничтожать тщательнее.
olezh
05.06.2024 10:36+2
до и после взрыва *wiki на жилой район никто бомбы не сбрасывал
Затрудняюсь это комментировать
AlexeyZlobin
05.06.2024 10:36Что из слов ">Их и так взрывной волной снесло" тебе непонятно?
Даже на фото хорошо видно, что взрыв был вдали от частного сектора.
"Бомба взорвалась высоко над промышленной долиной Нагасаки, почти на полпути между сталелитейными и оружейными производствами Мицубиси к югу, и торпедным заводом Мицубиси — Ураками к северу, двумя главными целями в городе. Если бы бомба была сброшена дальше к югу, между деловым и жилым районами, то людской урон был бы намного больше."
Ты мне главное объясни, зачем нацеливать бомбу на жилые кварталы вместо промзоны, если их и так в любом случае взрывной волной снесет?
Просто потому что они "ЗЛЫЕ ЗЛЫДНИ УБИТЬ ПОБОЛЬШЕ МИРНЫХ ЯПОНЦЕВ УХ КАКИЕ МЫ ЗЛЫЕ!! ПУСТЬ ЗАВОДЫ СТОЯТ А МЫ БУДЕМ ПРОСТО РАЗБРАСЫВАТЬСЯ САМЫМ ДОРОГИМ ОРУЖИЕМ В МИРЕ ПУШТО МЫ НЕ ТОЛЬКО ЗЛЫЕ, НО ЕЩЕ И ТУПЫЕ" ?
Смешно же.ksbes
05.06.2024 10:36+1А вот эти маленькие квадратики в ground zero - это куча маленьких заводиков таких? И вон тот овал у реки - полигон наверное?
Просто потому что они "ЗЛЫЕ ЗЛЫДНИ УБИТЬ ПОБОЛЬШЕ МИРНЫХ ЯПОНЦЕВ УХ КАКИЕ МЫ ЗЛЫЕ!! ПУСТЬ ЗАВОДЫ СТОЯТ А МЫ БУДЕМ ПРОСТО РАЗБРАСЫВАТЬСЯ САМЫМ ДОРОГИМ ОРУЖИЕМ В МИРЕ ПУШТО МЫ НЕ ТОЛЬКО ЗЛЫЕ, НО ЕЩЕ И ТУПЫЕ" ?
Про бомбёжки Токио почитайте, что ли. В том числе и американских военных теоретиков тех времён ... Очень не смешно, знаете ли ...
AlexeyZlobin
05.06.2024 10:36+1
Еще разок, смотри. Есть район Гинза, его вообще нет на твоем фото, он находится дальше к югу, это был деловой квартал и он вообще толком не пострадал. Выше, к северу - были университеты и большая часть жилых домов, которые опять же мало пострадали. А на том фото, что у тебя - ПРОМЫШЛЕНЫЙ РАЙОН ГОРОДА.
И как мы видим, бомба прилетела прямо в промышленные объекты.
Были ли вокруг этих промышленных объектов дома? Ясен красен были, это же город. Снесло ли их взрывом? Ясен-красен снесло, они же были далеко не такие крепкие, как бетонные постройки.
Били ли специально по домам? Нет. Зачем? Ну окей, если бы цель была больше людей убить, тогда бомба прилетела не в промышленность, чтобы была холмами прикрыта, а за пределы твоего фото, либо в финансовый квартал, либо в университеты и дома. Но смысл?
Если же речь о том, что вместе с промышленностью и часть домов снесло, что рядом стояли...
Так ты погляди, от взрыва жилой сектор даже на другом берегу снесло. Зачем направлять бомбу на дома, если главная цель - разрушить весьма прочные заводы, которые и так, как ты видишь сумели устоять, а не обратиться в пыль, а ведь взрыв буквально над ними в воздухе произошел!ksbes
05.06.2024 10:36+1Так всё таки и не почитали американских военных теоретиков? Ну что ж просвещу: цель была убить рабочую силу заводов и мобилизационный потенциал. Именно так. Явно и не скрываясь.
Вы, надеюсь, понимаете как это расшифровывается?И вообще - именно там они особо не целились на самом деле : это была вообще запасная цель и сбрасывали из-за облаков не видя куда собственно бросают. Т.е. сбрасывали именно "на город", а не выцеливали конкретную точку. Так что не надо играть в техасского стрелка!
AlexeyZlobin
05.06.2024 10:36Чел, еще раз. Причем тут американские военные теоретики, если ты говоришь о доктрине Дуа, которая была изобретена в Италии в межвоенный период и была популярной во всем мире. Согласно ей СССР бомбил Хельсинки в 1939 году. Согласно ей союзники стирали немецкие города. Согласно ей сожгли Токио.
Но воют почему-то лишь о Хиросиме и Нагасаки, хотя объективно, как раз именно эти два случая под доктрину подходят очень плохо, так как Доктрина гласит именно о другом - бомбардировать не укрепленную промышленность, а куда менее укрепленные дома рабочих, то есть прямо противоположное тому, что сделали в Нагасаки.
Но ты видимо пересмотрел Соловьева и считаешь, что это ЗЛЫЕ АМЕРИКАНЦЫ, единственные такие ужасные люди, что БОЖЕ МОЙ не заботились о мирном населении и БОМБИЛИ его! Ух плохие-злые американцы, хорошо, что остальные страны так не делали, верно?
А, нет, все так делали. И это было нормальной практикой Второй Мировой, так же как во времена Первой Мировой было нормой использовать газовые атаки, а до этого было нормой иметь рабов.
Представляешь, захватывали людей в РАБСТВО! Именно так. Явно и не скрываясь! Владели ДРУГИМИ ЛЮДЬМИ, БУДТО СКОТОМ Вон какие плохие-злые жили (вставь-любую-страну-нейм). И даже газом травили! ЛЮДЕЙ! Газом! Ух какие злые-плохие! (Вставить-цитату-любого-военного-теоретика-ПМВ-любой-страны-нейм-где-описывается-газовое-оружие)
>Вы, надеюсь, понимаете как это расшифровывается?
Это называется нормальная практика тех лет.
Однако, это если мы говорим о Доктрине Дуа, которая к ядерным бомбардировкам Хиросмы и Нагасаки никакого отношения не имеет.
>И вообще - именно там они особо не целились на самом деле
>это была вообще запасная цель и сбрасывали из-за облаков не видя куда собственно бросают. Т.е. сбрасывали именно "на город", а не выцеливали конкретную точку.
Да, это была запасная цель, однако то, что якобы не видели куда сбрасывают - опровергается тем, что попали идеально по промке. Допустим, повезло - окей. Но претензии-то какие?
Вот если бы попали НЕ по ПРОМКЕ, а чисто по гражданским - тогда можно было бы и обсуждать, специально ли это так сделали, согласно Доктрине Дуа или может быть это была случайность из-за плохой видимости. Однако, к счастью, в нашей реальности попали туда, куда попали.
ksbes
05.06.2024 10:36+1Понятно. Продолжайте играть в техасского стрелка! Отличная игра для игры с самим собой :)
wataru
05.06.2024 10:36+3был пройден путь от моделей с интеллектом дошкольника до моделей, сравнимых с одаренным старшеклассником
citation, как говориться, needed.
одаренный старшекласник не будет предлагать жрать камни, например.
Melirius
05.06.2024 10:36+5Гхкм, после многих лет общения в Википедии с фриками в том числе и в кулинарном изводе я б не был так уверен... А если взять типичный киоск с многочисленными журналами "бабушкины советы по питанию", так и вообще...
event1
05.06.2024 10:36+2Если рассматривать область программирования, то все публичные репозитории на Github оцениваются примерно в 1 миллион токенов
Может, я не правильно понимаю, как работает токенизация в коде, но на гитхабе лежит всё ядро линукс. Ядро содержит порядка 30 MLOC. В каждой строчке должно быть хоть пара токенов. Как при таких вводных на весь гитхаб выходит миллон токенов не понятно.
В целом, прежде чем создавать супер-искин-программиста, скормите в трансформер какую-нибудь небольшую софтину и пусть он просто фиксит баги из трекера. Как технологический демонстратор.
janvarev
05.06.2024 10:36+3В целом, прежде чем создавать супер-искин-программиста, скормите в трансформер какую-нибудь небольшую софтину и пусть он просто фиксит баги из трекера.
Да, так ты на 100B долларов видеокарт не продашь! /s
zabanen2
05.06.2024 10:36все так, ощущение, что сша ввязало и поддерживает конфликт ua-ru, чтобы самим соперничать с китаем в гонке ИИ
NeoCode
05.06.2024 10:36Единственное с чем соглашусь - "Свободный мир должен восторжествовать". Попадание AGI в руки авторитарным режимам, таким как Китай или Россия, чрезвычайно опасно. Всё остальное - какие-то неолуддитские страхи, не имеющие никаких оснований. ИИ по определению не имеет звериных инстинктов (которые собственно и делают любой интеллект опасным). Единственная опасность ИИ - это люди, которые его будут использовать.
AlexeyZlobin
05.06.2024 10:36+2Учитывая, какие возможности перед человечеством открывает сверхсильный ИИ... Страшно становится от мысли, что ОН доживет до такого. Омолодит себя и сколько еще сотен сроков придется его терпеть?
Alexey2005
05.06.2024 10:36Да даже доживать не обязательно - достаточно создать виртуальную личность. Для выступлений по ТВ этого хватит, а для появления на публике двойники есть.
YuriPanchul
05.06.2024 10:36+9С 2019 по 2023 год, от GPT-2 до GPT-4, был пройден путь от моделей с интеллектом дошкольника до моделей, сравнимых с одаренным старшеклассником.
После этой фразы можно не читать, так как функционала "одаренного старшеклассника" у GPT-4 нет, а есть функционал "двоечника который пробует выкрутиться на экзамене выкладывая ассоциации без понимания в надежде что профессор поставит тройку". Если автор не понимает разницы, то он тупой.
Timchikk
05.06.2024 10:36+2Я, кстати, скармливал задачи по олимпиадной математике для 1 класса (в смысле с олимпиад по математике для 1 класса, хотя может что-то и для более старших брал, 2-3 класса - брал просто из pdf'ок за прошлые года, и вставлял) в GPT-4, в целом конечно прикольно что некоторые задачи решает, но некоторые даже после долгих "уговоров" нет... Иногда даже самую трудную часть рассуждений проводит, а потом тупит (если бы это был человек, то скорее наоборот было бы, тупить на сложной).
Правда это было на русском, м.б. на английском чуть успешнее было бы.
AlexeyZlobin
05.06.2024 10:36>Пдфок
Может ты ему контекст забил? Попроси его процитировать задачу, есть вероятность, что она для него обрывается на середине, вот и тупит.Timchikk
05.06.2024 10:36Да нет, я имел ввиду просто ctrl-c - ctrl - v из файла с условиями (и решениями). Естественно просто (только) саму задачу, ну и ещё в конце можно попросить по шагам рассуждать, или как там модно делать.
Я просто к тому, что каждый может взять с десяток таких олимпиад младших классов, повставлять в GPT-4 задачи и решить сам для себя, справляется ли он (ИИ) с ними на уровне "талантливого младшеклассника" :-) или нет ещё. Они с одной стороны простые, нет чего-то специфического, с другой стороны и подумать бывает надо над ними (пусть и недолго для взрослого человека). Лучше в этом смысле чем какие-то там тесты. Понятнее самому себе в смысле
kareon
05.06.2024 10:36+2Мне вот интересно, а откуда уверенность, что AI сможет создать что-то сверхчеловеческое, если все знания, которые у него есть сейчас - это просто трансформированный продукт умственной деятельности людей (та самая стена данных)? Что-то не слышал, чтобы он действительно создавал нечто принципиально новое. Ради интереса, было бы интересно обучить модель на научных текстах конца XIX века и посмотреть, сможет ли на этой основе воспроизвести какие-нибудь научные открытия, скажем, начала XX века...
StGeass
05.06.2024 10:36+1Все наши знания не принципиально новые, всё новое это трасформированный продукт умственной деятельности множества поколений людей
Про принципиально новое, навскидку вот https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/#life-molecules и вот https://deepmind.google/discover/blog/millions-of-new-materials-discovered-with-deep-learning/, первое про предсказание структур белков вместе с ДНК, РНК, лиганд и тем как они взаимодействуют, второе про предсказание структур кристаллов, в том числе стабильных, на нахождение которых "естественным" путём ушли бы столетия
ifap
05.06.2024 10:36+1Нам еще до понимания, как работает человеческий мозг, как до Луны пешком, а у него уже ИИ, превосходящий интеллект человека на носу, ага. Превосходящий по эрудиции - да уже полно, по способности самостоятельно мыслить, воображать, изобретать, да еще за пределами заданных паттернов - ха-ха.
AlexeyZlobin
05.06.2024 10:36+3В том-то и прикол, что не обязательно понимать.
Да, мы не особо в курсе, что такое мышление, но зато мы в курсе что такое логика и если машины ее используют и дают реальные ответы на вопросы, то какая разница, ИМИТИРУЮТ ли они логику или в самом деле ею владеют?
Пока что масштабирование моделей делает их умнее, а значит мы можем развиваться в этом направлении просто грубой мощью. Учитывая, что нейросети демонстрируют просто небывалую склонность к эмирджентности - сверхинтеллект более чем реален. Читал недавнюю статью про переобучение нейросети?
https://arxiv.org/abs/2405.15071
Вот, почитай. Так сказано про эффект, что назвали грокингом.
Обычно обучение нейросети останавливают в момент, когда ее показатели начинают ухудшаться, но согласно исследованию, если продолжить просто обучать ее дальше, в десятки раз - она формирует внутреннюю логику. Это потребует лишь ресурсов и мощности, то есть у нас уже есть два перспективных и реальных способа улучшать модели, первый - повышать масштаб, а второй - обучать дольше. Мы и близко не уперлись в потолок.
andy1618
05.06.2024 10:36+1Если рассматривать область программирования, то все публичные репозитории на Github оцениваются примерно в 1 миллион токенов.
Тут что-то не так. 1 миллион токенов (даже не Lines of Code) - это вполне по силам обычному много пишущему разработчику. Соответственно, исходя из примерного числа гитхаб-писателей, цифра должна быть на 6-7 OOM выше (т.е. триллионы токенов).
vtb_k
05.06.2024 10:36цифра должна быть на 6-7 OOM выше
Токен - это уникальное слово. Откуда возьмутся миллионы уникальных токенов, когда половина гитхаба просто копии "Hello world"?
andy1618
05.06.2024 10:36Эмм. Там же BPE токенизация, т.е. токены - это даже не слова а их части. И уникальных - там да, несколько десятков тысяч. Т.е. речь явно не о них.
В общем, руки дошли посмотреть оригинал - подозрения подтвердились, на стр. 26 написано дословно следующее:
"Moreover, for more specific domains like code, there are many fewer tokens still, e.g. public github repos are estimated to be in low trillions of tokens."
Dark983
05.06.2024 10:36Очень обидно, что этими тенденциями у нас в СНГ не интересуются, и верят в то, что "ИИ не заменит нас минимум 10-20 лет".
Хороший разбор статьи, +карма
AlexeyZlobin
05.06.2024 10:36Ну, объективности ради - они правы.
На западе - заменят, а нас - вряд ли.
Для создания ИИ России нужны... Ладно, давай сделаем вид, будто 2022 года в природе не существовало и просто представим, что все шло бы как шло с 2021 года.
Да, у нас отличные программисты и в целом есть кадры для такой задачи, НО!
У нас нет мощностей. Ангрстрем обанкротился, Байкалы производятся на тайване, своих мощных ГПУ нет даже в проекте. Где взять дата-центры на сотни тысяч ГПУ? Да, можем колхозить из потребительских видеокарт, типа 4090.
Но во-первых, Россия попросту не потянет такие затраты, потому что Россия - это не Китай.
А во-вторых, как быстро запад бы прикрыл технологическую лавочку, как сейчас ужимает ее Китаю?
Есть конечно вариант, при котором лавочку бы не прикрыли - присоединиться к европейской семье, выступить против Китая и тогда ВОЗМОЖНО с нами поделятся технологиями, но это мечты уровня того, чтобы в России самим организовать вторую Интел.
А после 2022 году - это и вовсе даже не мечты, а беспросветные бредни наркомана.
Так что нет, массово нас не заменят, а то, что кто-то будет по серому импорту покупать западные ИИ-продукты и ограниченно заменять своих работников - на общей картине мало скажется. Уверен, Китай осилит конкуренцию с западом в ИИ, в итоге США, Европа и Китай - опять уйдут вперед, а мы останемся сосать лапы и клепать танки со словами "Не нужон ваш ентот ИИ"
antonival
05.06.2024 10:36Как-то он не упомянул про самый очевидный сдерживающий фактор. Модели машинного обучения напрямую зависят от данных на которых они обучены. А на текущий момент все открытые данные с интернета - уже спылесошены. И огромное количество недостающих данных для создания AGI просто не откуда брать. Для этого придётся разрабатывать новые техники сбора данных, которые, скорее всего, будут очень дорогими и долгими. Поэтому нельзя линейно экстраполировать текущий прогресс.
Ещё непонятно на основании чего он сравнил GPT-4 с уровнем старшеклассника. По отдельным характеристикам она, конечно, не только старшеклассника, но и кого угодно задвинет. Но по соображалке в целом, она конкурировать с человеком пока не может. Причём, проблемы там структурные, а не количественные. Так что, здесь ещё и текущий уровень развития завышен.
FirExpl
05.06.2024 10:36Для этого придётся разрабатывать новые техники сбора данных, которые, скорее всего, будут очень дорогими и долгими.
Люди используюя нейросети будут генерить новые данные, на которых будут дообучаться нейросети, с помощью которых люди будут генерировать ещё больше данных ... пока в каокой-то момент люди не будут исключены из цепочки за ненадобностью :)
Ещё непонятно на основании чего он сравнил GPT-4 с уровнем старшеклассника.
ИМХО, когда физик на старости лет резко ударяется в религию, биолог начинает рассказывать про пользу гомеопатии, а исследователь ИИ начинает рассказывать про всё пропало и мы все умрём из-за ИИ, это признак того, что этот учёный сломался - несите другого учёного
Wesha
05.06.2024 10:36Люди используюя нейросети будут генерить новые данные, на которых будут дообучаться нейросети,
Вот только проблема: если в бочку молока добавить стакан овна — получится бочка овна.
FirExpl
05.06.2024 10:36Человечество как-то решало эту проблему до появления нейросетей, будет точно так же решать и и когда нейросети уже появились.
Nvlk
05.06.2024 10:36Тоже склонен считать, что это связано с пузырём в американском фондовом рынке. Все пишут про кризис дот-комов, но никто не вспомнил про Монреальский протокол с помощью которого США нанесли сильнейший удар по экономике СССР и выкинули с рынка качественные и дешёвые российские холодильники. Это одна сторона медали.
Параллельно с "развитием" ИИ хозяева денег вкладывают немалые средства в противоположный процесс - упрощение человека. Вы не находите, Уотсон?
При чём под упрощением я понимаю не только отрезание людей от точных наук в пользу гуманитарных. Речь идёт о большем - упрощении мышления и установку его в рамки готовых "формочек": BLM, зелёной повестки, равноправия.
Bkmz1986
05.06.2024 10:36И все эти фантазии идут на хутор обломав зубы на энергопотреблении, нужное количество которого могут построить только 3 страны в мире и займет это в лучшем случае 30-50 лет. Стоить будет в 100 раз дороже сего суперкластера. И главное, поддерживать стабильное количество энергии будет адово сложно ибо инфраструктура той же США сейчас постоянно сваливается в блекауты. Все эти фантазии о будущем где все будут делать роботы рушится на примитивном - отсутствии достаточного количества электроэнергии. И пока не будет придуман компактный реактор способный вырабатывать энергии как солнце или суперчип размером с смартфон, все это не более чем сказка.
ivan_ilushenko
05.06.2024 10:36+1С 2019 по 2023 год, от GPT-2 до GPT-4, был пройден путь от моделей с интеллектом дошкольника до моделей, сравнимых с одаренным старшеклассником. Этот гигантский скачок произошел всего за 4 года.Нет, это ложное утверждение. GPT-4 знает много, но модель не обладает интеллектом. Это понимает любой, кто поработал с LLM хотя бы один рабочий день. Ее нельзя сравнивать ни со старшеклассником, ни с дошкольником. По объему знаний? Ну давайте с википедией еще сравнивать, та тоже много "знает".
LLM не может стать AGI, сколько весов в нее не заливай, просто потому что это языковая модель. Она может делать крутые штуки, она может быть очень большой, но это просто языковая модель.AGI скорее всего будет, но весьма вероятно он будет построен на несколько других принципах. Предсказать его появление со сколько-нибудь адекватной точностью практически невозможно, т.к. в ИИ вкладывают большие деньги, им занимается много людей, прорывное открытие может случиться хоть завтра (а может и через 10+ лет).
Но кто сказал, что AGI будет намного умнее человека? Современным LLM системам зачастую требуются десятки минут, чтобы пофиксить простой баг в гитхаб репозитории. Это быстро, но сравнимо с человеком. Это не микросекунды. Если мы сделаем AGI, то вполне возможно что он будет думать не намного быстрее и не намного лучше человека. Плюс только в том, что, в отличие от человека, AGI можно распараллелить на множество устройств, но технологической сингулярности может и не быть.
AGI может эффективно использовать все знания Интернета? Ну давайте сделаем чип в мозг к человеку с прямым подключением к Интернету, чем не сверхразум? Добавим в чип АЛУ для быстрых вычислений и точную память. Может быть AGI появится в этом направлении, как синтез человека и машины.
В общем, скептически я отношусь к технологической сингулярности (тм). Особенно в ближайшее десятилетие, весьма маловероятно.
AlexeyZlobin
05.06.2024 10:36>LLM не может стать AGI, сколько весов в нее не заливай, просто потому что это языковая модель.
А примитивные муравьи не образуют куда более сложноорганизованный муравейник, сколько бы муравьев мы не собрали в одном месте?
Упс. Таки образуют.
Также как ЛММ достигли нынешнего состояния из примитивного алгоритма аля Т9, из ЛММ вполне может получиться AGI, нужно лишь масштабировать модель.
Эмерджентность, она такая, собака.ivan_ilushenko
05.06.2024 10:36+1А если увеличить количество муравьев в муравейнике в миллион раз, они образуют супер-муравейник, построят космический шаттл и полетят к звездам?
Упс. Не полетят. Эмерджентность существует, но у любого явления есть границы.
AlexeyZlobin
05.06.2024 10:36Я бы не был столь категоричен, как знать - дай им миллионы лет и вполне себе и построят и полетят. :3
Мы же как-то полетели.
Конечно у явления есть границы, однако мы говорим не о каких-то магических свойствах, а лишь об увеличении интеллекта (Или улучшения имитации интеллекта, если так угодно) и это вполне прогнозируемая штука.ivan_ilushenko
05.06.2024 10:36Мы полетели не из-за эмерджентности, а из-за качественного и радикального изменения подхода к выживанию (относительно муравьев).
По поводу прогнозирования тоже поспорю - на момент появления трансформеров в 2017 году никто и не догадывался, какими свойствами могут обладать 175B трансформеры, обученные на триллионах токенов.
Однако попытка масштабировать те же конволюционные сети до условно 100B ни к чему хорошему не приводят, они не становятся умнее. Попытки сделать из LSTM большие и сильные LLM тоже пока мало к чему привели (недавно была статья о новых LSTM, но они все равно хуже трансформеров).
Т.е. где-то у трансформеров, как и у любой архитектуры, есть предел, где он - предсказать сложно, не скажем пока не уткнемся.
Плюс у всех нейросетей есть большой минус - отсутствие памяти, "жизненного опыта" если хотите. Каждый инференс мы должны передавать им весь предыдущий контекст, это жутко неэффективно и накладывает сильное ограничение на существование AGI в этой парадигме. Представьте, что вы используете AGI дома на протяжении 20 лет, вы каждый инференс будете передавать 20-летнюю историю? Можно попытаться соорудить память, как в mLSTM, но там свои ограничения. Т.е. сеть останавливается в развитии в момент окончания обучения. Онлайн-обучение какой-нибудь GPT-4 это пока трудоемкая задача.
А если у большой сети будет своя память, то не "сойдет ли она с ума" от миллионов запросов в секунду? Делать отдельную память (читай личность) под каждого пользователя? Как вариант, но кажется здесь тоже будут ограничения.
inkelyad
05.06.2024 10:36+1Плюс у всех нейросетей есть большой минус - отсутствие памяти, "жизненного опыта" если хотите.
Это от недостатка вычислительных ресурсов. По хорошему - надо каждому свой экземпляр, которые периодически дотренеровывается на том самом контексте, получая тот самый жизненный опыт в долговременную память. (Контекст, соответственно, можно считать кратковременной).
Делать отдельную память (читай личность) под каждого пользователя?
Да.
Т.е. сеть останавливается в развитии в момент окончания обучения.
А тут недостаток терминологии. ИИ нужно считать не конкретный набор весов, а систему с обратной связью, которая этот набор весов модифицирует.
Собственно, я считаю, то та же ОpenAI целиком - искусственный, сильный, человеко-машинный "Hive Mind" интеллект.
ivan_ilushenko
05.06.2024 10:36По вычислительным ресурсам тоже вопрос - мы не знаем, как долго мы можем увеличивать наши вычислительные возможности и сколько их потребует AGI.
Может так случиться, что не хватит. Или это будет планетарный AGI в единственном экземпляре.
При дообучении огромной модели после каждого инференс запроса много инженерных трудностей. Это как с колонией на Марсе - теоретически вроде хоть сейчас, но на практике надо прорву денег, пока не получится и по срокам тоже хз.
Как по мне, слишком много неопределенностей для прогноза "AGI к концу десятилетия".
inkelyad
05.06.2024 10:36При дообучении огромной модели после каждого инференс запроса много инженерных трудностей.
Не запроса. А так же как с живыми мозгами почти всех животных. Два режима - бодрствования, когда существующие веса используются и личный опыт складируется в контекст. После какого-то промежутка - режим 'сна', когда накопленная информация сортируется и усваивается путем дообучения таблицы весов.
Ну и да, это более-менее подразумевает, что оно не облачная одна модель на всех и для всех случаев, а персональная - под конкретное место и задачу. Так что вряд ли AGI каждому к концу десятилетия - железа нужного не будет.
А вот несколько штук - я думаю вполне реально, если попытаться. Только никому не нужно. Потому что оно не будет общаться одновременно с миллионом людей, будучи специалистом во всех отраслях знания, как всем хочется.
Wesha
05.06.2024 10:36дай им миллионы лет и вполне себе и построят и полетят.
Им уже дали что-то около ста этих самых миллионов лет. Результат — на лице.
Apxuej
05.06.2024 10:36+3Прямо интересно, какую человеческую деятельность по Вашему не LLM, а именно мультимодальные модели не способны будут выполнить? Мы уже знаем, что нам не нужно собирать разные модели - каждая для своей задачи - достаточно обучить одну модель. С учётом того сколько денег сейчас вбухивается - количество качественной, специально подготовленной и заточенной информации будет расти день ото дня (а шлак будет отсеиваться), также как и вычислительные мощности вырастут на пару порядков. Модели сейчас - это прошлогоднее старьё обученное на едва причёсанном по большей части рандомном шлаке - худшее состояние в котором они когда-либо будут, но даже они уже дают прикурить огромной части населения планеты даже в плане житейской логики. Т.е., например, они уже могут составлять логические цепочки, дают верные ответы на вопросы о повседневном физическом взаимодействии вещей и могут в теорию разума. Посмотрите хотя бы на более или менее свежую GPT4o - и это ещё, по косвенным признакам, относительно лёгкая и быстрая модель - основная цель которой поразить народ привычным для людей способом взаимодействия. И притом ещё никто не запихивал в эти модели кинестетические и кинематические наборы данных, чтобы они имели хотя бы паритет с человеком по типам доступной информации.
Я в целом могу понять скепсис. Пока не особо видно и слышно людей, которые теряют работу, а если и слышно, то их немного. Думаю настоящая паника начнётся, когда модели получат выше упомянутые данные о том, как физически человек взаимодействует с миром, а не будут пытаться ориентироваться по теням в пещере. Ведь это поможет ИИ разрабатывать интерфейсы взаимодействия человека с объектам вещественного мира и быть эффективным роботом (т.е. под угрозой как минимум 30% рабочих мест в мире). Хотя достаточно мощные модели смогут обойтись и без этих данных - выведут всё на основе только видео данных.
В целом я согласен с уволенным чуваком из open AI, что к 2027-28 году у нас будет реальный AGI, т.е. штука которая способна превзойти любого среднего человека в любой мыслимой человеческой активности. А через пару лет способная превзойти уже не среднего, а лучшего человека. Для прямо суперИИ - во много раз превосходящего любого человека возможно потребуется чуть больше времени, думаю к 2034 он будет. Потом пяток золотых лет человеческой цивилизации - прямо как в фантастических фильмах, а затем суперИИ, таки закончит подготовку и перейдёт в завершающему этапу исполнения своей терминальной цели, какой бы она не была.
ivan_ilushenko
05.06.2024 10:36Модели могут поражать воображение своими ответами на довольно сложные вопросы, и ровно эти же модели могут поражать воображения абсолютно идиотскими ошибками, которые человек никогда не совершит.
Вот буквально, сейчас она рассуждает о теории разума, следующим запросом фейлится на задачке вида "в комнате было 4 свечи, 3 свечи задули, сколько в комнате осталось свечей?"
Подсовываешь фотографию автомобиля и спрашиваешь что это, она распишет про эту марку и ее характеристики абсолютно все. Поменяешь один пиксель, и модель становится уверенной, что смотрит на банан.
Это прямо следует из того факта, что человек и модель получают и обрабатывают информацию принципиально разными способами, см. adversarial attacks.
Устранимо ли это простым увеличением размеров модели и качества данных? Не знаю, время покажет. Может сказаться, что и нет. На сегодняшний день атакам подвержены все модели, вне зависимости от размера.
Будете ли вы доверять такой модели ключевые и ответственные решения? Кажется, что нет.
Ключевая разница между МЛ моделями и человеком: модель не умеет адекватно экстраполировать. Она не способна сделать какой-либо вывод на данных, выходящих за пределы обучающей выборки. Т.е. если модель учить на данных, сгенерированных предыдущими поколениями моделей, то модель деградирует.
Человек, учащийся на данных, сгенерированных предыдущими поколениями людей, развивается.
Появится ли это свойство при увеличении размеров моделей еще на три порядка? Хз, поглядим. Может быть это и будет ключевым свойством AGI.
AlexeyZlobin
05.06.2024 10:36>Вот буквально, сейчас она рассуждает о теории разума, следующим запросом фейлится на задачке вида «в комнате было 4 свечи, 3 свечи задули, сколько в комнате осталось свечей?
Новые нейросети уже не фейлятся.... Если они достаточно крупные и умные.
Kanut
05.06.2024 10:36+1"в комнате было 4 свечи, 3 свечи задули, сколько в комнате осталось свечей?"
И у этого вопроса есть один единственный правильный ответ? Потому что мне в голову пришли два возможных. Ну или по крайней мере два, которые лично я бы принял :)
unC0Rr
05.06.2024 10:36+1могут поражать воображения абсолютно идиотскими ошибками, которые человек никогда не совершит
Вы преувеличиваете способности человека. Вот прямо сейчас половина людей Земли покажется вам пещерными дремучими дикарями, если вы попытаетесь с ними пообщаться.
Apxuej
05.06.2024 10:36+1Модели могут поражать воображение своими ответами на довольно сложные вопросы, и ровно эти же модели могут поражать воображения абсолютно идиотскими ошибками, которые человек никогда не совершит.
Попробую угадать: Вы общаетесь с людьми из довольно узкого круга - с работы, друзьями с университета и тп. Иначе Вы бы были более осторожны с "никогда не совершит" утверждениями, даже в отношении самых тривиальных областей знаний или цепочек логических рассуждений. Но если исключить довольно большую группу людей (по ощущениям процентов 10 взрослого населения), то я в целом согласен - современные модели людям не ровня.
adversarial attacks
Люди и другие существа биологического происхождения с нервной системой также подвержены подобным атакам, хотя и в гораздо меньших масштабах, потому что естественный отбор сделал своё дело.
Насколько я понял из объяснений людей, которые занимаются тестированием различных моделей и некоторых статей, против подобных атак есть много способов противодействия - что в итоге приведёт к практически полному их искоренению. Почему я так уверен? Потому что информация в отравленных примерах всё ещё там и нет некой универсальной атаки против которой невозможно подобрать противоядие, т.е. можно ожидать исчерпания векторов атак как это произошло с биологическими системами.
Ключевая разница между МЛ моделями и человеком: модель не умеет адекватно экстраполировать. Она не способна сделать какой-либо вывод на данных, выходящих за пределы обучающей выборки.
Вы ошибаетесь, в рамках контекста современные модели способны учиться и делать выводы выходящие за рамки обучающей выборки. И ситуация с крошечным окном контекста стремительно улучшается.
Т.е. если модель учить на данных, сгенерированных предыдущими поколениями моделей, то модель деградирует. Человек, учащийся на данных, сгенерированных предыдущими поколениями людей, развивается.
Я не совсем понимаю - если Вас будет обучать ребёнок Вы также деградируете или останетесь на том же уровне. Или нет, в зависимости от компетентности ребёнка в том или ином вопросе, а также его способности предоставить другой тип опыта - не связанный непосредственно с его знаниями. Тоже самое с моделями.
В чём принципиальная разница между слабыми и сильными моделями? Слабые модели по тем или иным причинам не смогли найти некоторые общие закономерности или даже создать некие абстракции - будь это недостаток данных или мощности и продолжительности обучения. Т.е. допустим они видели х*1000 аварий автомобилей и х*10 других деформирующихся при столкновении объектов. Человек при достаточно маленькой выборке, даже с учётом встроенных биологических систем в мозге (ака инстинктов), при отсутствии опыта взаимодействия с объектами окружающего мира в детстве (допустим паралитик) думаю будет испытывать трудности при попытке представить как объект будет деформироваться, если его бросить в стену, но более или менее сможет представить что произойдёт с машиной, которая врезается в столб. Т.е. выборка вероятно достаточна для оценки свойств взаимодействия конкретных объектов, но не достаточна для вывода принципов материаловедения, а в самом общем случае - физических законов, поэтому модель найдёт приближенную закономерность.
Более сильные модели нашли более общие закономерности, т.е. нашли способ "архивировать" группу разрозненных закономерностей в одну общую (отсюда и появление новых способностей), но при этом не факт, что успели избавиться от эвристик, которые они нашли на ранних этапах обучения, либо обязаны были их сохранить, чтобы как-то увязывать противоречивую информацию в выборке. Т.е. всё опять упирается в говняные данные и недостаток времени/мощности обучения, чтобы произвести качественную дистилляцию.
Я не спорю что люди и текущие модели отличаются по способу мышления, т.е. в способе решения поставленных задач, но для меня также очевидно процесс схождения идёт и идёт очень быстро. И я не вижу ни одной причины почему вдруг этот процесс остановится, в самом худшем случае, если денежные потоки иссякнут, скорость этого процесса замедлится, но не остановится - ящик Пандоры уже открыт.
Wesha
05.06.2024 10:36Современным LLM системам зачастую требуются десятки минут, чтобы пофиксить простой баг в гитхаб репозитории.
Все постоянно забывают, что сами "современные LLM системы" не могут "пофиксить простой баг". "Пофиксить баг" — это когда "баг был; [чёрный ящик]; бага нет". А сейчас "чёрного ящика" нет, в его роли выступает связка "нейросеть + человек" — без человека, который скажет "ни фига это не фикс, а ну переделал быстро!" оно не работает.
Mausglov
05.06.2024 10:36Когда микроскопы (или телескопы) поработят человечество, я признаю, что Леопольд Ашенбреннер был прав, а я заблуждался. Но до той поры останусь скептиком.
AlexanderS
05.06.2024 10:36Интересно, как бы автор прокомментировал новость, что "ИИ может столкнуться с дефицитом данных с 2026 г"?
Neiruha
05.06.2024 10:36Спасибо за хорошо-структурированное резюме и качественный перевод. Но возникает желание все-таки прочитать оригинал.
Потому что на вопрос, а сколько будут стоить упомянутые в статье 100 миллионов ИИ - инженеров (в денежных затратах, в энергетических затратах и затратах на неизбежное людское сопровождение)
Тех самых ученых, которые будут проектировать ASI. Насколько эти затраты по силам человечеству?
Timchikk
05.06.2024 10:36Автор статьи мне кажется реально болен. Всё время проводить прямую аналогию между Китаем и нацистской Германией, ну это надо быть очень уже не знаю что.... Ещё и воевать собрался судя по всему
We’re developing the most powerful weapon mankind has ever created. The algorithmic secrets we are developing, right now, are literally the nation’s most important national defense secrets—the secrets that will be at the foundation of the US and her allies’ economic and military predominance by the end of the decade, the secrets that will determine whether we have the requisite lead to get AI safety right, the secrets that will determine the outcome of WWIII...
AlexeyZlobin
05.06.2024 10:36Мне кажется, что наоборот - болен ты.
Где ты вообще в тексте хоть одну аналогию Китая с Рейхом нашел?Timchikk
05.06.2024 10:36+1Вы вообще читали её? Почитайте часть IIIb, да и другие. Хотя бы частое упоминание про важность секретности при разработке атомной бомбы, чтобы она не попала к Германии, и тут же переход(ы) к тому, что также важно, чтобы хоть что не утекло в Китай, потому что Китай... ну вот непонятно что Китай конкретно сделает, но что-то очень плохое для free world (то есть США). Нет, извините, но у автора - если конечно считать что он всё реально всерьёз пишет - крыша поехала на теме CCP is coming, и он из окна сейчас выбросится.
...а нет, понятно что сделает, IIId, "authoritarians could use superintelligence for world conquest", поэтому "superintelligence is a matter of national security, and the United States must win"
...А, ну вот, пожалуйста, там же в IIId: "Perhaps possessing those initial superintelligences alone, even before being broadly deployed, would be enough for a decisive advantage, e.g. via superhuman hacking abilities that could shut down presuperintelligence militaries, more limited drone swarms that threaten instant death for every opposing leader, official, and their families, and advanced bioweapons developed with AlphaFold-style simulation that could target specific ethnic groups, e.g. anybody but Han Chinese".
То есть автор прямо пишет, что китайцы возьмут и умертвят всех не-китайцев. Надеюсь тут-то уже не надо пояснять за аллюзию? Кстати, автор - из Германии, знает видимо толк в геноциде
AlexeyZlobin
05.06.2024 10:36Так еще раз, все верно - ИИ также важны, как ядерная бомба.
И абсолютно точно они не должна попасть в руки китайцев. Или ты хочешь, чтобы соцрейтинг по всей планете был? Китай уже сейчас демонстрирует склонность к тотальному контролю за населением, а уж с ИИ он и вовсе во всю ширь развернется.
> ну вот непонятно что Китай конкретно сделает, но что-то очень плохое для free world (то есть США)
То же, что он делает и сейчас, только лучше и с ИИ.
Дестабилизация, экспансия, поддержка авторитарных лидеров...
>authoritarians could use superintelligence for world conquest
Опять же чертовски верно. В чем ошибка? ИИ сделают авторитарные режимы более устойчивыми.
>что китайцы возьмут и умертвят всех не-китайцев.
Нет, он написал, что китайцы возможно, СМОГУТ это сделать. А может ограничатся трудовым перевоспитанием в лагерях, как это сделали для уйгуров. И кстати, то, что китайцы делают с уйгурами, вполне подходит под определение геноцида.
Однако все еще я не увидел аллюзий на Рейх. Или по твоему геноцидом только он занимался? Да нет, в общем-то, много кто им занимался.
Timchikk
05.06.2024 10:36+1А с Россией знаете что автор предлагает сделать? "We’ll need to subvert Russia". Ну то есть дословно "стереть с лица земли" в одном из смыслов значения subvert a country. Ну тут точно немецкие корни прорвались у товарища
Wesha
05.06.2024 10:36знаете что автор предлагает сделать?
Очень знакомый тип мышления. Где-то я его слышал...
...он увидел, какой может быть ненависть, и убедился, до чего же мелка людская ненависть, если постигнуть глубину, силу и дикую кровожадность ненависти пуудли. Это не слепая ненависть, бессмысленная и непоследовательная, которая ведет к поражению, а разумная, расчетливая, целенаправленная. Она приводит в движение умную, разящую без промаха машину, натравливая хитрого и кровожадного зверя на любое живое существо, не являющееся пуудли. Поведение пуудли подчинено закону самосохранения, заставляющему его опасаться всех и каждого. Он толкует этот закон так: безопасность гарантируется только... смертью всех прочих живых существ. Чтобы совершить убийство, пуудли не требуется никакого повода. Достаточно того, что другое существо живет, движется; уже самим этим фактом оно представляет угрозу — пусть даже самую незначительную — для пуудли.
— Клиффорд Саймак. Спокойной ночи, мистер Джеймс.
Мужик явно с натуры писал.
AlexeyZlobin
05.06.2024 10:36Так круто же, полностью его поддерживаю. Жаль, что он этим не займется и придется нам самим как-то разбираться с той кучей говна, что мы сами наворотили своей пассивностью и аполитичностью.
sergehog
Лет 5 тому назад все (самые умные) предсказывали что self-driving машины вот уже совсем скоро будут, и все таксисты помрут. До этого виртуальная реальность должна была заменить обычную, а до этого каждый второй хотел купить 3D телевизор, поскольку все фильмы теперь только в 3D будут.. А бум дот-комов кто помнит? А сколько было хайпов которых мы даже не запомнили или не заметили? Прогресс какой-то будет, это несомненно. Модельки/ЛЛМки улучшаться будут. Но никакой экспонентой уже и не пахнет, тут уже даже не логарифм, а сигмойд какой-то. Угрохают в 10 раз больше компьюта, а выхлоп выростет на пару процентов.
ksbes
Тут ведь ещё какой вопрос?
Например, проектирование самолёта (не с нуля, естественно) занимает чуть ли не раза в два меньше времени, чем его испытания и сертификация.
Т.е. если даже сверхумный ИИ сможет проектировать самолёты то:
не факт что по деньгам это обойдётся дешевле (гигаватт-часы - это сотни миллионов и миллиарды долларов)
всё равно надо будет испытывать и сертифицировать как и самолёт разработанный людьми
Т.е. процесс имплементации задумок ИИ никто не отменял. И далеко не факт, что недоразвитое человечество вообще сможет сделать то что богоподобный ИИ нафантазировал. От сотен гигаватт вкаченных в датацентр космические корабли просторы не забороздят.
Т.е. нам не нужен AGI любой ценой. Нам нужен ИИ который даст приемлемый результат за адекватную цену.
Собственно почему у нас практически нигде нет 100% роботризации на заводах? Хотя об этом уже лет 50 как говорят и стремятся? Правильно! Потому что во многих случаях человек сделает всё тоже самое дешевле и, нередко, быстрее.
darthmaul
Учитвая разницу между ресурсами, нужными на обучение нейросети и на инференс, можно смело предположить что ни одна страна мира банально не сможет себе позволить обучение ИИ, эксплуатация которого будет стоить миллионы. По поводу имплементации - сложность в сертификации самолёта как раз в бюрократии, а не в самих испытаниях. Никто годами круги не наматывает ведь. И тут даже туповатый, но надёжный (т.е., не галлюцинирующий) ИИ ускорит процесс на порядки.
Ну если он прям такой уж богоподобный, то дадим ему сотню "атласов" и пусть сам строит, в чём проблема?
Так то ясно, что полная замена рабсилы на машинную невозможна и бессмысленна, но ускорить многие процессы можно на порядки.
AlexeySetevoi
C надежным ИИ в целом проблема. Текущая работа вся построена на генерировании наиболее вероятного токена следующего, а не на верификации какой-то. Как обучили - так и генерирует. Верификация вся на человеке, отказ от ответственности, вот это все вот.
ну и в целом по тексту документа автор скорее просто "мечтает". Ничего нового, люди в начале промышленной революции тоже мечтали о великих вызовах и преобразованиях. Такова природа людей на гребне волны.
darthmaul
Уже более, чем очевидно, что LLM никогда не станет сильным ИскИном. Оно же решения принимать в принуипе неспособно. ИМХО, будущее за моделями "ситуация - действие" вроде "Q learning". Говорилки - максимум одна из подсистем ИИ будущего, но никак не основа.
Wesha
Причём, обратите внимание, обучено оно на материалах, полученных из интернета. Медленно и печально: ин-тер-нета. Ну да, ну да, сто миллионов обезьян за печатными машинками, ну вы понели. А люди от обученного на этих материалах ИИ ожидают прорыва в науке...
DaneSoul
Ну так текущие версии не для науки разрабатывались, потому и учили их другому. Что мешает в дальнейшем более развитые версии ИИ обучить на всей базе учебной и научной информации существующей в мире?
Wesha
Ну вот как обучат — тогда и поговорим.
NeoPhix
У меня для вас плохие новости: по качеству научный и учебный материал далёк от идеала. А уж сколько там банально ошибочных и подтасованных результатов даже в технических журналах...
DaneSoul
Идеал - это вообще недостижимая абстракция. Какие бы проблемы не были с существующими учебными и научными материалами, тем не менее люди их вполне успешно используют для обучения и научной деятельности - результат мы видим по развитию научно-технического прогресса. Соответственно есть надежда, что и высококачественный ИИ сможет такие материалы адекватно переварить для своего развития.
Kanut
Зависит от эксплуатации и того сколько эта эксплуатация позволит сэкономить или наоборот заработать.
Ну то есть если брать какой-нибудь бюрократический аппарат, то в куче стран там можно миллиарды экономить если грамотно к делу подойти. Или там в здравоохранении, в общественном транспорте или ещё куче других вещей.
darthmaul
Верно, я про то, что мы в принципе не можем создать нейросеть, для инференса которой нужны какие-то невероятные мощности и она использовала бы их эффективно т.к. на её обучение нужно на много порядков больше вычислительных ресурсов. Так что если придумают сильного ИИ - его станут пихать везде.
AlexeySetevoi
Если смотреть на это с точки зрения автоматизации — можно просто дорабатывать CRM и процессы бюрократии. Это гораздо более предсказуемо в управлении, отдаче и результате. Да и процессы все равно надо будет кому‑то прорабатывать. И поддержка ДЦ для обычного кода будет, почти наверняка, стоить дешевле всех этих центров обработки данных для ИИ.
Ну и деньги в таких процессах обычно не цель, они средство обеспечения функционала. Бюрократический аппарат — это люди, если их заменить, какую‑то часть (а может и не часть) сьэкономленных денег вы все равно отдадите им под видом базового дохода/пособия или получите безработицу и социальные проблемы. А учитывая, что эти люди голосуют, вы врядли захотите делать безработными своих избирателей. Только в рамках каких‑то очень долгосрочных программ, долго, с заменой им работы(на что?). Поэтому вам, как политику и лицу принимающему решения, который должен думать о следующих выборах, гораздо проще принимать решения, в которых никто работу не теряет, а лучше находит. Например открывает новое подразделение по доработке процессов)
В условной чисто капиталистической корпорации — да, можно попытатся, но это очень странная игра с непонятным исходом. И раньше появления агентов, которых можно будет выстраивать прямо в цепочку — непонятно как осуществимая.
В сущности ИИ/LLM щас уверенно кушает только одну нишу рынка — это персональный поисковик. Остальное — фантазии. Поэтому Гугл и прыгает так высоко, чует что это грозит его рынку. Поэтому МС и спонсирует все это мероприятие и пихает его в bing со страшной силой.
Alexey2005
Вот тут-то диктатура и получает преимущество. Потому что при диктатуре властям не нужно думать, кто там и как за них проголосует. Да и проблему утилизации "лишних" людей диктаторы могут решать предельно эффективно.
Сейчас диктатуры "сыплются" на сложностях с воспроизводством интеллектуальной элиты (люди с интеллектом хоть немного выше среднего, при этом нацеленные на создание интеллектуального продукта, а не на аппаратные игры, как-то быстро заканчиваются, после чего начинается деградация во всех областях). Но ведь "сильный" ИИ как раз и решает эту проблему!
В мире, где есть "сильный" ИИ, демократии попросту не способны конкурировать с авторитарными режимами.
AlexeyZlobin
Это не главная проблема диктатур. Да, отсутствие ученых и их повышенный расход путем ссылок в лагеря, заставляет страну тормозить в научно-техническом прогрессе, однако тот же СССР довольно эффективно с этим справлялся, путем создания буквально научных тюрьм, так называемых "шарашек" и запрета людям с мозгами выезжать заграницу.
Главная проблема диктатур в другом - отрицательный естественный отбор на всех должностях. ИИ в этом не поможет никак, ты же не уволишь зятя племянника младшей сестры своего друга, которому дал пост министра, только потому что он некомпетентный дятел? Нет! Главное, что он верный некомпетентный дятел...
А что ентому ИИ проклятущему в голову придет, вдруг решит, что ты страну в пропасть ведешь и надо бы от тебя избавиться? Не нужнова нам этих заморских бесовских технологий!
vvzvlad
Это не признак диктатур. Это признак попыток построить социализм.
MiyuHogosha
А дальше - биокомпьютер чтоб самовоспроизводился
myrov_vlad
Имхо: тут еще проблема в том, могут ли роботы/ИИ задать уже ВЕРХНЮЮ планку на стоимость и качество труда? А-ля "какой смысл ученому расти до уровня нобелевского лауреата, если теперь надо только верифицировать идеи ИИ?"
Wesha
(Айзек Азимов. "Профессия".)
MiyuHogosha
Только я хотел написать что этим мечтам почти столетие и привести цитату оттуда.
А в итоге робот-философ у Азимова пришел к выводу что человечеству роботы не нужны.
red_elk
Это вопрос наличия эффективного интерфейса для взаимодействия с физический миром, и вполне возможно это лишь временное ограничение. По идее ничто не мешает AI улучшать уже имеющиеся приборы, манипуляторы, видеокамеры, роботов и т.д. В перспективе, проектировать новые фабрики, затем самостоятельно строить и производить всё это.
DaneSoul
В проектировании самолетов не силен, но о биологии/медицине представление некоторое имею.
Основная проблема не в самих испытаниях и сертификациях, а в том, что очень часто они дают отрицательный результат. То есть вещество разработали, ожидали хороших эффектов, а при испытаниях оно оказалось неэффективным или вылезли всякие побочки, в итоге годы работы и кучи денег в мусорку.
Если ИИ будет настолько крут, что сможет предсказывать большую часть таких провалов еще на этапе разработки, то уже одна такая ранняя отбраковка может очень сильно удешевить разработку новых препаратов. А человеческих способностей для такого анализа уже не хватает - организм и процессы в нем очень сложны и многочисленны, все зависимости отследить у человека не получается.
Heartofhill
Верная мысль - производственные, строительные, энергетические ресурсы человечества ограничены. И если мы хотим тотально увеличить с помощью ИИ промышленный потенциал человечества надо разрабатывать термоядерные электростанции, которые будут питать роботов и заводы по их производству. Хотя можно теоретически сделать огромные поля солнечных батарей.
Также нужны автоматические исследовательские центры под контролем ИИ, где будут в автоматическом виде проводиться эксперименты: примерно как было показано в фильме "превосходство".
Строительные роботы также должны массово производиться, чтобы создавать новые автоматизированные заводы и научные центры. Примерно как во втором аватаре, когда было сказано, что строительные роботы построили за год на Пандоре больше, чем было построено до них за 30 предыдущих лет.
Если это все дело проработает какое-то время и достаточно разовьется, то можно будет задуматься о реализации мегапроектов, которые требуют колоссальные ресурсы и сейчас выглядят фантастикой. Например, превращение пустынь в цветущий рай или остановка глобального потепления, колонизация других планет.
Но здесь закономерно возникает вопрос согласованности целей ИИ, который контролирует этот весь промышленный и научный потенциал, и целей человечества. Потому что в развитой форме потенциал ИИ будет больше потенциала всего человечества и если ИИ окажется враждебным у нас будут большие проблемы.
Kergan88
Да зачем далеко ходить - ai winter уже не первый раз происходит. Лет через 5 это все схлопнется, как схлопывалось и до этого.
lehshik
>Прогресс какой-то будет, это несомненно
прогресс уже есть, рисует лучше 99% художников, обыгрывает человека почти во все игры, и это при числе параметров меньше в тысячи раз чем в мозге.
freeExec
А вот такого, чтобы и рисовал, говорил и обыгрывал нету
KvanTTT
Это называется мультимодальность - ChatGPT 4o уже может в базовые вещи.
Wesha
Ну да, конечно.
Kanut
Вам слово "сюрреализм" что-то говорит? :)
KvanTTT
Тут надо учитывать исходный запрос. Если в нем было что-то про сюрреализм, то результат нормальный, в противном случае - ошибка.
Kanut
А когда художники-сюрреалисты собственно придумали этот самый сюрреализм, то они это тоже по конкретному запросу сделали? Или просто потому что они художники и они так видят? :)
KvanTTT
Я не искусствовед, но думаю, что скорей всего, т.к. искусство - это, как правило, отражение политических, экономических, социальных реалий современников, а не просто картинки и другие произведения в вакууме.
Kanut
Ну вот вам и ИИ делает "отражение политических, экономических, социальных реалий". Ровно так как он это "видит" :)
Wesha
Ваша оценка того, что 99% художников — сюрреалисты, несколько преувеличена.
P.S. В моём словаре для слова "сюрреалист" записано определение "дурень, который рисованию так и не доучился, а жрать хочется, поэтому вместо этого стал разводить лохов на бабки".
Kanut
Я нигде такого не писал.
Бывает.
Alexey2005
Иван Крамской, "Христос в пустыне", 1872 г.
Увидь я это изображение без подписи - был бы на 100% уверен, что это выхлоп нейронки. Проблемы с пальцами, на лице явные артефакты от применения ADetailer, неконсистентность стилей (пейзаж фотореалистичный, а фигура явно рисованная).
В работах известных мастеров прошлого можно без проблем отыскать кучу того, за что бранят нейронки. Просто нейро-хейтеры берут лучшие работы живых художников, часто ещё и реставрированные, сравнивают с худшими работами операторов нейронок - и радуются: ура, ваши нейронки - хрень.
DonStron
нам рассказывали на истории живописи, что Крамской в этой картине несколько лет(!) лицо Христа перерисовывал, никак не мог достичь желаемого.
И вот то, что называют "искушением Христа в пустыне" - фактически - это просто многодневное размышление: понимая, что далее его ожидает, остановиться и прожить жизнь обыкновенного человека, или пойти дальше, быть казненным и тем самым триггернуть что-то, попробовать этим дать человечеству нечто большее.
FirExpl
И много людей в вашем окружении могут нарисовать картинку такого уровня? :)
Wesha
В моём — много.
(Просто у меня окружение такое. Вон, в частности, один нарисовал картину, из которой я иконку сделал.)
AlexeyZlobin
Пальцы уже пофиксили.
Mausglov
вот именно. что "пофиксили". Это не нейронка поняла, что с пальцами что-то не так, а разработчик её зомбировал.
inkelyad
Не надо ровнять конкретный набор весов с всей нейронкой.
Что произошло - некий информационный конструкт мутировал и видоизменился под воздействием внешних объяснений (не словами, да - другими способами объясняли). С точностью до терминологии - 'понял'.
Nepedique
Как вы там, все верите в миазмы?
5-10-20-50 лет в масштабах вселенной - ничтожная погрешность. Навязчивый скептицизм равнозначен невежеству, простите.