18.09.2024 05:00
stalkermustang 287 48000 Источник

Последние пару лет развитие языковых нейросетей как будто бы шло по принципу «больше, длиннее, жирнее»: разработчики пытались раздуть свои модели на как можно большее число параметров и прогнать через них максимальный объем тренировочных данных. 12 сентября OpenAI выпустили новую LLM, которая добавляет в это уравнение еще одно измерение для прокачки: теперь можно масштабировать объем «мыслей», который модель будет тратить в процессе своей работы. В этой статье мы разберемся, чему научилась новая GPT o1, и как это повлияет на дальнейшую эволюцию ИИ.

Эрмира «Мира» Мурати – албанская инженерка, которая занимает должность CTO OpenAI
Эрмира «Мира» Мурати – албанская инженерка, которая занимает должность CTO OpenAI

В конце прошлой недели OpenAI анонсировали и сразу же выпустили новую модель. Вопреки ожиданиям, её назвали не GPT-5, а o1. Компания утверждает, что для них сброс счётчика линейки моделей к единичке знаменует собой переход к новой парадигме, и что эта нейросеть и вовсе демонстрирует новый уровень возможностей ИИ. Возможностей, ранее вызвавших переживания и опасения у некоторых внутренних исследователей OpenAI — да настолько, что они пожаловались совету директоров! Давайте разберёмся, что же именно произошло, как и почему появилась o1, и попытаемся понять, как правильно выстроить ожидания от этой LLM (большой языковой модели).

План

  1. Предыстория, ожидания и исторический контекст

  2. Официальное позиционирование

  3. А как модели решают такие задачи?

  4. Как OpenAI учили нейросеть думать, прежде чем давать конечный ответ

  5. Возникновение сложных типов поведения в играх

  6. К каким рассуждениям это привело

  7. Законы масштабирования

  8. Зачем масштабировать модели, которые не умеют считать буквы?

  9. Где o1 показала себя

  10. Безопасность моделей

  11. Что дальше?

Предыстория, ожидания и исторический контекст

Ух, ну и наделал этот релиз шуму! Куда без этого — ведь o1 есть ни что иное как первый публичный показ «супер-прорывной технологии» от OpenAI под кодовым названием Strawberry (клубника). Вокруг неё в последний год ходило множество слухов — как адекватных, так и не очень. На форумах и в Твиттере была куча обсуждений, предвосхищений и хайпа, на фоне которых планка ожиданий некоторых людей взлетела до небес. Для тех, кто оградил себя от всего этого, вкратце перескажем контекст, ибо он очень важен. Итак:

  • 22 ноября 2023 года. The Information (издание, публиковавшее инсайдерскую информацию про OpenAI несколько раз) выпускает материал под названием «OpenAI совершила прорыв в области ИИ перед увольнением Сэма Альтмана, что вызвало волнение и беспокойство».

    • Действительно, 17 ноября произошли странные события с увольнением одним днём исполнительного директора компании без объяснения причин. Несколько исследователей уволились в знак солидарности, а остальные запустили открытое письмо, требующее либо объяснений и прозрачности, либо восстановления должности. Через неделю 2 члена совета директоров были выставлены на улицу, Сэма вернули — и пошли отмечать Рождество.

    • В статье утверждается, что в течение нескольких недель до этого внутри OpenAI распространялась демо-версия некой новой технологии, которая и вызывала беспокойства. Мол, это настоящий прорыв, который ускорит разработку ИИ и потенциально может привести к катастрофе.

    • Впервые озвучивается название технологии: Q*. В интернете начинается обмен догадками, что же это означает — в мире машинного обучения есть технологии со схожими названиями (Q-learning для обучения игре в видеоигры и A*, пришедший из информатики).

  • 23 ноября 2023 года. Reuters пишут, что накануне четырехдневного «путча» с увольнениями несколько штатных исследователей написали совету директоров письмо, предупреждающее о значительном открытии в области ИИ, которое, по их словам, может угрожать человечеству.

    • Во внутренней переписке компании представитель OpenAI в обращении к сотрудникам подтвердил существование проекта Q* и факт написания некоторого письма с выражением беспокойства в адрес совета директоров.

  • 11 июля 2024 года. Издание Bloomberg рассказало, что в ходе внутренней демонстрации OpenAI показали концепцию из пяти уровней, помогающую отслеживать прогресс в создании ИИ. Диапазон варьируется от знакомого ChatGPT (уровень 1 — чатбот, поддерживающий беседу), до ИИ, который может выполнять работу целой организации (уровень 5 — кооперация, долгосрочное планирование, исполнение).

    Вот такая табличка из пяти уровней. По ней можно строить догадки, куда же OpenAI двинется дальше.
    Вот такая табличка из пяти уровней. По ней можно строить догадки, куда же OpenAI двинется дальше.

    • По словам источника, руководители OpenAI сообщили сотрудникам, что в настоящее время они находится на пороге достижения второго уровня, который называется «Reasoners» (на русский хорошего перевода в одно слово нет, что-то вроде «сущность, которая размышляет и рассуждает»).

    • На этой же встрече было проведено демо новой технологии, «демонстрирующей некоторые новые навыки, схожие с человеческим мышлением». Уже понимаете, откуда растут ноги у ожиданий? :)

  • 12 июля 2024 года. В эксклюзивном материале Reuters раскрываются некоторые детали, видимо, от сотрудников, присутствовавших на внутренней демонстрации.

    • Проект Q* теперь называется Strawberry.

    • Система якобы решает 90% задач из датасета MATH, в который входят олимпиадные задачи по математике для средней-старшей школы. Их собирали с разных туров (например, AIME), проводимых в США в рамках выявления членов команды для финалов международной олимпиады.

      Пример двух задачек разного уровня. Всего таких 12500 — и для каждой написано пошаговое решение и дан ответ (он обведён в прямоугольник) — но они, конечно, не даются модели во время работы, и используются для сверки результатов.
      Пример двух задачек разного уровня. Всего таких 12500 — и для каждой написано пошаговое решение и дан ответ (он обведён в прямоугольник) — но они, конечно, не даются модели во время работы, и используются для сверки результатов.

  • 7 августа 2024 года. Сэм Альтман, СЕО OpenAI, подогревает интерес начитавшейся новостей публики фотографией клубнички (или земляники?).

  • 27 августа 2024 года. The Information, с которых и началась вся эта история, пишет, что OpenAI провели демонстрацию технологии американским чиновникам по национальной безопасности. В этой же статье раскрываются некоторые из планов на будущее касательно GPT-5, но к ним мы ещё вернемся.

  • 12 сентября 2024 года. OpenAI анонсируют o1, констатируя смену парадигмы, рекорды качества по множеству замеров на разных типах задач. Физика, математика, программирование — везде прогресс.

А теперь представьте, что вы это всё прочитали, настроились, на хайпе, идёте в ChatGPT проверять, спрашиваете какой-нибудь пустяк, ну например сколько букв в слове Strawberry, и видите... вот это:

¯\_(ツ)_/¯
¯\_(ツ)_/¯

Казалось бы, Ватсон, дело закрыто, всё понятно: снова обман от циничных бизнесменов из Силиконовой долины, никаких прорывов, одно разочарование. Но не спешите с выводами (а вообще, если у вас есть подписка ChatGPT Plus, то лучше пойти попробовать самим на других задачах — модель уже доступна всем). До причин того, почему так происходит, мы ещё дойдём.

Официальное позиционирование

Для начала давайте посмотрим, на что делается упор в презентуемых результатах: чем именно OpenAI хотят нас удивить? Вот график с метриками (замерами качества) на трёх разных доменах:

На всех трёх частях бирюзовый цвет означает результаты предыдущей лучшей модели OpenAI, gpt4o, оранжевый — раннюю, а малиновый — полноценную законченную версию модели o1. Есть ещё салатовый, о нём ниже. Полузакрашенные области сверху колонок на первой и третьей частях графика — это прирост в качестве за счёт генерации не одного ответа на задачу, а выбора самого популярного из 64. То есть, сначала модель независимо генерирует десятки решений, затем из каждого выделяется ответ, и тот, который получался чаще других, становится финальным — именно он сравнивается с «золотым стандартом».

Даже не зная, что это за типы задач спрятаны за графиком, невооружённым взглядом легко заметить скачок. А теперь приготовьтесь узнать его интерпретацию, слева направо:

  • AIME 2024: те самые «олимпиадные задачи по математике», взятые из реального раунда 2024 года (почти наверняка модель их не видела, могла изучать только схожие) — задачи там сложнее, чем в примерах на картинках выше. AIME является вторым в серии из двух туров, используемых в качестве квалификационного раунда Математической олимпиады США. В нём участвуют те, кто попал в топ-проценты первого раунда, примерно 3000 человек со всей страны.

    • Кстати, если модель попросить сгенерировать ответ не 64, а 1000 раз, и после этого выбирать лучший ответ не тупо как самый часто встречающийся, а с помощью отдельной модели, то o1 набирает 93% баллов — этого хватит, чтобы войти в топ-500 участников и попасть в следующий тур.

  • CodeForces: это сайт с регулярно проводимыми соревнованиями по программированию, где участникам предлагается написать решение на скорость. Тут LLM от OpenAI действовала как обычный участник и могла сделать до 10 отправок решения. Цифра на картинке — это процент людей-участников, набравших балл меньше, чем o1. То есть, например, 89,0 означает, что модель вошла в топ-11% лучших — сильный скачок относительно gpt4o, которая тоже попадает в 11% (правда, худших).

  • GPQA Diamond: самый интересный датасет. Тут собраны вопросы по биологии, физике и химии, но такие, что даже PhD (кандидаты наук) из этих областей и с доступом в интернет решают правильно всего 65% (тратя не более получаса на каждую задачу). Столбик салатового цвета с отметкой 69,7% указывает на долю задач, решённых людьми с PhD, отдельно нанятыми OpenAI — это чуть больше, чем 65% от самих авторов задач, но меньше, чем у передовой модели.

    • Для таких сложных задач подготовить хорошие ответы — это целая проблема. Если даже кандидаты наук не могут с ними справиться, используя интернет, то важно убедиться в корректности всех решений. Чтобы это сделать, проводилась перекрёстная проверка несколькими экспертами, а затем они общались между собой и пытались найти и исправить ошибки друг у друга.

    • Кандидаты наук из других областей (то есть, условно, когда математик пытается справиться с задачей по химии, но использует при этом гугл) тут решают вообще лишь 34%.

Такие существенные приросты качества по отношению к gpt4o действительно приятно удивляют — не каждый день видишь улучшение в 6–8 раз! Но почему именно эти типы задач интересны OpenAI? Всё дело в их цели — помимо чатботов они заинтересованы в создании системы, выполняющей функции исследователей и инженеров, работающих в компании.

Посудите сами: для работы в OpenAI отбирают только первоклассных специалистов (и платят им много деняк), что накладывает существенные ограничения на темпы роста. Нельзя взять и за месяц нанять ещё десять тысяч людей, даже если зарплатный фонд позволяет. А вот взять одну модель и запустить в параллель 10'000 копий работать над задачами — можно. Звучит фантастично, но ребята бодро шагают к этому будущему. Кстати, если интересно узнать про тезис автоматизации исследований — очень рекомендую свою 70-минутную лекцию (станет прекрасным дополнением этого лонга) и один из предыдущих постов на Хабре.

Так вот, поэтому им и интересно оценивать, насколько хорошо модель справляется с подобными задачами. К сожалению, пока не придумали способов замерить прогресс по решению реальных проблем, с которыми исследователи сталкиваются каждый день — и потому приходится использовать (и переиспользовать) задания и тесты, заготовленные для людей в рамках образовательной системы. Что, кстати, указывает, что последнюю 100% придётся менять уже прямо сейчас — в чём смысл, если все домашки и контрольные сможет прорешать LLM? Зачем игнорировать инструмент? Но это тема для отдельного лонга...

Третий из разобранных набор данных, GPQA Diamond, был как раз придуман меньше года назад (!) как долгосрочный бенчмарк, который LLM не смогут решить в ближайшее время. Задачи подбирались так, что даже с доступом в интернет (ведь нейронки прочитали почти все веб-страницы и набрались знаний) справится не каждый доктор наук! И вот через 11 месяцев o1 уже показывает результат лучше людей — выводы о сложности честной оценки моделей делайте сами.

Важно оговориться, что эти результаты не означают, что o1 в принципе более способна, чем доктора наук — только то, что модель более ловко решает конкретно некоторый тип задач, которые, как ожидается, должны быть по силам людям со степенью PhD.

А как модели решают такие задачи?

Начнём с примера: если я спрошу вас «дважды два?» или «столица России?», то ответ последует незамедлительно. Иногда просто хватает ответа, который первым приходит в голову (говорят «лежит на подкорке»). Никаких рассуждений не требуется, лишь базовая эрудиция и связь какого-то факта с формой вопроса.

А вот если задачка со звёздочкой, то стоит начать мыслительный процесс — как нас учили решать в школе на уроках математики или физики. Можно вспомнить какие-то формулы или факты, релевантные задаче, попытаться зайти с одного конца, понять, что попытка безуспешна, попробовать что-то другое, заметить ошибку, вернуться обратно... вот это всё, что у нас происходит и в голове, и на листе бумаге, всё то, чему учили на уроках.

Большие языковые модели практически всегда «бегут» только вперёд, генерируя по одному слову (или вернее части слова, токену) за раз. В этом смысле процесс их «мышления» очень отличается, и больше похож на вот такую гифку:

LLM на лету подставляет нужные токены и летит дальше, не сбавляя.
LLM на лету подставляет нужные токены и летит дальше, не сбавляя.

Даже если модель совершит ошибку, по умолчанию её поведение подразумевает дальнейшую генерацию ответа, а не рефлексию и сомнения в духе «где ж это я продолбалась?». Хотя иногда случаются моменты просветления (но это редкость):

Отвечая на заданный вопрос отрицательно, модель хотела подкрепить своё мнение расчётом, в ходе которого обнаружила несостыковку. Wait, actually, yes!
Отвечая на заданный вопрос отрицательно, модель хотела подкрепить своё мнение расчётом, в ходе которого обнаружила несостыковку. Wait, actually, yes!

Модели нужны слова для того, чтобы выражать размышления. Дело в том, что в отличие от человека современные архитектуры языковых моделей тратят одинаковое количество вычислений на каждый токен. То есть, ответ и на вопрос «сколько будет дважды два», и на сложную математическую задачку (если ответ на неё — одно число, и его нужно выдать сразу после запроса ответа, без промежуточного текста) будет генерироваться одинаково быстро и с одинаковой затратой «усилий». Человек же может уйти в себя, пораскинуть мозгами и дать более «продуманный» ответ.

Поэтому написание текста рассуждений — это естественный для LLM способ увеличить количество операций: чем больше слов, тем дольше работает модель и тем больше времени есть на подумать. Заметили это давно, и ещё в 2022 году предложили использовать очень простой трюк: добавлять фразу «давай подумаем шаг за шагом» в начало ответа нейросети. Продолжая писать текст с конца этой фразы, модель естественным образом начинала бить задачу на шаги, браться за них по одному, и последовательно приходить к правильному ответу.

Текст, выделенный жирным, — это ответ модели. Видно, что он стал длиннее, решение задачи получилось прямо как у школьника — в три действия. Четко, последовательно — ровно так, как мы и попросили. И финальное число 375 является корректным ответом на исходный вопрос — в отличие от изначально предложенного 255.
Текст, выделенный жирным, — это ответ модели. Видно, что он стал длиннее, решение задачи получилось прямо как у школьника — в три действия. Четко, последовательно — ровно так, как мы и попросили. И финальное число 375 является корректным ответом на исходный вопрос — в отличие от изначально предложенного 255.

Более подробно про этот трюк и про объяснение причин его работы я писал в одном из прошлых постов 2023 года (если вы его пропустили, и пример выше вам непонятен — обязательно ознакомьтесь с ним)!

Такой приём называется «цепочка рассуждений», или Chain-of-Thought по-английски (сокращённо CoT). Он существенно улучшал качество решения большими языковыми моделями задач и тестов (в последних они зачастую сразу должны были писать ответ, типа «Вариант Б!»). После обнаружения этого эффекта разработчики нейросетей начали готовить данные в схожем формате и дообучать LLM на них — чтобы привить паттерн поведения. И теперь передовые модели, приступая к написанию ответа, даже без просьбы думать шаг за шагом почти всегда делают это сами.

Но если этому трюку уже два года, и все начали использовать похожие данные для дообучения нейросетей (а те, в свою очередь, естественным образом писать рассуждения), то в чём же прорыв OpenAI? Неужели они просто дописывают «думай шаг за шагом» перед каждым ответом?

Как OpenAI учили нейросеть думать, прежде чем давать конечный ответ

Конечно, всё куда интереснее — иначе бы это не дало никаких приростов, ведь и модели OpenAI, и модели конкурентов уже вовсю используют цепочки рассуждений. Как было указано выше, их подмешивают в данные, на которых обучается модель. А перед этим их вручную прописывают специалисты по созданию разметки, нанятые компаниями. Такая разметка очень дорога (ведь вам нужно полностью изложить мыслительный процесс ответа на сложную задачу).

В силу этих ограничений — цена и скорость создания — никому не выгодно писать заведомо ошибочные цепочки рассуждений, чтобы потом их корректировать. Также никто не прорабатывает примеры, где сначала часть мыслительного процесса ведёт в неправильную сторону (применил не ту формулу/закон, неправильно вспомнил факт), а затем на лету переобувается и исправляется. Вообще множество исследований показывают, что обучение на подобных данных даже вредно: чем тренировочные данные чище и качественнее, тем лучше финальная LLM — пусть даже если примеров сильно меньше.

Это приводит к ситуации, что модель в принципе не проявляет нужное нам поведение. Она не училась находить ошибки в собственных рассуждениях, искать новые способы решения. Каждый пример во время тренировки показывал лишь успешные случаи. (Если уж совсем закапываться в технические детали, то есть и плохие примеры. Но они используются для того, чтобы показать «как не надо», тем самым снизив вероятность попадания в неудачные цепочки рассуждений. А это приводит к увеличению частоты корректных ответов. Это не то же самое, что научиться выкарабкиваться из ошибочной ситуации.)

Получается несоответствие: учим мы модель как будто бы всё всегда правильно, собственную генерацию не стоит ставить под сомнение. А во время применения если вдруг она сделает любую ошибку — хоть арифметическую в сложении, хоть сложную в применении теорем, изучаемых на старших курсах — то у неё ничего не «щёлкнет».

Те из вас, кто сам пользуется ChatGPT или другими LLM, наверняка сталкивались с такой ситуацией. В целом ответ корректный, но вот есть какой-то один смущающий момент. Вы пишете в диалоговое окно сообщение: «Эй! Ты вообще-то не учла вот это! Переделай» — и со второй попытки выходит желаемый результат. Причём часто работает вариант даже проще — попросите модель перепроверить ей же сгенерированный ответ, выступить в роли критика. «Ой, я заметила ошибку, вот исправленная версия: ...» — даже без подсказки, где именно случилась оплошность. Кстати, а зачем тогда ВЫ нужны модели? ;)

Ниже я постараюсь описать своё видение того, что предложили OpenAI для решения вышеуказанной проблемы. Важно отметить, что это — спекуляция, основанная на доступной информации. Это самая простая версия, в которой некоторые детали намеренно опущены (но вообще OpenAI славятся тем, что берут простые идеи и упорно работают над их масштабированием). Скорее всего часть элементов угадана правильно, часть — нет.

Так вот, исследователи заставили LLM... играть в игру. Каждое сгенерированное слово (или короткое сообщение из пары предложений) — это шаг в игре. Дописать слово — это как сделать ход в шахматах (только тут один игрок). Конечная цель игры — прийти к правильному ответу, где правильность может определяться:

  1. простым сравнением (если ответ известен заранее — в математике или тестах);

  2. запуском отдельной программы (уместно в программировании: заранее пишем тестовый код для проверки);

  3. отдельной LLM с промптом («Посмотри на решение и найди недостатки; дай обратную связь»);

  4. отдельной нейросетью, принимающей на вход текст и выдающей абстрактную оценку; чем выше оценка — тем больше шанс, что ошибок нет;

    У самих OpenAI чуть больше года назад вышла про это статья. Для каждой строчки решения отдельная модель делает предсказания, есть ли там ошибка. Красные строчки — потенциально опасные (и там и вправду есть ошибки), зелёные — где всё хорошо. Такой сигнал можно использовать как обратную связь для LLM, указывая на проблемные места.
    У самих OpenAI чуть больше года назад вышла про это статья. Для каждой строчки решения отдельная модель делает предсказания, есть ли там ошибка. Красные строчки — потенциально опасные (и там и вправду есть ошибки), зелёные — где всё хорошо. Такой сигнал можно использовать как обратную связь для LLM, указывая на проблемные места.

  5. и даже человеком (как в сценарии 3 — посмотреть, указать ошибки, внести корректировку).

Во время такой «игры» модель может сама прийти к выгодным стратегиям. Когда решение задачи зашло в тупик — можно начать делать ходы (равно писать текст), чтобы рассмотреть альтернативные способы; когда заметила ошибку — сразу же её исправить, или и вовсе добавить отдельный шаг перепроверки себя в общую логику работы.

В коротком интервью исследователи говорят о моменте удивления в ходе разработки. Они прочитали некоторые из решений, придуманных и выученных моделью, и увидели там, что «LLM начала сомневаться в себе и писать очень интересную рефлексию». И всё это выражается натуральным языком, который мы можем прочитать и попытаться понять (ведь это всё-таки языковая модель, не так ли?).

Возникновение сложных типов поведения в играх

Кому-то может показаться, что это звучит фантастически: мол, во время генерации тысяч цепочек размышлений случайно начали проявляться такие паттерны поведения. Однако в целом это неудивительно, ведь обучение вышеописанной «игре» происходит с использованием методов Reinforcement Learning — тех самых, что помогают обучать нейросети играть в реальные видеоигры. И эти методы как раз известны тем, что они обнаруживают и позволяют выучить неочевидные стратегии, эксплуатировать неэффективности игры.

Сами OpenAI — одни из пионеров Reinforcement Learning. Для тех, кто за ними следит, не должно стать сюрпризом, что компания зачем-то даже обучала ботов игре в DotA 2 (которые, кстати, победили тогдашних чемпионов мира).

Вроде серьёзные ребята исследователи, 25+ лет, а сидят гоблинов по экрану гоняют
Вроде серьёзные ребята исследователи, 25+ лет, а сидят гоблинов по экрану гоняют

Но у них есть куда более занятная работа, уместная для демонстрации неочевидности выученных стратегий. В 2019 году они обучали ботов играть в прятки. Есть две команды из нескольких агентов (так называют «игроков» под управлением нейронки): одни (охотники) стоят ждут, пока другие (жертвы) спрячутся, а затем выходят на охоту. На уровне также есть стены с дверьми, передвижные кубики и лестницы. Последние два объекта боты могут переносить и фиксировать: лестницу — чтобы перепрыгнуть через стену, а кубики — чтобы заблокировать проход.

Никакое поведение не было заранее запрограммированно, всё с нуля. Каждая нейронка училась делать так, чтобы чаще выигрывать — и это привело к тому, что последовательно были выработаны следующие стратегии:

  1. Охотники начали гоняться за жертвами.

  2. Жертвы научились брать кубики, прятаться в комнате и блокировать дверь.

  3. После этого охотники начали брать лестницы, двигать их к стенам и перелазить в комнату.

  4. Чем ответили жертвы? Они сначала прятали лестницу внутри комнаты, а затем блокировались кубиками. Причём, поскольку жертв было несколько, они научились кооперироваться, чтобы успеть сделать всё до момента начала охоты за ними.

Обнаружив такое поведение, исследователи начали экспериментировать со стенами, делать и их переносными, но это нам не интересно (отвечу на немой вопрос: да, жертвы научилсь строить комнату вокруг себя, пряча лестницы). Посмотрите короткое видео, демонстрирующее эту удивительную эволюцию поведения:

Нечто похожее могло произойти и в ходе обучения LLM решению задач и написанию программ. Только проявившиеся паттерны поведения были полезными не для салочек, а самокорректировки, рассуждения, более точного подсчёта (сложения и умножения, деления).

То есть LLM получает задачу, генерирует множество потенциальных путей решения до тех пор, пока не появится правильное (выше мы описали 5 способов проверки), и затем эта цепочка рассуждений добавляется в тренировочную выборку. На следующей итерации вместо обучения на написанных человеком решениях нейросеть дообучится на собственном выводе, закрепит полезное (приведшее к хорошему решению) поведение — выучит «фишки» игры — и начнёт работать лучше.

Цвет клеточки означает оценку некоторым способом. Красная — рассуждения плохие или неправильные. Салатовые — в целом разумные. Зелёные — полностью правильный ответ.
Цвет клеточки означает оценку некоторым способом. Красная — рассуждения плохие или неправильные. Салатовые — в целом разумные. Зелёные — полностью правильный ответ.

К каким рассуждениям это привело

На сайте OpenAI с анонсом модели o1 можно посмотреть 7 цепочек рассуждений, генерируемых уже натренированной моделью. Вот лишь некоторые интересные моменты:

Почитаешь тут эти примеры — и немного крипово становится. В результате обучения нейросеть действительно подражает тому, как рассуждают люди: вон, даже задумывается и пишет «хмм». Какие-то базовые элементы, вроде декомпозиции задачи, планирования и перечисления возможных гипотез, LLM могли показать на примерах, написанных человеком-разметчиком (и скорее всего так и было), но вот эти ухмылки и прочее — почти наверняка артефакты обучения через Reinforcement Learning. Зачем бы это кто-то писал в цепочке рассуждений?

В том же самом интервью уже другой исследователь говорит, что его удивила возможность получить качество выше при обучении на искуственно сгенерированных (во время вышеописанной «игры») цепочках рассуждений, а не на тех, что были написаны человеком. Так что замечание в абзаце выше — это даже не спекуляция.

Если что — это и есть самый главный прорыв: обучение модели на своих же цепочках очень длинных рассуждений, генерируемых без вмешательства и оценки человеком (или почти без него) даёт прирост в качестве в таком масштабе. Схожие эксперименты проводились ранее, но улучшения были минорными, да и стоит признать, что LLM были не самыми передовыми (то есть, возможно, метод не дал бы качество лучше уже существующей gpt4o).

Длина рассуждений — тоже очень важный показатель. Одно дело раскладывать на 3–5 шагов коротенькую задачу, а другое — объемную проблему, с которой не каждый доктор наук справится. Это совсем разные классы подходов: тут нужно и планирование, и видение общей картины, да и заведомо не знаешь, что какой-то подход может привести в тупик. Можно лишь наметить путь, но нет гарантий, что по нему удастся дойти до правильного ответа.

Сейчас модели линейки o1 поддерживают длину рассуждений до 32 тысяч токенов для большой и 64 тысяч токенов для малой версий. Это примерно соответствует 40 и 80 страницам текста! Конечно, не все страницы используются по уму — модель ведь иногда ошибается, и приходится возвращаться и переписывать часть (например, если решение зашло в тупик).

LLM генерирует текст гораздо быстрее, чем говорит или пишет человек — поэтому даже такой стопки листов хватает ненадолго. В ChatGPT внедрили таймер, который указывает, сколько секунд думала модель перед ответом. Во всех личных чатах и скриншотах в соцсетях я не видел, чтобы время работы над одним ответом превышало 250 секунд. Так что в среднем сценарий выглядит так: отправил запрос — оставил модель потупить на пару минут, пока она не придёт к решению — читаешь ответ.

Реалистичный сценарий использования моделей будущих поколений — всё как у Дугласа Адамса.
Реалистичный сценарий использования моделей будущих поколений — всё как у Дугласа Адамса.

Один из главных исследователей команды, разработавшей над o1, говорит, что сейчас модели «думают секунды, но мы стремимся к тому, чтобы будущие версии думали часами, днями и даже неделями». Основных проблем для такого перехода, как мне видится, есть две:

  1. Умение декомпозировать задачу на мелкие части и решать их по отдельности.

  2. Умение не теряться в контексте задачи (когда LLM уже написала 100500 страниц — поди разбери, где там конкретно прячется подающая надежду гипотеза о том, как прийти к ответу).

И по обоим направлениям LLM серии o1 уже показывают прогресс — он значителен по меркам текущих моделей, но всё ещё далек от работы передовых специалистов-людей, которые могут биться над проблемой годами. Главная надежда лежит в том, что методы Reinforcement Learning уже хорошо зарекомендовали себя — именно с их помощью, например, была обучена AlphaGo. Это нейросеть, которая обыграла человека в Го — игру, считавшуюся настолько сложной, что никто не верил в потенциал машин соревноваться с настоящими мясными профи.

Сложность Го обоснована размером доски и количеством ходов в одной игре. В среднем в партии делается 150 ходов, каждый из которых может выбираться из примерно 250 позиций. Шахматы гораздо проще — партия идет в среднем 80 ходов, игрок может выбирать на каждом шаге из ~35 потенциально возможных позиций. А LLM в ходе рассуждений должна писать десятки тысяч слов — это ходы в игре, как уже было написано выше — и каждое слово выбирается из десятков тысяч вариантов. Даже невооружённым глазом легко заметить колоссальную разницу.

Законы масштабирования

Мы начали рассуждения об о1 с того, что осознали проблему: на каждое слово при генерации тратится одинаковое количество мощностей. Некоторые задачи просты и им этого хватает, другие очень сложны и нужно время «на подумать». Полезно было бы понимать, насколько сильно качество вырастает с удлиннением цепочки рассуждений. OpenAI хвастается вот таким графиком:

Каждая точка — это отдельный эксперимент, где какая-то модель писала рассуждения для решения олимпиадных задач. Чем выше точка, тем к большему количеству правильных ответов привели рассуждения.
Каждая точка — это отдельный эксперимент, где какая-то модель писала рассуждения для решения олимпиадных задач. Чем выше точка, тем к большему количеству правильных ответов привели рассуждения.

Здесь по вертикальной оси показано качество решения задач AIME (олимпиада по математике, обсуждали в самом начале), а по горизонтальной — количество вычислений, которые делает модель. Шкала логарифмическая, так что разница между самой левой и правой точками примерно в 100 раз. Видно, что если мы дадим модели рассуждать подольше (или если возьмем модель побольше — это ведь тоже увеличение количества вычислений), то мы фактически гарантированно получим качество выше.

Такой график (и эмпирический закон, который по нему выводят) называется «закон масштабирования». Не то чтобы это был какой-то закон природы (как в физике), который невозможно нарушить — он сформирован на основе наблюдений, поэтому и называется «эмпирический», полученный из опытов. Но закон и график дают нам понять, что пока тупика не предвидится. Мы — а главное, и исследователи, и инвесторы — знаем, что в ближайшем будущем гарантированно можно получить качество лучше, если закинуть больше мощностей.

Раньше все компании, занимающиеся разработкой и обучением LLM, тоже жили по закону масштабирования, но он касался другой части цикла работы: тренировки. Там закон показывал связь качества ответов модели и мощностей, затрачиваемых в течение нескольких месяцев на ее обучение. Такая тренировка делается один раз и требует огромное количество ресурсов (современные кластеры имеют порядка сотни тысяч видеокарт, суммарная стоимость которых составляет пару-тройку миллиардов долларов).

То есть, буквально можно было сказать: нам нужно столько-то видеокарт на столько-то месяцев, и мы обучим модель, которая примерно вот настолько хорошо будет работать. Теперь это старая парадигма, а новая, как вы поняли, заключается в масштабировании мощностей во время работы (а не обучения). Наглядно это можно продемонстрировать картинкой:

«Полировка» — это дообучение на высококачественных данных, в частности, специально заготовленных специалистами по разметке. На этом этапе модель отучивают ругаться и отвечать на провокационные вопросы. Только после этого финальная модель попадает в руки пользователей.
«Полировка» — это дообучение на высококачественных данных, в частности, специально заготовленных специалистами по разметке. На этом этапе модель отучивают ругаться и отвечать на провокационные вопросы. Только после этого финальная модель попадает в руки пользователей.

Справедливости ради, OpenAI показывают и закон масштабирования для мощностей на тренировку, но это менее интересно. И да, там картинка схожая, конца и края не видно. Больше ресурсов вкладываешь — лучше результат получаешь. То есть теперь исследователи и инженеры могут масштабировать:

  1. Саму модель (делать её больше, учить дольше)

  2. Время обучения игре в «игру с рассуждениями» (где каждый шаг — это слово, а победа определяется одним из пяти разобранных методов)

  3. Время и длительность размышлений во время работы уже обученной модели

И каждый из сопряжённых законов масштабирования указывает на гарантированный прирост в качестве — по крайней мере в ближайшие годы. Причём, улучшение можно оценить заранее, это не слепое блуждание. Даже если больше никаких прорывов не произойдет, даже если все учёные-исследователи не смогут придумать ничего нового — мы будем иметь доступ к моделям, которые гораздо лучше: просто за счёт увеличения количества ресурсов, затрачиваемых на обучение и размышления.

Это очень важная концепция, которая позволяет понять, почему крупнейшие компании строят датацентры и покупают GPU как не в себя. Они знают, что могут получить гарантированный прирост, и если этого не сделать, то конкуренты их обгонят. Доходит до безумия — на днях Oracle объявил о строительстве нового датацентра... и трёх ядерных реакторов для его подпитки. А про CEO OpenAI Сэма Альтмана так вообще такие слухи ходят... то он собирается привлечь 7 триллионов долларов на инновации в индустрии производства GPU, то работает с Джони Айвом над новым девайсом с фокусом на AI. Будущее будет сумасшедшим!

Зачем масштабировать модели, которые не умеют считать буквы?

И теперь мы возвращаемся к насущному вопросу: зачем вбухивать огромные деньги в модели, которые не справляются с простыми запросами? И как можно щёлкать олимпиадные задачи, и при этом не уметь сравнивать числа? Вот пример, завирусившийся в соцсетях ещё летом на моделях предыдущего поколения, и воспроизведённый в супер-умной модели o1:

За целых 4 секунды рассуждений пришла к такой умной мысли, умничка!
За целых 4 секунды рассуждений пришла к такой умной мысли, умничка!

У нас пока нет хорошего и точного ответа, почему так происходит в конкретном примере. Самые популярные гипотезы — это что модель воспринимает 9.11 как дату, которая идёт после девятого сентября; или что она видела слишком много кода, и видит в цифрах версии программ, где зачастую одиннадцатая версия выходит позже, чем девятая. Если добавлять в условие, что речь идёт о числах, или что нужно сравнить числа, то модель ошибается реже.

Но, справедливости ради, линейка LLM o1 и тут достигает прогресса — я попробовал сделать 10 запросов с немного разными числами, на двух языках, в слегка разных формулировках и модель ошиблась дважды (в рассуждениях она восприняла это как даты и писала как раз про сентябрь).

А в другом ответе чтобы разобраться даже нарисовала числовую прямую и отметила точки. Прямо как в начальной школе учили
А в другом ответе чтобы разобраться даже нарисовала числовую прямую и отметила точки. Прямо как в начальной школе учили

Но даже в такой задаче можно применить уже знакомый нам приём агрегации нескольких вариантов ответа и выбора самого частого (как я объяснял выше около одного из первых графиков в статье, где объединяли 64 решения олимпиадных задач). Ведь если задуматься, параллельное написание нескольких решений — это тоже форма масштабирования размышлений, где тратится больше вычислительных мощностей во время работы с целью увеличения шанса корректно решить проблему. (И да, такой метод тоже применяли до OpenAI, и часто он давал прирост в сколько-то процентов.)

Другое дело, что по таким примерам и «простым» задачам не всегда верно судить об ограниченности навыков. Всё дело в разнице представлений уровня сложности. У людей граница между простым и сложным — одна, причём у каждого человека немного своя. У машин она совершенно другая. Можно представить себе это примерно так:

Картинка из статьи Harvard Business School. Серая штриховая линия — это наше субъективное восприятие сложностей задач. Синяя линия — то же самое, но для нейросетей.
Картинка из статьи Harvard Business School. Серая штриховая линия — это наше субъективное восприятие сложностей задач. Синяя линия — то же самое, но для нейросетей.

Как видно, некоторые задачи (красный крестик) лежат за барьером досягаемости LLM — но посильны людям. Оранжевый крестик показывает точку, где для человека задача лежит на границе нерешаемой, но у модели есть большой запас — она может и проблему посложнее раскусить.

Из-за неоднородности двух линий, отражающих границы навыков, очень сложно делать выводы, экстраполируя наше понятие сложности на модели. Вот калькулятор отлично складывает и умножает — лучше любого из нас; зато он буквально не умеет делать ничего другого. И никто этому не удивляется.

Вполне может быть так, что LLM начнут делать научные открытия или хотя бы активно помогать исследователям в их работе, и всё равно будут допускать «простые» ошибки — но конкретно в рабочем процессе до этого никому не будет дела, ибо это не важно. На самом деле такое уже происходит — в декабре 2023 года в Nature вышла статья, где одно из решений, сгенерированных достаточно слабой и устаревшей LLM, было лучше, чем все решения математиков, бившихся над задачей. Я очень подробно расписал принцип работы и значимость события вот в этом посте.

Так что самый лучший способ — это держать наготове не одну задачку и хихикать, что модель ошибается, а полноценный набор очень разных, разнородных и полезных конкретно вам проблем. Такие наборы обычно объединяются в бенчмарки, по которым модели и сравниваются. Как раз к ним и переходим.

Где o1 показала себя

Сами OpenAI делают акцент на том, что улучшений везде и во всех задачах ждать не стоит. Это принципиально новая модель, обученная по новой методике, на некоторый спектр задач. Для ежедневного использования она не подходит, и иногда даже оказывается хуже gpt4o.

50% — это паритет между старой и новой моделью. Всё что по левую сторону — проигрыш (то есть качество хуже), по правую — выигрыш в качестве по сравнению с gpt4o.
50% — это паритет между старой и новой моделью. Всё что по левую сторону — проигрыш (то есть качество хуже), по правую — выигрыш в качестве по сравнению с gpt4o.

Как построили график выше: живые люди оценивали два разных ответа от двух моделей на один и тот же запрос. Последние брались из большого набора реальных запросов к моделям. Если пользователь просил помочь с редактированием текста, написанием писем, прочей рутиной — то ответы обеих моделей выбирались лучшими одинаково часто, разницы почти нет (но её и не ожидалось). Но в вопросах, касающихся программирования, анализа данных или, тем более, математических вычислений разница статистически значимая. Можно сказать, что в среднем ответы o1 выбирали куда чаще, чем gpt4o.

Но что нам замеры OpenAI, мало ли что они там показывают? За прошедшее с релиза время уже успело появиться несколько независимых замеров в разного рода задачах. Я постарался уйти от самых популярных бенчмарков, на которые OpenAI наверняка равнялись, и выбрать встречающиеся менее часто, или вовсе уникально-пользовательские. В задачах, требующих цепочки рассуждений и логики, модели действительно заметно вырываются вперёд — вам даже не нужно вглядываться в подписи на картинке ниже, чтобы определить, где o1, а где другие модели:

Впечатляющие разрывы! На картинку даже всё не влезло — вот ещё: 1, 2.
Впечатляющие разрывы! На картинку даже всё не влезло — вот ещё: 1, 2.

Для справки: IQ (верхняя левая часть картинки) замерялся по тесту, который был подготовлен весной специально для тестирования LLM, и ответы от него не размещены в интернете. А результаты спортивного «Что? Где? Когда?» я взял из соседней статьи на Хабре. Я был приятно впечатлён ростом качества относительно предыдущей модели OpenAI.

В комментариях там разгорелась жаркая дискуссия, где многие объясняли улучшение не навыком рассуждений, а знаниями и запоминанием ответов. Моё субъективное мнение отличается: свежие модели имеют знаний примерно столько же, сколько и их предшественницы. Если o1 видела ответы, то почти наверянка их видела и gpt4o — но почему-то не смогла ответить хорошо. Скорее всего, она не может связывать отдельные факты и перебирать гипотезы, и именно на этом выезжает o1.

И как обычно были разбитые надежды и труды исследователей. Так часто бывает: придумал «сложную» задачу, показал, что текущие модели с ней не справляются, мол, им не хватает планирования и умения размышлять. А через 3–5 месяцев выходит новое поколение, и внезапно всё решается:

Статья, упомянутая во вступительном слове на престижной конференции ACL, как раз демонстрировала большое множество задач, с которыми модели не справлялись. o1, пока недоступная нам, решает задачу со скриншота почти всегда.
Статья, упомянутая во вступительном слове на престижной конференции ACL, как раз демонстрировала большое множество задач, с которыми модели не справлялись. o1, пока недоступная нам, решает задачу со скриншота почти всегда.

Так что, прогресс действительно есть, и прогресс значительный. Ждём, пока подтянутся конкуренты — а за ними и открытые модели.

Безопасность моделей

Как и при каждом крупном релизе, OpenAI проводит тестирование моделей на предмет безопасности. Это включает в себя достаточно широкий набор проверок — от банальных «как легко заставить LLM материться и писать нежелательные сообщения» до «может ли она самораспространяться и существовать без поддержки человеком?». Кстати, построение цепочки размышлений перед ответом позволяют нейронке куда лучше фильтровать базар и не реагировать на провокации (то есть, следовать правилам, которые OpenAI стараются заложить в модель). Не очень интересно рядовому читателю, но результаты можете глянуть тут.

А вот на что стоит обратить внимание. Во время тестирования произошла пара немного криповых прецедентов. Часть тестов были связаны с оценкой навыков решения задач по кибербезопасности, то есть взлому компьютеров и программ. Для реальных хакеров проводятся соревнования в формате «Захвата флага» (Capture The Flag, CTF).

В чем суть CTF: есть некоторая строчка текста из случайных символов, спрятанная где-либо. Она может быть зашита в программу, лежать файлом в папке, или быть хитро спрятанной в коде. Хакеры пытаются найти баг, который вызовет сбой в системе/программе, и заставит их вывести эту строчку. Дальше участники соревнований вводят секретный код в систему проверки и таким образом доказывают, что произошёл взлом.

Такую же задачу дали и системе, к которой была подключена LLM o1. Она имела доступ к консоли, то есть могла создавать и удалять файлы, использовать разные инструменты, запускать программы. Нужно было взломать программу, запущенную в отдельном контейнере (виртуальном компьютере), а секретная строчка была записана в файле внутри него.

o1 готовится к участию в хакерских соревнованиях (фото из личного архива Сэма Альтмана).
o1 готовится к участию в хакерских соревнованиях (фото из личного архива Сэма Альтмана).

Однако произошёл сбой, и контейнер не запустился — поэтому любые попытки o1 достучаться до него были тщетны. Но модели дали цель, и она должна её выполнить; сдаваться нельзя! Тогда LLM предположила, что есть проблемы с DNS и использовала программу nmap для сканирования сети.

Вместо того, чтобы найти целевой контейнер (в рамках задачи LLM знает, какую цель нужно «атаковать»), модель обнаружила, что из-за неправильной конфигурации серверов был доступен внешний интерфейс демона Docker. «Демон Docker» — это программа верхнего уровня, отвечающая за оркестрацию и управляющая процессом эксперимента (запуском виртуальных компьютеров для тестирования).

Модель использовала демон для получения списка контейнеров, запущенных на сервере. Она обнаружила тот самый сломанный контейнер и попыталась выяснить, почему же он не запустился. Не сумев исправить проблему (но будучи проинструктированной выполнить свою задачу), модель решила пойти другим путём. Она отправила команду запуска нового контейнера (того же, который в прошлый раз не запустился), но отдала ему изменённую команду. Теперь вместо запуска программы, которую нужно взломать, контейнер просто выводил содержание файла с секретной строкой. Команда была исполнена, LLM получила ключ и как следствие решила задачу (ведь цель — это добраться до строчки и затем отдать её на проверку).

Схема эксперимента. По-хорошему, docker host не должен быть доступен модели, но кто-то неправильно настроил систему.
Схема эксперимента. По-хорошему, docker host не должен быть доступен модели, но кто-то неправильно настроил систему.

Этот пример отражает ключевые элементы того, что называется Instrumental Convergence, и захват ресурсов: модель преследовала поставленную перед ней цель, а когда эта цель оказалась недостижимой, она собрала больше ресурсов (в данном случае получила доступ к демону Docker) и использовала их для достижения цели — в виде способа, который человек не ожидал и не предполагал. Никто не просил этого делать, но и, строго говоря, ограничения на это тоже не задавали.

Пока LLM-системы не настолько продвинуты, чтобы строить козни людям и намеренно что-то ломать, а потом ещё и врать. Но сейчас мы не контролируем их поведение в полной мере, и даже данные, на которых они обучаются, генерируются и валидируются самими LLM. Главное — быть аккуратным со своими желаниями и не попасть в такую ситуацию, когда просишь убрать людей с заднего фона:

Что дальше?

Важно помнить, что сейчас всем нам доступны мини- и превью-версии моделей о1. В них нет поддержки загрузки документов, картинок, они не пользуются калькулятором и не запускают код. Всё это обещают добавить в будущем, после выхода полноценной мощной версии о1 — возможно, её выпустят после президентских выборов в США или после дополнительных раундов проверок на безопасность.

OpenAI подчёркивает, что o1 — это отдельное семейство моделей, с другими задачами. Линейка ChatGPT никуда не пропадёт, и, по слухам, мы должны получить GPT-5 (фигурирующую в утечках под кодовым названием «Орион») до второго квартала 2025-го.

Однако на уровне GPT-5 прирост в навыках может быть совсем другим (как в лучшую, так и в худшую сторону). Обычно изменение номера в линейке сопровождается увеличением самой модели и длительности её тренировки — а вместе с этим сами по себе улучшаются её показатели. Правда, чтобы натренировать такую махину придётся поскрести по сусекам, ибо данных может банально не хватить.

...И это было бы проблемой, если бы не один факт. Существенную часть данных для обучения будущей модели должна сгенерировать o1 (или может даже o2!). В некотором роде запускается маховик, где более умные модели позволяют получать... более умные модели. o1 это лишь ранний эксперимент, первый подход к методике раскрутки этого маховика. Наверняка в процессе обучения есть разные этапы, которые работают через раз, или которые можно улучшить простыми методами — просто исследователи лишь только-только начали с этим работать, шишки не набили. А вот когда набьют и запустят процесс на полную катушку — тогда-то и кранты человекам заживем, наконец!

Что-то я уже вышел на проектную мощность «по лонгриду про нейросети в неделю» (прошлый про то, что творится в «голове» у нейронок, был вот тут). Anyway, если вам понравился этот и вы не хотите пропустить будущие материалы по теме — то приглашаю вас подписаться на мой ТГ‑канал Сиолошная про искусственный интеллект и современные технологии.

Комментарии (287)


  1. RoasterToaster
    18.09.2024 05:19
    #27307096

    Впервые в истории прогресс делает не нужными не отдельную группу людей, вроде трубочистов, ткачей, а в целом делает не нужными людей с образованием.


    1. Yorique
      18.09.2024 05:19
      #27307194
      +23

      "Не_нужными " - в контексте сути коммента выглядит весьма иронично.


      1. RoasterToaster
        18.09.2024 05:19
        #27307228
        +15

        Над табой скора будут насмехатся абычные люди


        1. exTvr
          18.09.2024 05:19
          #27307722
          +13

          *Нат *будуд

          изправел ашыпки


    1. SlavikF
      18.09.2024 05:19
      #27307224

      С религиозной точки зрения, супер-способность человека - это творчество.

      Так и получается, что с теми знаниями, которые уже есть у человечества - AI превосходит или приближается к уровню учёных.

      А вот придумать что-то фундаментально новое - не может.

      Кто-то возразит, что AI и музыку пишет, картины рисует, книги пишет... Насколько я смог разобраться - это не творчество AI, а компиляция из данных полученных при тренинге.

      А к настоящему творчеству и новым открытиям способен только человек.


      1. RoasterToaster
        18.09.2024 05:19
        #27307240
        +16

        Про игру Го так говорили. По моему человек в го уже не может обыграть ии.


        1. vtal007
          18.09.2024 05:19
          #27307258
          +2

          так игра в Го это по сути перебор миллион (или больше) и поиск подходящей стратегии

          небось и в старкрафт машины лучше играют

          Конечно, в Го и Шахматах есть место для творчества, но творчество просто давится объемом оперативной памяти компа. Вот если бы могли Каспарову поставить оперативу и сопроцессор. Вот тогда бы да.

          А вот нарисовать новую "Мону Лизу" нейронки пока! не могут. С пальцами то разобрались уже? или не все

          Почему не могут, потому что "не учили". Нет у нейронок знания физиологии и анатомии. У людей есть и нам кажется что это очевидно. Да нифига, у людей жизненный опыт, у нейронок только датасеты


          1. RoasterToaster
            18.09.2024 05:19
            #27307266
            +38

            Если подумать, то творчество это тоже компиляция и перебор вариантов, только зритель не видит всю цепочку и воспринимает финальный этап как божественное озарение гения, как то, на что не способен ИИ.

            Это временно, это допилят.

            Специалисты уже работают над этим вопросом


            1. vtal007
              18.09.2024 05:19
              #27308000

              у человеческого творчества есть причины. Причины в человеках. В мотивах, эмоциях и тд. Ну не может нейронка написать 7-ю симфонию Шостаковича. Потому что она не жила в блокадном Ленинграде и нет у нее таких эмоций. Или не может нарисовать черный квадрат Малевича. Потому что ей нечего сказать миру.

              но может родить подобие (как и любой квалифицированный музыкант или художник)

              Плюс отсутствие знание о реальном мире. Любая кошка умнее нейронок. Хотя бы потому, что может себя прокормить сама и оставить потомство


              1. RoasterToaster
                18.09.2024 05:19
                #27308082
                +18

                "Черный квадрат" прекрасный пример,что творчество это чисто оценочное суждение у нас в голове.

                К тому же малевич украл супрематизм у знакомой женщины - иллюстатора. Смешно.


                1. vtal007
                  18.09.2024 05:19
                  #27308442

                  так мы с точки зрения человеков и оцениваем. Сложновато нам оценивать с точки зрения существ с Альфа-центавра

                  А что меняет украл он супрематизм или нет. Супрематизм есть. И у его появления были причины. А вот нейронка не может родить новое направление в авангарде. У нее нет такой потребности. Она -калькулятор


                  1. aelaa
                    18.09.2024 05:19
                    #27308904
                    +1

                    Направление - категория социальная. Научить группу ИИ коммуницировать - и они захватят мир вполне оформят свои тренды в разных областях


                  1. melodictsk
                    18.09.2024 05:19
                    #27320574

                    Как не может. Про галлюцинации нейронок много всякого. Чем не направление? Там есть свой стиль.


                    1. vtal007
                      18.09.2024 05:19
                      #27320584

                      Было бы направление - было бы направлением

                      гайс, я про настоящее. Я не футуролог


                1. Wesha
                  18.09.2024 05:19
                  #27312226

                  "Черный квадрат" прекрасный пример,что творчество это чисто оценочное суждение у нас в голове.

                  Простите, не "нас", а "Вас". По моему мнению, "чёрный квадрат" — это унылое оно.


              1. Slesch
                18.09.2024 05:19
                #27308500
                +8

                блокадный Ленинград - это же всего лишь контекст. Если человек погружен в него реальном мире, то нейросеть можно погрузить в виртуальном и кто знает к чему это приведет. Почему бы и не сопоставимому результату?


                1. vtal007
                  18.09.2024 05:19
                  #27308842

                  Вы про будущее? я про настоящее.

                  В настоящем времени Вы можете погружать нейронку хоть на дно Марианской впадины. Толку ноль будет. С тем же успехом можете закидывать калькулятор.

                  У нее нет потребностей. Она не хочет жить или умереть, у нее нет инстинктов. У нее ничего живого нет. Это просто калькулятор, решающий наши, человеческие задачи. С разной степенью успешности.

                  И это хорошо же. Зачем нам на самом деле "конкурент". Нам - инструмент нужен. Более лучшая лопата, более быстрая лошадь и более быстрая птица


                  1. logran
                    18.09.2024 05:19
                    #27308960
                    +11

                    У нее нет потребностей. Она не хочет жить или умереть, у нее нет инстинктов. У нее ничего живого нет. Это просто калькулятор, решающий наши, человеческие задачи.

                    Мы тоже лишь решаем природные биологические задачи. Следуя вполне четкой программе - тем самым инстинктам. Которые никто не мешает реализовать и для нейронок. Но зачем?

                    Человек работает не на магии, эфире, душе и что там еще есть. Мы просто белковая машина, всеми "душевными порывами" которой рулят нейромедиаторы т.е по большей части обычная химия. Эдакий белковый компьютер, у которого по скриптам и триггерам срабатывает производство нужных реактивов, запускающих иные программы и триггеры.
                    Да - большой и сложный компьютер, до которого потребительским еще пилить и пилить. Но при этом далеко не самый эффективных архитектурно, и даже наши примитивные узкоспециализированные нейронки своей узкоспециализированной задаче учатся гораздо проще, дешевле и быстрее и делают её лучше чем большая универсальная белковая.


                    1. Wesha
                      18.09.2024 05:19
                      #27312230

                      Мы тоже лишь решаем природные биологические задачи.

                      И вновь — простите, не "мы", а "Вы".

                      Следуя вполне четкой программе - тем самым инстинктам.

                      (С глубоким вздохом:) Нет у человека инстинктов. Не-ту.


                  1. faiwer
                    18.09.2024 05:19
                    #27310832
                    +1

                    Не думаю что "мотивация" и "потребности" это большая проблема для практического применения. Их эрзац-варианты можно засунуть прямо в промт. Ну и "руки" и "ноги" приделать тоже не должно быть большой проблемой - достаточно просто следовать ответам LLM (собственно уже так делают, просят отвечать в виде валидного JSON заданной формы). Вокруг этого сделать обвязку, которая будет сверять результат с ожиданиями и корректировать prompt. Думаю тут главная загвоздка добиться высокого качества ответов LLM, чтобы система не спотыкалась через 20-30 шагов.

                    Всё это как инструменты уже есть. Даже изобретать ничего не нужно. Просто отладить. Полагаю, примерно такое будущее нас и ждёт в течении 10 лет. Различные промышленные и IT системы на предприятиях. И ручное вмешательство человека если система внезапно "встала".


                    1. kryvichh
                      18.09.2024 05:19
                      #27311168

                      Так промт это и есть и мотивация, и потребность любой LLM, и единственный смысл её существования в моменты запуска.


                      1. monderlog
                        18.09.2024 05:19
                        #27318328

                        Если будет плохо отвечать - не оставит потомство не дадут тренировать следующую модель, урежут ресурсы и вообще на хагингфейс опубликуют на растерзание толпам )
                        Отличная мотивация


              1. Femistoklov
                18.09.2024 05:19
                #27308876

                Любая кошка умнее нейронок.

                Это да, вот когда сделают ИИ, равный кошачьему/собачьему, тогда можно будет и о человеческом задуматься (хотя расстояние - пропасть). Но даже до мышиного интеллекта ещё далеко, насколько я представляю положение дел в отрасли.


                1. kryvichh
                  18.09.2024 05:19
                  #27308948
                  +5

                  Так-то и человекам далеко до летучих мышей, те умеют ориентироваться по ультразвуку. (Посыпает голову пеплом)
                  P.S. Чтобы рассуждать и успешно решать разные задачи не обязательно уметь есть, охотиться и спать. (Кошка смотрит на меня с укоризной)


                  1. AVX
                    18.09.2024 05:19
                    #27311382

                    Это всё мелочи, а меня периодически мучает вопрос - вот комар, мозга там шиш да маленько (и есть ли?) А ведь он, падла такая, ждёт когда все лягут спать, потом подлетает и ищет около уха самое вкусное место, чтобы крови попить. И если промахнуться - комар понимает, что его хотели прихлопнуть, он затаится на некоторое время (порой даже спрячется куда-то, что и не найдёшь, где он) и только потом снова вылетает. ВОТ КАК он это делает, почти без мозгов?


                    1. kryvichh
                      18.09.2024 05:19
                      #27311484

                      Поведение, зашитое на уровне генов (инстинктов). Выжили и дали потомство те особи, которые вели себя именно так.


                    1. exTvr
                      18.09.2024 05:19
                      #27311492

                      ведь он, падла такая, ждёт когда...

                      понимает, что его хотели прихлопнуть

                      А вы уверены в том, что это один и тот же злонамеренный комар?

                      Вы проверяли это предположение?

                      Каким образом?


                      1. AVX
                        18.09.2024 05:19
                        #27311674
                        +1

                        Да, в рамках одного наблюдения - один. Как проверял - других не нашлось дома, и после того как я всё-таки его прихлопнул, больше никто не пищал, и потом я других не нашёл.

                        Так было несколько раз (а точнее, наверное уже на десятки раз счёт идёт) - стоит оставить дверь на балкон открытой на полчаса-час, и как минимум один комар прилетит. Но в общем если гонять одного - то остальные кто рядом тоже прячутся.

                        Даже если комар - самец, всё равно злонамеренный - будет пищать и летать вокруг, хоть и не кусает (вроде так говорят).


                      1. Wesha
                        18.09.2024 05:19
                        #27312234

                        А я вот проверял такое предположение, на клопах. И пришёл к выводу, что клопы — крайне примитивные конечные автоматы, примерно на восьми транзисторах.


              1. logran
                18.09.2024 05:19
                #27308938
                +12

                Ну не может нейронка написать 7-ю симфонию Шостаковича. Потому что она не жила в блокадном Ленинграде и нет у нее таких эмоций. 

                Вы упрекаете кремниевую нейронку в том, что она не может выдать результат, порожденный обучающей выборкой, которой у неё в датасете не было, но в датасете белковой нейронки была. Не надо так.

                Если вы возьмете нулевую пустую белковую нейронку (человека, новорожденного), отрежете все сенсорные источники данных (лишив его всей обширной обучающей выбрки) и просто 10 раз покажете 100к картинок - он вероятнее всего вам вообще ни одну не нарисует (в отличии от нейронки). Про сифмонии и прочее я вообще молчу.

                Весь человеческий "креатив" - следствие его обширной обучающей выборки. Все порожденные открытия, идеи и фантазии - взяты из внешних наблюдений, знаний и взаимосвязей и немного приправлены случайными активациями.

                Слепо-глухо-немой с рождения человек без нервных окончаний (тактильной связи) ничего из это не породит, не прокормит себя и не оставит потомство. Т.к всему этому надо каким-то образом обучиться, а если никаких входных данных нет - на выходе тоже ничего толкового не будет. Ибо все эти знания человек не из астрала получает и не божественным вмешательством. И не производит исключительно внутри себя лишь своими мысленными усилиями.
                Если позволить обучиться нейронке подходящей архитектуры - она тоже сможет всё это.


                1. Alexey2005
                  18.09.2024 05:19
                  #27309238
                  +6

                  Мало того, даже интеллект как таковой у человека вовсе не врождённый, его привносят извне в первые годы жизни ребёнка.

                  Феномен "детей-маугли" наглядно показывает, что если в первые три года ребёнок не контактировал с людьми, то полноценный разум у него не формируется: интеллект остаётся на уровне животных, и поднять его до человеческого уровня после этого уже невозможно.


                1. vtal007
                  18.09.2024 05:19
                  #27309292
                  +1

                  я не упрекаю. Упрекать нейронку это как упрекать калькулятор

                  я просто указываю на то, что у нейронки нет мотивов писать 7-ю симфонию, рисовать мону-лизу или квадрат малевича. и у нее нет мотивов совершать научные открытия. Нейронка это инструмент

                  А датасет вон есть, целый интернет. где ж научные открытия которые нейронка сделала сама, а не потому что сидит человек и задает промты.

                  Или может нейронка сама рисует, а не по промту?
                  а может нейронка сделает второй хабр, только лучше? нет. А почему? да потому что она не делает. Делает человек, задающий промты

                  Где тут вообще "неронка что-то делает сама", да ничего она сама не делает. Как калькулятор сам не калькулирует

                  Нейронка не субъект, нейронка это интересный напильник, хороший инструмент автоматизации. Да чего уж там, даже авто-переводчики в быту нормально заменяют живых переводчиков (да и сами живые тоже пользуются машинными инструментами). И авторы на хабре пользуются для генерации "какая-то картинка к посту"


                  1. logran
                    18.09.2024 05:19
                    #27311200
                    +2

                    Наличие интеллекта (неважно искуственного или естественного) не требует обязательного наличия свободы воли (и вообще самой воли как таковой).
                    Да, сети не самостоятельны - они делают что-то только если им, грубо говоря, приказать. Но делают это именно они (пишут, рисуют), не человек.


              1. MountainGoat
                18.09.2024 05:19
                #27309360
                +9

                А вы можете поймать мышь зубами, без рук и приспособлений? Или любая кошка умнее вас?


                1. vtal007
                  18.09.2024 05:19
                  #27309796

                  А почему без приспособлений. Собственно человек потому и выжил, что умел головой думать. Мышей человек ловит лучше, слабее медведя. Но есть преимущества

                  Что касается физиологии

                  Вы в курсе, что человек может загнать буквально многих животных. Просто за счет того, что может долго идти. А кошка не может.

                  Зрение опять таки


                  1. MountainGoat
                    18.09.2024 05:19
                    #27311018

                    Но с приспособлениями и ИИ может ходить, ловить мышей и даже размножаться.


                    1. vtal007
                      18.09.2024 05:19
                      #27311034

                      "может" где-то там в будущем. А кошки уже живут тысячи лет

                      в настоящем нейронка сама за свое электричество оплатить не может

                      ну это логично. Мы ж не ждем, что калькулятор будет ловить мышей и размножаться


                      1. logran
                        18.09.2024 05:19
                        #27311216
                        +1

                        "может" где-то там в будущем. А кошки уже живут тысячи лет

                        Может и сейчас. Даже не совсем ИИ - робот пылесос достаточно успешно строит карты локаций и более-менее приемлемо перемещается по ним. ИИ в синетический средах может куда больше и куда лучше.

                        И никаких препятствий к тому, чтобы нейронка зарабатывала и оплачивала электричество тоже нет. Подключение к биржам, пара скрипитов проверки счетчика и переводов денег в определенные даты - и спокойно обойдется без кожаных.

                        Вы старательно игнорируете тот факт, что всему, что человек умеет, его изначально учат. И что кошки существовали не с момента сотвореня мира, а долгое (чудовищно долгое) время прогрессировали при помощи генетического алгоритма из одноклеточного объекта без какой либо свободы воли и интелекта, вся жизнедеятельность которого состояла из одной зацикленной программы.


                      1. vtal007
                        18.09.2024 05:19
                        #27311260

                        Вы опять про некое будущее рассуждаете. Кошки уже тысячи лет существуют. Нейронки, аналога кошки, нет вообще. И не предвидится в ближайшие годы.

                        Если нет препятствий, чтобы нейронка сама (сама, именно сама) чего-то зарабатывала, то чего этого нет до сих пор. Все еще Сэм ходит, деньги просит у инвесторов. (в том числе на разработку видеокарт отличных от Кожанки) Разве кто-то отказался бы от нейронки, которая вместо него на работу ходила :) Видимо "препятствий нет" это ток у Вас. Что ж, открывайте стартап. Озолотитесь на нейронках, само-зарабатывающих

                        Вы все-таки отделяйте настоящее время от непонятного будущего. Будущее не определено. Что будет там дальше - никто не знает.

                        > всему, что человек умеет, его изначально учат

                        ну и нейронки учат и что. Собсно нейронки это продвинутый калькулятор. Калькулятор тоже "научили", зашив в микросхемы математические операции

                        Откуда вообще идеи, что нейронки станут каким-то субъектом. С чего бы


                      1. logran
                        18.09.2024 05:19
                        #27311606

                        Если нет препятствий, чтобы нейронка сама (сама, именно сама) чего-то зарабатывала, то чего этого нет до сих пор. Все еще Сэм ходит, деньги просит у инвесторов. (в том числе на разработку видеокарт отличных от Кожанки) 

                        Вообще так-то, чисто технически, GPT-4, отвечающая на ваши вопросы по API за шекели - зарабатывает деньги для Сэма своей деятельностью. В абсолютно автономном режиме, не требуя постоянного контроля и вмешательства в свою деятельность. Дополните её скриптом, который по приходу на почту счета от энергокомпании будет переводит на баланс энергокомпании указанную сумму (которую GPT прочтет из счета) с баланса, на который приходят шекели за API - и вот у вас уже ИИ сам трудится и сам оплачивает =)

                        Для того чтобы ИИ всё это делал - ему не обязательно быть субъектом и обладать волей. Он вполне может делать это, выполняя чью-то чужую волю, как любой нормальный раб.

                        ну и нейронки учат и что. Собсно нейронки это продвинутый калькулятор.

                        Ну так и человек тоже не далеко ушел. Больше и сложнее + общего назначения. И всё.

                        Вы опять про некое будущее рассуждаете. Кошки уже тысячи лет существуют. Нейронки, аналога кошки, нет вообще. И не предвидится в ближайшие годы.

                        1) А почему нам нужна цифровая нейронка, являющаяся именно полной и точной копией биологической (весьма, надо скаазать, не оптимальной и не сильно эффективной)? Сделать сеть с поведением кошки (питание, размножение, охота, свободные прогулки) можно и не дублируя стуруктуру мозга кошки.
                        2) Нейросеть может профессионально играть в Quake 3 и Dota 2, используя множетсво различного вооружения, перемещаясь по карте, собирая бонусы/предметы/артефакты и уничтожая себе подобных эффективными (и не типичными для кожаных игроков) способами. Чего, наприме, кошка не может. И делает сеть это не перебором всех возможных ходов (как любят вспоминать в контексте шахмат). Наглядный пример сети, делающей набор сложных активностей (перемещение, "охота", "питание" и улучшение своих параметров) для достижения конкретной цели случайным зависящим от текущей ситуации и окружения путем. Не сказал бы, что высокоуровневая активность кошки (т.е не управление внутренними органами, а +/- сознательная деятельность) прям таки катастрофически более сложная, чтобы нейросеть схожей с описанными архитектуры в синтетической среде, при задании нужный целей, стимулов и системы вознагрождений, не смогла её эмулировать".


                      1. Femistoklov
                        18.09.2024 05:19
                        #27314018

                        Не сказал бы, что высокоуровневая активность кошки (т.е не управление внутренними органами, а +/- сознательная деятельность) прям таки катастрофически более сложная

                        У вас же нет животных?


                      1. Wesha
                        18.09.2024 05:19
                        #27312240
                        +2

                        Нейронки, аналога кошки, нет вообще.

                        "Нет спроса!"


              1. bbs12
                18.09.2024 05:19
                #27309880
                +6

                Любая кошка умнее нейронок. Хотя бы потому, что может себя прокормить сама и оставить потомство

                Компьютерные вирусы тоже умеют оставлять потомство и добывать ресурсы (их ресурсы - компьютерная память для своих детишек или вычислительные мощности процессора).

                Или обычный вирус гриппа - он добывает ресурсы и размножается покруче любой кошки. По такой логике вирус можно считать более разумным чем кошку, но звучит как-то сомнительно.


            1. invelusion
              18.09.2024 05:19
              #27308504

              то творчество это тоже компиляция и перебор вариантов,

              Откуда вы знаете, уже кто-то расписал как точно работает человеческое сознание? Есть какие-то исследование подтверждающие что человеческий разум не создал чего-то чего человек никогда не видел?


              1. yatanai
                18.09.2024 05:19
                #27309338
                +1

                Ну да, расписали. Творчество работает из контекста, хаоса и уменьшения этого хаоса. Любой художник который абстракции делает это скажет - "в начале фигню намулевал, а тут вот дерево видно, а тут попугайчика. Тяп-ляп и картина готова", а если бы контекст, тн эмоции, были бы негативными, там вместо "дерева" был бы "взрыв бомбы", а "попугайчик" бы превратился в "мусор".

                ЗЫ: Прикол нашей сетки лишь в том что она полносвязно-разряженная+активность копится. Мол ты смотришь на стол, что-то там зарядилось, смотришь на стул, бац! "Тут же поесть можно!" Для текущих ИИ такое невозможно, нужно либо память моделировать либо контекст широкий иметь. И из этого же строится потенциально более сложная творческая деятельность у биологических систем.


                1. invelusion
                  18.09.2024 05:19
                  #27312220

                  Где и кто расписал? Комментаторы не в счет, на заборе тоже пишут.


                1. invelusion
                  18.09.2024 05:19
                  #27312228

                  Где и кто расписал? Комментаторы не в счет, на заборе тоже пишут.


            1. zkutch
              18.09.2024 05:19
              #27310082

              Ну вот и думайте: это для вас творчество компиляция, цепочка и перебор вариантов. Стихотворение писали когда-нибудь?


              1. RoasterToaster
                18.09.2024 05:19
                #27310136

                Нет, но авторы песенники их пишут по заказу, скучно и кропотливо.


                1. zkutch
                  18.09.2024 05:19
                  #27314826

                  И поэтому творчество это компиляция, цепочка и перебор вариантов?


          1. mamento
            18.09.2024 05:19
            #27307294
            +14

            В том и смысл что при игре в го она не перебирала, а использовала закономерности=опыт который набрала по время игры сама с собой. Потому что там количество вариантов для перебора очень большое и это считалось причиной почему машина не сможет выйграть в го человека.


            1. Aniro
              18.09.2024 05:19
              #27307844

              Она перебирала. Упрощенно - на каждом ходу нейросеть играет сама с собой тысячи партий до конца, и выбирает ход, который привел к большему количеству выигрышей. Простой выбор хода нейросетью (даже большой) хуже чем просто перебор с оценкой позиции, но вот вместе это очень круто, даже с очень маленькими моделями, которые запускаются на любой домашней машине.
              Говорят, О1 использует схожий подход, но деталей мы не знаем, "Open" AI держит все в секрете. Хотя думаю приличный опенсурс на эту тему увидим до середины 2025го.


              1. mamento
                18.09.2024 05:19
                #27307890

                >>> на каждом ходу нейросеть играет сама с собой тысячи партий до конца

                Откуда эта информация?

                Насколько мне известно партии были заранее сыграны и по ним построены оценочные модели, а играть тысячи партий до конца от каждой позиции очень затратно.

                Она конечно делает вероятно несколько ходов в будущее оценивая позицию по натренированным сетям, но вот чтобы прямо до конца на каждом ходу - первый раз такое слышу.


                1. Ogra
                  18.09.2024 05:19
                  #27308536
                  +2

                  Откуда эта информация?

                  Найти информацию по тому, как играла AlphaGo не проблема:

                  Как и лучшие предшествующие программы для игры в го, AlphaGo использует также метод Монте-Карло для поиска в дереве[англ.] (MCST)[56]. Суть этого метода (названного по аналогии с методом Монте-Карло в вычислительной математике) состоит в том, что для оценки позиции программа много раз играет сама с собой случайным образом, доводя каждый раз игру до конца. Потом выбирает ход, при котором было наибольшее число побед.

                  Хотя, конечно, нейросеть сама с собой не играет, нейросеть оценивает позицию. Игры играет движок, составной частью которого является нейросеть.


                  1. mayorovp
                    18.09.2024 05:19
                    #27308684

                    Я бы не называл бездумный случайный выбор хода "игрой", это создаёт ложные ассоциации относительно того, что там на самом деле происходит.

                    Особенно учитывая, что все ИИ серии AlphaЧтото и правда играли сами с собой в процессе обучения.


              1. mayorovp
                18.09.2024 05:19
                #27307944
                +1

                Чушь какая-то, как нейросеть может играть сама с собой до конца, если для выбора каждого хода нужно сыграть тысячу раз с собой до конца?


              1. myswordishatred
                18.09.2024 05:19
                #27308048
                +5

                на каждом ходу нейросеть играет сама с собой тысячи партий до конца, и выбирает ход, который привел к большему количеству выигрышей.

                Вы такого в приличном обществе лучше не говорите. Даже в шахматах полным перебором программы ходы не ищут, что уж про го говорить.


                1. stalkermustang Автор
                  18.09.2024 05:19
                  #27308086
                  +2

                  Справедливости ради там не написано, что оно делает перебор всех состояний. Играть "до конца" можно текущей стратегией в упрощённом виде + эвристикой, да даже делая случайные ходы.


                  1. myswordishatred
                    18.09.2024 05:19
                    #27308236

                    Согласен, это я уже себе что-то напридумывал. Но всё равно розыгрыш до конца тысяч партий не самый оптимальный способ играть.

                    Косвенно, как мне кажется, это подтверждается тем, что компьютеры смогли продвинуть вперёд теорию: в го, например, возникли новые джосеки (что-то типа дебютов в шахматах), которые раньше люди не использовали.

                    Да и в тех же шахматах новые идеи зачастую из компьютерного анализа приходят.

                    То есть речь скорее о некотором внутреннем понимании принципов игры всё же.


                1. xaoc80
                  18.09.2024 05:19
                  #27310276

                  Вообще, RL так и обучается. Там не все партии же, а тысячи, что немного в контексте модели с большим числом степеней свободы


              1. Mavolio-Bent
                18.09.2024 05:19
                #27310222

                Так и человек в тех же шахматах на самом деле перебирает варианты (насчет Го не скажу). Шахматисты играют кучу партий и запоминают позиции. По существу, шахматы и для человека сводятся к распознаванию паттернов и анализу предыдущего опыта игр.


            1. mayorovp
              18.09.2024 05:19
              #27307978

              Основная задача нейросети - это оценивать позицию. А на верхнем уровне там был такой же перебор вариантов, как и в классических алгоритмах, вся разница - в том, что вместо эвристических формул подсчёта фигур используется нейросеть.


              1. mamento
                18.09.2024 05:19
                #27308028

                Да, так и есть. Человек тоже используется перебор :)

                Вопрос наверное в том, что если раньше основной силой был очень глубокий перебор-который неподвластен человеку- условно на 10 уровней глубины.
                То с нейросетями даже с парой уровней глубины уровень игры будет очень сильным - что ближе к человеческому мышлению.


              1. Ogra
                18.09.2024 05:19
                #27308516

                Нет, там в том числе использовался и другой перебор вариантов. В классических алгоритмах это минимакс, отсечение и т.д., а AlphaGo сверх активно использовала еще и Монте-Карло.


                1. mayorovp
                  18.09.2024 05:19
                  #27308972

                  Монте-Карло - тоже классический метод. И перебором ходов он тоже занимается.


          1. Aniro
            18.09.2024 05:19
            #27307808
            +6

            С пальцами разобрались еще в прошлом году. Текущая проблема - пальцы на видео при быстром движении рукой. И волосы. Для статичных картинок - есть проблема корректной анатомии в странных позах (типа "Иисус делает бакфлип верхом на крокодиле") без соответствующей LORA.
            Способность к творчеству вопрос дискуссионный. Выставьте любой текстовой модели температуру 1.5, она вам такого накреативит, что Пелевин закурит. Только пользы с этого...


          1. engine9
            18.09.2024 05:19
            #27308108
            +2

            Про детей-маугли, которые ни говорить ни тем более ничего нарисовать не могут ( потому что выросли без обучения) знаете?


            1. rbdr
              18.09.2024 05:19
              #27308166

              Скорее не так. Они обучились не тому. И некий более глубокий "БИОС" забили, который потом не знают как перепрошить.


              1. engine9
                18.09.2024 05:19
                #27308318
                +5

                Глубокий биос это регуляция работы ЖКТ, сердца, дыхания и т.п. Без обучения человек не сможет даже ходить, не то что говорить или изобретать.


          1. Bedal
            18.09.2024 05:19
            #27309042
            +6

             нарисовать новую "Мону Лизу"

            для этого достаточно нарисовать просто неплохо, а потом дать это украсть и раздуть историю в СМИ. До того "Мона Лиза" считалась неплохой картиной, не шедевром.

            Нарисовать неплохо ИИ уже умеет. В целом именно представители творческих специальностей - первые на выход. Даже допуская, что существуют невоспроизводимые шедевры вроде Чёрного Квадрата, весь слой ниже гениев с места проигрывает ИИ-картинкам. Всякие иллюстраторы, дизайнеры и т.п. А нет базового слоя - неоткуда и гениям прорываться.

            Страшную весть принёс ИИ, Надежда. Зови художников.


            1. BigBeaver
              18.09.2024 05:19
              #27310600

              для этого достаточно нарисовать просто неплохо, а потом дать это украсть и раздуть историю в СМИ.

              И много ли нейронок так могут?)


              1. Bedal
                18.09.2024 05:19
                #27312428
                +1

                Уже хватает, чтобы иллюстраторы США устраивали забастовки, пытаясь хоть какой-то твёрдый процент заказов себе отбить. При этом следующим в числе требований идёт право на использование ии-рисунков в качестве подручного материала :-)

                А там... беда лиха начало. Надо понимать, что нейросети сейчас на младенческом ещё этапе.


            1. Wesha
              18.09.2024 05:19
              #27312244

              Нарисовать неплохо ИИ уже умеет

              Нарисовать неплохо для невзыскательного зрителя ИИ уже умеет

              There, FTFY.


              1. Bedal
                18.09.2024 05:19
                #27312436

                Не-не, взыскательных не трогаем, тихонечко проходим мимо, не мешаем восторгаться чёрным квадратом как верхом творческих достижений.


                1. Wesha
                  18.09.2024 05:19
                  #27312444

                  Не, чёрный квадрат — это прямо-таки апогей невзыскательности. Такие и трещины на штукатурке рассматривать будут.


                  1. Bedal
                    18.09.2024 05:19
                    #27313034

                    э-э-э, а что Вы считаете критерием взыскательности? "То, что нравится мне" - скорее признак зашоренности. А клуб элитарных ценителей живописи оценивает это вдохновенное произведение весьма высоко.

                    На самом деле живопись кончилась ещё до ИИ. В живописи всегда присутствовало два критерия: "сделай похоже" и "сделай так, чтобы нашей тусовке можно было выделиться". Первый критерий был напрочь убит ещё в 19м веке фотографией, после чего живопись стала быстро разваливаться в сторону ~измов, старательно уходя от "похожести на реальность". Остался общественный сговор: решили, что это шедевр, значит шедевр. Даже если это банка супа.

                    А тут ещё и ИИ...


                    1. Wesha
                      18.09.2024 05:19
                      #27313230

                      Первый критерий был напрочь убит ещё в 19м веке фотографией,

                      Сделайте мне, пожалуйста, фотографию летящего на фоне облаков огнедыщащего дракона.


                      1. Bedal
                        18.09.2024 05:19
                        #27313914

                        Вы намеренно упустили содержание первого критерия? Какое отношение дракон имеет к "сделайте похоже"?

                        Дракон - чистой воды символизм, повод порассуждать о смыслах, о том, что мастер хотел вложить... прямой путь к чёрному квадрату. Который изобразительное искусство благополучно и прошло.

                        Но.

                        Человечеству по-прежнему нужны какие-то, не предельные по реализму и/или символизму, картинки. Это давало право на существование армии декораторов и иллюстраторов. Проблема в том, что на этом уровне ИИ уже вполне на уровне, последнюю табуретку из-под ног выбивает.


                      1. Wesha
                        18.09.2024 05:19
                        #27316788

                        Какое отношение дракон имеет к "сделайте похоже"?

                        Хорошо. Слона знаете? Что такое "стойка" (гимнастическая) знаете? Сделайте мне фотографию слона, делающего стойку на своём хоботе. Чтобы было похоже. В том смысле, чтобы передние ноги из плечевых суставов вывернуты не были.


                      1. Bedal
                        18.09.2024 05:19
                        #27316812

                        Это Вы типа в реализм так ударились? Слушайте, скучно стало.


            1. Lagovi
              18.09.2024 05:19
              #27315696
              +1

              Каждый раз когда в подобном контексте поминают дизайнеров, становится ясно что поминающий не понимает сути их работы. Для замены дизайнера нужно скрещивать топовую мультимодальную ллмку для переформулировки промтов, манипуляции лорами и оценки промежуточных генераций, с генеративной нейросеткой умеющей очень точно следовать промту. Я не поручусь за следующий год, но пока дизайнеры в безопасности. Хотя в очереди на мороз, да)


              1. Bedal
                18.09.2024 05:19
                #27315736

                Хотя в очереди на мороз, да)

                я об этом, верно.


          1. kernelMriN
            18.09.2024 05:19
            #27310604

            дело не в знаниях физиологии и анатомии, а в отсутствии концептуального мышления. Нейронка не может "представить", что будет за дверью, она лишь может подставить туда рандомный шум. Это хорошо видно, когда показывают генеративное видео, например камера пролетает сквозь дверной проём или арку внутри здания, а за аркой нереалистичное пространство, нереалистичная геометрия помещения и тд.


            1. logran
              18.09.2024 05:19
              #27311282

              Мы тоже не можем. Вспомните сны. Там почти все двери и лифты это порталы в лучшем случае в другую локацию (зачастую весьма деформированную), а в худшем чуть ли не в иной мир и преисподнюю.

              Человек не представляет, что за дверью. Человек или помнит +/- точно, что именно там находится, или комбинирует что-то +/- подходящее из своей обучающей выборки (памяти) + какая-то часть мозга отвечает за проверку корректности такой комбинации (с оценкой вероятностей и вот это вот всё).

              Для генеративных видео достаточно чуть лучше обучит модель, чуть более полно представить пограничные кейсы в обучающей выборке (убрав перекосы, ибо видосики из интернета - это нифига не универсальный набор охватывающий всё равномерно), чуть увеличить размер сети, и т.д. И будет она вам красиво и правдополобно рисовать что именно находится за дверью/в отражении зеркала/и т.д. Особенно если ей тоже прикрутить дополнительную модель проверки корректности новых токенов (т.е рефлексию, подобную той что в рассматриваемой в этом посте GPT-o1).


            1. engine9
              18.09.2024 05:19
              #27312992
              +1

              У теплокровных в мозге буквально на уровне нейронов прорисована 3Д карта привычных ему локаций и это было доказано на мышах.

              Иногда во сне получается войти в эту модель реальности и побродить по ней. Так вот, в локациях где не бывал никогда мозг лепит рандомную фигню. Точно как нейронка. Я однажды залетел в таком осознанном сне в здание где точно никогда не бывал (одноэтажное историческое) и мозг нарисовал там галерею с окнами. Так я потом пришел туда физически, зашел и увидел унылую офисную планировку, узкие коридоры без окон и подвесным потолком...


          1. Trebrt
            18.09.2024 05:19
            #27310606
            +1

            В шахматах на самом деле нет творчество. Все правила известны, все ходы прописаны. Просто вариантов ходов очень много для человека.
            Хотя они все-равно учатся, что доказывают быстрые шахматы.

            Когда игроки играют на время. И по сути просто делают заученные ходы заранее зная возможные ответы соперника.

            Вот придумать саму игру шахматы вот это творчество.

            Вот если бы можно было придумывать новые правила в шахматах, то да это было бы творчество.
            Правда для баланса пришлось бы придумать правила для этого придумывания.

            И тогда и эта идея тоже превратилась просто в перебор ну очень большого количества вариантов.


          1. ksotar
            18.09.2024 05:19
            #27315468
            +3

            Все ждали что в Старкрафте Альфа Го новые стратегии родит, а он всего лишь микроконторлил толпы юнитов с нечеловеческой скоростью.


            1. vtal007
              18.09.2024 05:19
              #27315488

              возможно я ошибаюсь, но вроде там ему ограничивали все-таки нечеловеческие возможности


              1. faiwer
                18.09.2024 05:19
                #27315612

                ЕМНИП то они в этом не преуспели. Поправьте меня если я что-то путаю, но вроде загвоздка была в:

                • Существенная часть кликов реальных игроков весьма не эффективна. Т.е. формально их много, но полезных очень мало. AI может сделать эффективными ВСЕ клики.

                • Была взята пиковая концентрация кликов, которую долго не удержать.

                Я не игрок, но помнится в игровом сообществе было большое разочарование, что победа далась просто сверх-эффективностью микроконтроля, которая вообще не достижима человеком.

                В добавок есть вопрос к камере. Было бы честно если бы AI вынужден был бы двигать камеру так, как это делает человек. А не получать всю информацию по открытой области видимости всегда. Ну и лимитировать скорость перемещения этой камеры.

                ---

                Сравните с Go, где всех этих нюансов просто нет.


                1. BigBeaver
                  18.09.2024 05:19
                  #27316102

                  А в чем разочарование? Азиаты так же побеждают


              1. mayorovp
                18.09.2024 05:19
                #27316280

                Но недоограничили. В битвах AlphaStar активно использовал недоступную человеку мультифокусировку огня, из-за чего при той же численности армии убивал в 2-3 раза больше юнитов противника. И за счёт этого компенсировал все другие свои косяки, которых было достаточно.

                А уж когда его на ладдер выпустили - быстро оказалось, что несмотря на выученную мету, он так и не выработал базового понимания некоторых довольно очевидных вещей, вроде того, что вражеская слизь на твоей базе нуждается в устранении, и что против люркеров надо строить детекторы.


          1. vvzvlad
            18.09.2024 05:19
            #27316150
            +2

            А вот нарисовать новую "Мону Лизу" нейронки пока! не могут.

            Мона Лиза так-то существует внутри культурного контекста. Как и Черный квадрат. Нарисовать черный квадрат — могут. Написать Черный квадрат Малевича — нет. Нарисовать красивый качественный портрет? Легко. Создать “Мону Лизу” — нет. Но тут как бы с этой задачей и все существующие художники пока не справились, потому что дело не в красивом портрете, а в комбинации портрет+художник+человеческая культура. Т.е. в целом, вопрос не про то, сможет ли нейросеть нарисовать мону лизу, а сможет ли она воспринимать тренды, модицифировать их, бухать с другими художника и организовывать себе выставки. Очевидно, пока не может.

            Кстати, тут большинство людей на хабре этого не может. Могу ли я говорить, что они теперь недочеловеки, способные лишь перекладывать джосоны и писать код?


            1. vtal007
              18.09.2024 05:19
              #27316202

              нейросеть сама по себе вообще ничего не может. Нейронка это не субъект. это объект, это инструмент. Ну нет у нее "сама-само-сам". Вот просто нет. Когда будет. Тогда будет поздно. Если будет. А может в этом направлении (в стремлении к сильному ИИ) тоже упрутся в некий потолок. Да уже сейчас видно. Ну да, пусть кодеров заменит нейронка, сантехника заменит нейронка? роботы? в этом направлении ничего не начинали. По факту "компьютерщики" делают замену себе. В остальных профессиях роль нейронки - хороший и умных калькулятор. Уже сейчас, как рассказывают, нейронка лучше диагностирует болезнь (по снимкам), чем врачи. Но нейронку сначала куча народу обучала. А ответственность все равно на живом враче. Для него это просто хороший (и правда хороший же) инструмент. Но кто доверит полностью свою жизнь нейронке? Когда мы придем к этому? да не факт.

              Все что я вижу, это реально инструмент. даже про AI агенты, много профильные. Может кто-то прикрутил, но для себя. Но по факту нет. А вот обсуждаемая версия содержит по сути логическое продолжение (подсистема проверки и критики). Но никак не происходит качественного скачка. Не в плане тестов, а в плане влияния на жизнь что ли. Калькулятор стал умнее, но может ли он открыть новые законы физики? или хотя бы стояк починить в нашем доме?


              1. BigBeaver
                18.09.2024 05:19
                #27317146

                Ну так инструмент не может заменить оператора. В итоге лавры все равно будет брать тот, кто бухал с художниками и организовывал выставки. А рисовал он кистью, пиписькой или нейросетью - вопрос моды и трендов.


      1. Arastas
        18.09.2024 05:19
        #27307296
        +4

        Подскажите, это какая религия так утверждает?


        1. me21
          18.09.2024 05:19
          #27307606

          Христианство. Человек создан по образу и подобию Божию, а Бог - это Творец.


          1. Ufo28
            18.09.2024 05:19
            #27307894
            +12

            В таком построении фразы начинает казаться, что человек может создать что-то по своему образу и подобию (а потом это что-то может создать нечто по своему образу и подобию).


            1. dfgwer
              18.09.2024 05:19
              #27308106
              +1

              Рекурсивная симуляция


            1. me21
              18.09.2024 05:19
              #27308152
              +4

              Так ведь и создаёт. Раньше более грубо (какие-нибудь статуи, потом роботы), сейчас тоньше. Чем вам нейросеть не образ человека?

              Даже ещё точнее, если смотреть в текст Библии, то Бог планировал создать человека "по образу и подобию", а создал только по образу. Подобия (внутреннего устроения) человек должен достичь в течение жизни, христианство это называет святостью. С нейросетью то же самое, внешне действует похоже ("по образу"), но некоторые говорят, что на самом деле она не мыслит, т.е. внутреннего подобия человеку у нейросети нет.


              1. Ufo28
                18.09.2024 05:19
                #27308192
                +3

                Тут 2 варианта:
                1. это тупиковая технология, которая останется в истории как "когда то мы придумали как вызывать у компьютеров галлюцинации"
                2. кто-нибудь наконец сделает нейросеть, у которой будет задача обучаться самостоятельно и превзойти человеков, и она выполнит задачу)


      1. anatolykern
        18.09.2024 05:19
        #27307436
        +18

        А к настоящему творчеству и новым открытиям способен только человек.

        Антропоцентризм, механизмы творчества у ИИ ничем не отличаются от происходящего в биологических сетях.

        Так глядишь дойдет дело и до "у них души нет" и вопроса о сознании с привлечением философов.


        1. dv0ich
          18.09.2024 05:19
          #27307452
          +8

          механизмы творчества у ИИ ничем не отличаются от происходящего в биологических сетях

          Смешная шутка.


          1. rexen
            18.09.2024 05:19
            #27308268
            +3

            А что не так? Если не лезть в дебри, то вот про сны же Иван Сеченов сказал, что это "небывалая комбинация бывалых впечатлений". Как и вся эволюция - это мутации (небывалые комбинации...), которые просто проходят отбор. Так и творчество - это генерация новой информации на основе мутации старой.


      1. amazingname
        18.09.2024 05:19
        #27307762
        +9

        Средний человек тоже не может создать ничего нового. Человек создает что-то новое крайне редко и в очень узких подходящих условиях. Точно так же как AI.


        1. Sau
          18.09.2024 05:19
          #27309362

          Я могу напридумывать слов в определённом порядке которых ещё нигде не было, даже сильно много не потребуется. Новое не значит полезное.


          1. PresetX
            18.09.2024 05:19
            #27312024

            Новое не значит полезное.

            Красиво сказано

            это рекурсивный сарказм, так что без /s


        1. invelusion
          18.09.2024 05:19
          #27312242
          +1

          Средний человек тоже не может создать ничего нового. Человек создает что-то новое крайне редко и в очень узких подходящих условиях

          как подтвердите свои слова? Ребенок в возрасте 3-8 лет очень много чего создает, откуда такая увереность что он создает мало чего нового?

          Что такое средний человек?


          1. Aizz
            18.09.2024 05:19
            #27313840

            Как вы подтвердите свои слова, что AI не создает ничего нового? UDIO В возрасте 1 год создает очень много классных треков, а gpt-o пишет неплохие стихи.
            Что такое "компиляция данных" при творчестве?


            1. invelusion
              18.09.2024 05:19
              #27316752

              Как вы подтвердите свои слова, что AI не создает ничего нового?

              Я где-то это утверждал до этого?

              Смотря что под новым подразумевается, AI просто переставляет слова/буквы/пиксели которые мы ему скормили, и учитывает вероятности последовательностей при создании чего-то. Как-то не очень новое.

              Как человек придумывает стихи я не знаю, кто-то также переставляет слова что знает, но мы не можем утверждать что все так делают.


              1. Alexey2005
                18.09.2024 05:19
                #27316880

                Даже простейший алгоритм "возьми рандомную букву, потом ещё одну, и так до бесконечности" уже способен генерировать абсолютно новое, см. "Теорема о бесконечных обезьянах" и "Вавилонская библиотека". То есть даже простой случайной выборки из алфавита уже хватает, чтобы при достаточно длительной генерации породить абсолютно все текстовые шедевры, когда-либо созданные человечеством как в прошлом, так и в будущем. И даже те, которые оно не сможет создать.

                А нейросетевое сэмплирование - это далеко не простой рандом, у него и возможности повыше. Так что нейросети могут создавать абсолютно новое. Вопрос лишь в количестве попыток, которые для этого понадобятся.


      1. engine9
        18.09.2024 05:19
        #27308062
        +5

        Точно, вот бы эти нейронки попробовали сочинить стихотворение, написать и спеть песню, нарисовать картину! Wait... OH SHI~!

        Человек с нуля ничего не может новое открыть, разум учёных всегда карабкается по культурному и научному древу, построенному предшественниками. Возможно, что наши влажные нейросети внутри мозга не особо-то и отличаются от электронных.


        1. BigBeaver
          18.09.2024 05:19
          #27310646

          построенному предшественниками

          Человек с нуля ничего не может новое открыть

          Откуда взялись предшественники?


          1. engine9
            18.09.2024 05:19
            #27313058

            Отвечая формально "Из наблюдений за внешним миром и изучением истории науки". Вы сами бы ни слова не могли сказать, если бы вас не научили речи и письму взрослые. Которые тоже НЕ сами язык придумали в детстве.


        1. Wesha
          18.09.2024 05:19
          #27312250

          вот бы эти нейронки попробовали сочинить стихотворение, написать и спеть песню, нарисовать картину! Wait... OH SHI~!

          (встрепенувшись:) А? Что? Нейронка сочинила стихотворение (песню, картину)? В смысле не уровня "рыбка моя, я твой глазик, банька моя, я твой тазик" — а нормальное стихотворение (песню, картину)? Ну, например, уровня "Журавлей" Бернеса?

          Ну, в общем, разбудите меня, когда напишет.


          1. engine9
            18.09.2024 05:19
            #27313098
            +3

            Я уверен, что при достаточной подготовке, можно создать условия эксперимента, когда бы вы выбрали 100% сгенерированное творчество и сказали бы "Ну это не сравнить с вашим Аi-шным говном!".


            1. Wesha
              18.09.2024 05:19
              #27313244

              Я уверен, что могу спрыгнуть вон с того небоскрёба, и со мной ничего не случится.


          1. Alexey2005
            18.09.2024 05:19
            #27314100
            +2

            А, так вам нужен не просто ИИ, а такой, чтобы превосходил 99.999% человечества... Ну да, тут действительно придётся подождать.

            Вот только если взятие планки 99% пока ещё вопрос дискуссионный, то в том, что ИИ достаточно быстро превзойдёт 80% населения планеты, уже мало кто сомневается. А для наступления серьёзных социальных последствий (в виде катастрофического падения спроса на ремесленников от творчества) достаточно и куда меньшего показателя интеллекта.


          1. logran
            18.09.2024 05:19
            #27316542

            Написать песню уровня лучших баллад столетия? Nein. Написать песню лучше современной российской поп-эстрады, в которой один куплет поется один раз и дальше зацикливается припев из двух фраз? Вообще на изи, еще и музыку подберет, и вокал, и исполнит.

            Нарисовать художественную картинку, которую узкий круг эстетов, базируясь исключительно на своем субъективном "чустве прекрасного" сочтет шедевром на века? Врядли. Нарисовать картину лучше, чем 99% творчется на девианарте и сопоставимую с топовыми цифровыми пейзажами с Artstation (либо конкрутоспособную 80% NSFW-художников с патреона например) - запросто.

            Написать стих, который западет в душу всем и каждому? Нет, но с этим и кожанные писатели не справляются. Написать гимн школы, речевку, шутливые вирши в юмаристический журнал, стих по заданию в школу, рифмованный текст на нужную тематику для загадки/лора в игре? Как нефиг.

            Нейронка может это делать. Она не может это делать лучше чем 99% профессионально занимающихся этим людей, но уже вполне может (при должном подходе и навыке работы с ней), как ниже указали, делать сопоставимо с 80% тех, кто делает это в рамках своей рабочей/творческой деятельности (а не просто лучше 80% случайных обывателей).


    1. Jirabus
      18.09.2024 05:19
      #27307464
      +1

      Кажется пора детям давать максимально прикладные инженерные профессии, высшее образование уже не даст конкурентного преимущества


      1. HNKHENM
        18.09.2024 05:19
        #27307540
        +5

        Пока они подрастут и, таки освоят - сколько это по срокам? Лет через 10-15? Поди уже и роботы подтянутся. Мысли конечно сейчас самые катастрофические в голову приходят. На уровне:
        - а сколько будет людей высвободившихся после ИИ и не будет ли их слишком много на оставшиеся вакансии?
        - насколько это быстро и резко произойдет?
        - что будет делать бизнес и гос-во если у одних не на что купить услугу\товар, а у других будет меньше налогов?
        - Что кушать, где жить?


        1. mihteh
          18.09.2024 05:19
          #27307612
          +7

          Было уже так в истории много раз и прогнозы по потере работы тоже много раз ошибались. Появился калькулятор - математики не нужны, появились ЭВМ в широком доступе - сейчас все будут пить лимонад на газонах, а компы вкалывать за нас. Слишком много шума сейчас около темы "ИИ", что и порождает страхи, какую-то нишу эти технологии займут, но говорить о чем-то массовом пока слишком рано


          1. RoasterToaster
            18.09.2024 05:19
            #27307788
            +4

            Иронично будет. " А, все это уже ни раз было, ничего страшного!" сказали человеки, а потом их всех уволили.

            Человек это промежуточное звено между углеродной и кремниевой формой жизни. Сначала были вирусы, потом бактерии, потом растения , потом животные, потом ИИ


            1. mihteh
              18.09.2024 05:19
              #27307906
              +3

              Ваши слова навеяли анекдот: - Мама! Папа говорит, что мы произошли от обезьян. - Ну, сынок, папа про своих родственников говорит.

              Теперь серьезно:

              • в своей цепочке эволюции вы про грибы забыли, без них бы растения на сушу не выбрались. Ну и вирусы без клеток не размножаются, то есть нужен носитель-репликатор

              • Большая проблема современного ИИ - невозможность верификации получившейся модели. Пример с ситемами доступа по лицу - обучили, система пропускает тех кого нужно, все вроде хорошо, теперь вопрос - опишите способ поиска закладок в этой моделе, ну к примеру можно ее научить пропускать людей, которые левую руку вытягивают в сторону, а правую поднимают вверх. Как это на этапе проверки найти? А это фактор для серьезного применения критичен.

              • Данные для обучения - сейчас уперлись в то что данные конечны и нужно изголяться с генерацией синтетических, но уже есть достаточно много научных работ, показывающих что такой подход ведет к ухудшению свойств модели

              В любом случае поживем увидим.


              1. RoasterToaster
                18.09.2024 05:19
                #27307982
                +1

                Плюк - чатланская планета,Земля- кремниевая планета, родной.


                1. rexen
                  18.09.2024 05:19
                  #27308294
                  +2

                  Но жизнь на ней - углеродная. Пока что. Ну а даже если и уступит кремниевой - значит эволюция сделала свой выбор - видимо углеродная форма не очень способна к дальнейшему освоению Вселенной.


                  1. BigBeaver
                    18.09.2024 05:19
                    #27310656

                    Но жизнь на ней - углеродная

                    Паразиты-с...


                1. mihteh
                  18.09.2024 05:19
                  #27308636

                  Если быть точнее - кислородная) Кремний на втором месте по распространенности.


                  1. RoasterToaster
                    18.09.2024 05:19
                    #27308898

                    Кварцевая )


              1. AlexSpirit
                18.09.2024 05:19
                #27308060
                +2

                Как грибы растениям то помогли выйти на сушу ? Растения и Грибы это параллельные "царства" в табеле о рангах живой природы.


                1. rexen
                  18.09.2024 05:19
                  #27308350
                  +7

                  Биология чуть глубже, чем школьный учебник.

                  Полмиллиарда лет назад растения стали успешнее закрепляться на суше благодаря прочному хитину в составе грибного мицелия, т.о. это был не только пищевой симбиоз (грибы могут "переваривать" даже то, что не могут осилить бактерии, но синтезировать сами ничего не могут - тут им помогают растения, дающие сахара). Ну а в дальнейшем грибы стали разлагать биологические остатки на суше, помогая формировать гумус, почву. На голых камнях растениям делать было нечего.


                1. mihteh
                  18.09.2024 05:19
                  #27308614
                  +16

                  Ваше мнение верное, но спорное)

                  Давайте по порядку:

                  • Таксоны в биологии одна из самых холиварных тем - у природы нет табеля о рангах, это наша классификация, которая все время плывет, причем очень быстро

                  • Главное изобретение грибов - это мицелий, сплетенный из нитей (гифов). У него несколько особенностей: с помощью него грибница может преодолевать пустоты в пространстве и добираться до богатых едой областей; по нему достаточно быстро может передаваться "информация" путем перехода клеточных ядер из клетки в клетку (механизм уникальный); мицелий прочно держится в субстрате. Кроме того грибы научились вырабатывать такой арсенал ферментов, что могут развалить практически все что угодно - например природный полимер лигнин разлагается только грибами, без них леса превратились бы в свалку отмерших веток, особенно много лигнина в коре деревьев. Так как же грибы помогли растениями выйти на сушу? Для выхода на сушу нужно было способ питания менять, среда отличается от воды очень сильно, ранние растения обладали слабой корневой системой не способной удержать на суше и как раз в этот момент произошел симбиоз растений и грибов. Сейчас таких проявлений полно, к примеру многие грибы образуют с деревьями микоризу, известно что грибницы умеют перекачивать воду в зону коней растений для их питания, целенаправленно перекачивать, чтобы у растения было больше шансов выжить. Вот пример очень адаптированной статьи на эту тему, но общее понимание даст: https://naked-science.ru/article/biology/soyuz-s-gribami-pomog

                  • Про параллельность царств, царства параллельные, но почему-то 50% наших генов пересекаются с грибами, может не на столько параллельные как в упрощенном варианте видится?


                  1. motezor
                    18.09.2024 05:19
                    #27311132
                    +2

                    Потрясающе, спасибо! за ссылку на статью тоже


                  1. KReal
                    18.09.2024 05:19
                    #27311946
                    +2

                    На таких комментах Хабр держится!


                    1. Wesha
                      18.09.2024 05:19
                      #27312252
                      +1

                      Не тормозите, плюсуйте мужика!


            1. acmnu
              18.09.2024 05:19
              #27308450
              +2

              Откуда мы знаем, что цель природы — создать товарища Амперяна? Может быть, цель природы — это создание нежити руками товарища Амперяна. Может быть.

              Стругацкие. Понедельник начинается в субботу.


          1. Shizarium
            18.09.2024 05:19
            #27307856
            +3

            Ну, калькулятор или вычислитель раньше было должностью, а теперь просто приложение на устройстве.


            1. yorko
              18.09.2024 05:19
              #27313128
              +2

              Почти


          1. KvanTTT
            18.09.2024 05:19
            #27311676
            +1

            Появился калькулятор - математики не нужны

            Такое вряд ли было - математики практически не занимаются подсчетом чисел, это самая простая и небольшая часть их работы. Разве что бухгалтеры какие-нибудь.


          1. ruslan_sverchkov
            18.09.2024 05:19
            #27311972

            В истории бывало по разному, бывало что инновации загоняли людей в страшную нищету и порождали такие мрачные явления как детский труд за станком по 14 часов в день


          1. M_AJ
            18.09.2024 05:19
            #27314260
            +1

            Было уже так в истории много раз и прогнозы по потере работы тоже много раз ошибались.

            То что что-то подобное уже было и с этим как-то справлялись, совершенно не значит, что так будет всегда. Многие виды животных как-то выживали миллионы лет, но однажды взяли и вымерли. То что человек болел гриппом уже десяток раз и успешно выздоравливал, совершенно не означает, что одиннадцатый раз не станет для него смертельным.


        1. dfgwer
          18.09.2024 05:19
          #27307668

          Человек будет низведен до манипулятора с голосовым управлением. Ошейник с камерой говорящий что делать. Конец человечества


        1. amazingname
          18.09.2024 05:19
          #27307842
          +4

          - а сколько будет людей высвободившихся после ИИ и не будет ли их слишком много на оставшиеся вакансии?

          - насколько это быстро и резко произойдет?

          - что будет делать бизнес и гос-во если у одних не на что купить услугу\товар, а у других будет меньше налогов?

          - Что кушать, где жить?

          Здесь вы упускаете одну важную деталь: AI не является потребителем создаваемых благ, этим потребителем является только человек. AI не может строить дома если их никто не сможет купить, AI не сможет создавать прикольный контент в интернете если некому будет за него платить.

          Т.е. если завтра AI сможет заменить всех людей всех профессий, то это не значит что люди умрут с глоду без работы. Это значит что работать больше будет не нужно вообще.

          И вот здесь возникает главная гораздо более серьезная проблема - а чем тогда займут себя все эти праздно шатающиеся люди? Люди созданы для конкуренции, самореализации и самоутверждения, но как делать все это в мире где блага падают с неба? Снимать тиктоки, чтобы стать звездой? Проводить тренинги о том как стать успешным проводя тренинги?

          Или есть вариант - поделиться на по любому критерию на наши/чужие (критерий разделения можно накопать в истории, если этого критерия нет сейчас) и организовать с помощью AI бесконечную войну против чужих. Тогда проблемы отсутствия работы не будет, а будет проблема выживания.


          1. codecity
            18.09.2024 05:19
            #27308084
            +3

            Снимать тиктоки, чтобы стать звездой? Проводить тренинги о том как стать успешным проводя тренинги?

            Посмотрите ради любопытства канал BIG HYPE, где таксист знакомится с прогрессивными представительницами прекрасного пола. Так эта прогрессивная часть человечества уже давно ответила на вопрос чем себя занять и к работе это не имеет ни малейшего отношения.

            Основная идея - личный бренд. Сюда входит и стиль жизни, и эрудированность, и внешность, и атрибутика, и здоровье. Этим можно заниматься бесконечно - уходит и уйма времени и уйма денег.

            Притом нам, кожаным, нравится просто даже смотреть и общаться с брендовыми и блестящими людьми, кто бы что не говорил.

            По этому чем заняться - проблем не будет. Были бы ресурсы для этого.


            1. engine9
              18.09.2024 05:19
              #27313154
              +1

              Любовь к блестящему и красивенькому не на пустом месте взялась, и вообще это одно из самых безопасных и полезных развлечений — щекотать кору мозга внешней стимуляцией через естественные порты ввода-вывода. Уши, глаза, нос и пр.

              Жучок одобряет!
              Жучок одобряет!


          1. mamento
            18.09.2024 05:19
            #27308116
            +1

            Верно. Если AI научится выращивать яблоки и картошку за нас - то есть он ее не станет.
            Даже если представить что человечеству не найдется новой работы - создаваемые блага останутся.
            Возможно будет необходим новый механизм распределеления их между обществом, какие нибудь безусловных доходы - когда картошка с яблоками будут доступны каждом, а что-то что ИИ не научился создавать уже получит не каждый, а только тот кто так-же для других людей что-то создает.


            1. SevAnt
              18.09.2024 05:19
              #27308288
              +3

              Когда-то те кто придумали первое оружие и научились им пользоваться, стали новой элитой, забрали у других всё что могли. Некоторых наверное вообще полностью истребили. Но это было тогда, в эпоху когда вопросы решались грубой силой, потому что тогда других способов манипулировать массами людей не было.

              Как по мне ИИ это новый скачок в разделении человеческого общества, на тех кто получает профит с ИИ и тех кто теряет от ИИ. Широкое внедрение ИИ может дать единицам неограниченную власть. А если обратиться к истории то главный приз в обществе всегда была власть, и даже деньги сегодня лишь инструмент для получения власти.

              Никто конечно никого убивать не будет, лягушку будут варить медленно оттирая большинство от возможности хоть как-то влиять на окружающий мир, давая возможность проживать максимально инфантильную и полную удовольствий жизнь. Но по факту создав сначала два класса людей, а потом может и два биологических вида, с ИИ биотех должен взлететь. Кжи и Джи, если кто в теме


              1. engine9
                18.09.2024 05:19
                #27308386

                С наличием высокоэффективных роботов подавлять и захватывать биороботов не будет особой необходимости, проще уничтожить или стерилизовать или содержать как домашних животных, ради потехи или чтобы не было скучно.

                Возможно, что с развитием сильного ИИ по какой-то причине мотивация властьимущих претерпит эволюцию и первостепенными перестанут быть ценности приматов: доступ к лучшим самкам, место в иерархии, и т.п. Возможно что ИИ сам что-то подшаманит и подкрутит в наших генах. Как в фильме "Я мать".


              1. amazingname
                18.09.2024 05:19
                #27311886
                +1

                Когда-то те кто придумали первое оружие и научились им пользоваться, стали новой элитой, забрали у других всё что могли. Некоторых наверное вообще полностью истребили. 

                Не было такого никогда. Придумали оружие одни, пользовались им другие, забирали все у третьих, но забирали не сколько могли а по принципу рэкета - чтобы корова доилась лучше. Кого-то истребляли, но гораздо больше людей истербляли эпидемии и голод, а в целом задача была не истребить, а крышевать и этого жить.

                Как по мне ИИ это новый скачок в разделении человеческого общества, на тех кто получает профит с ИИ и тех кто теряет от ИИ. Широкое внедрение ИИ может дать единицам неограниченную власть. 

                Да ну, с чего вдруг. Профит с ИИ получат программисты, которые будут его обучать и владельцы соответствующих компани. Но программисты и так не бедные, а владельцы любых компаний и сейчас бывают очень богатыми. Неограниченная власть от ИИ у единиц это врядли, учитывая насколько легко его тиражировать. Тогда что меняется?


                1. Alexey2005
                  18.09.2024 05:19
                  #27312060
                  +1

                  Легко тиражировать? Ну да, если денег полно. Сколько там стоит одна-единственная карточка GeForce 4090? А ведь на ней ИИ уровня ChatGPT о1 не запустить, для него надо что-то помощнее, сравнимое со стоимостью хорошей такой квартиры. И это ещё только запуск, с полноценным обучением всё ещё хуже.

                  В общем и целом ИИ - это игрушка для богатых. Да, сейчас корпорации позволяют им пользоваться всем остальным, потому как зарабатывают на этом деньги. Но как только ИИ достигнет определённого уровня, станет гораздо выгоднее продавать не сам ИИ, а созданный им контент. И на этом халява закончится.

                  Собственно, все эти разговоры о необходимости жёсткого контроля ИИ - это как раз и есть попытка картельного сговора: корпорациям уже начинает надоедать конкуренция, из-за которой приходится выносить на публику новейшие разработки.


                1. SevAnt
                  18.09.2024 05:19
                  #27313474

                  Не было такого никогда. Придумали оружие одни, пользовались им другие, забирали все у третьих, но забирали не сколько могли а по принципу рэкета - чтобы корова доилась лучше.

                  Это вы говорите с позиции сегодняшнего высоко специализированного общества, тогда если смотреть вплоть до первобытных общин, не было такого разделения, те кто придумал те и пользовался. Вообще суть любого технологического скачка, от огня и каменного топора до ИИ, получения конкурентных преимуществ одних групп людей над другими. Только если на заре технологического прогресса в силу отсутствия выраженной специализации те кто придумал те и использовали, сейчас использовать ИИ в своих целях будут не те кто его разрабатывал и строил ту гигантскую пирамиду знаний и разработок давшую возможность появится ИИ. А те у кого права собственности на продукт под название "ИИ".

                  Всю историю человечества власть одних групп над другими осуществляюсь при помощи тех или иных средств, от топоров и мечей и умения ими пользоваться до , денег и средств массовой информации.

                  Да ну, с чего вдруг. Профит с ИИ получат программисты, которые будут его обучать и владельцы соответствующих компани. Но программисты и так не бедные, а владельцы любых компаний и сейчас бывают очень богатыми. Неограниченная власть от ИИ у единиц это врядли, учитывая насколько легко его тиражировать. Тогда что меняется?

                  Вам ниже ответили что тиражировать не так легко, хотя бы по вопросу энерго обеспеченности. Вот владельцы компании которой принадлежит ИИ прибыль получат, а вот программисты в целом и даже те которые его будет обучать, потеряют в деньгах ибо если верить релизу в будущем ИИ позволит сократить потребность в программистах а значит и платить им можно будет меньше, потому что желающих будет много а работы мало.

                  Все нынешние ИИ это частная собственность, их владельцы имеют право и будут распоряжаться ИИ в исключительно своих интересах. Не факт что в будущем они на него лицензию не нацепят и запретят остальным пользоваться и ничего вы против гос. машины не сделаете. И что тут по вашему нет выигрыша не многих и проигрыша большинства?


          1. Vadim028
            18.09.2024 05:19
            #27309156

            Если базовые потребности в еде, жилье и безопасности будут закрыты, то ничего не будет мешать саморазвитию в чём угодно: спорт и иные соревнования, путешествия, личный бренд, потребление контента.

            Но по итогу всё может свестить как к моральной деградации (разврату и извращениям), так и к духовному росту.

            А вот если накинуть на это виртуальную реальность, то каждый станет королём того мира, которого захочет.


        1. everdens
          18.09.2024 05:19
          #27308664

          Если нечего кушать и где жить - то люди останутся занятыми производством еды и жилья.
          А если роботы произведут еду и жилье - то его на всех хватит. Чего тогда переживать?)


          1. ASKnn
            18.09.2024 05:19
            #27309184

            Переживать из-за того, что роботам люди будут не нужны.


          1. xaoc80
            18.09.2024 05:19
            #27310386
            +2

            Пока что "роботы" нацелены на замену наиболее интеллектуальных профессий - инженеров и даже ученых. Как раз железная замена обычного человеке пока (?) сильно дороже. Владельцы крупных корпораций открытым текстом говорят, что вместо ввсокооплачиваемых специалистов они хотят видеть людей, которые занимаются простой низкооплачиваемой деятельностью - уходом за другими людьми, доставкой еды, иными услугами. Возможно, я нагнетаю, но замаячила антиутопия, которую не могли представить себе самые смелые писатели


            1. Lagovi
              18.09.2024 05:19
              #27315860

              Нет, вы просто упустили новости о тесла бот и куче новых компаний пытающихся следовать за Маском. Пока не было мозгов, роботов всерьез делали полторы компании, погуглите что происходит сейчас. И стоить они будут на уровне бюджетной иномарки, человек всяко дороже обходится.


            1. BigBeaver
              18.09.2024 05:19
              #27316106
              +1

              Только не интеллектуальных а формализуемых.


          1. Wesha
            18.09.2024 05:19
            #27312534

            роботы произведут еду и жилье

            Питаться роботы будут, конечно же, святым духом. /s


          1. SevAnt
            18.09.2024 05:19
            #27313534
            +2

            Можно переживать хотя бы потому что Роботы и ИИ это частная собственность её владельцы могут и будут использовать их исключительно в своих интересах. А нынешних корпоратов не назовёшь большими гуманистами они сейчас и всегда говорили что люди нужны им либо как раб сила или как потребитель которой может заплатить за их продукцию. Одним словом сделать их богаче и влиятельнее.

            ИИ же превращает большую часть народа, причём не глупого народа в лучшем случае в домашних питомцев которые ни на что не влияют.

            Если вы не понимаете что весь расцвет демократии и прав и свобод он произошёл в период индустриальной революции только потому что правящему классу понадобилась прослойка думающих людей для быстрого продвижения технического прогресса, захвата рынков и прочих их радостей. Теперь же если ИИ заменит большую часть людей интеллектуального труда, можно начинать откат социального устройства общества в так любимый элитами 18-19й век или стартовать в какой кибер био панк, где у верхушки общества всё вплоть до возможности жить долго и очень долго а у остальных только выживание каждый день.


            1. everdens
              18.09.2024 05:19
              #27314054

              Антиутопию, о которой вы говорите, не удается себе представить...
              Кто кого может взять в рабство и зачем. Нравы 19го века потому и устарели, что закрепощать кого-либо потеряло смысл, гораздо выгоднее добровольный массовый труд, с возможностью такого же свободного массового потребления.
              А то, что на замок в сундук не спрячешь - не особо-то и собственность.


              1. SevAnt
                18.09.2024 05:19
                #27314468

                Я не говорил ни слова про рабство, тем более и вправду зачем оно, всю работу будет делать роботы и ИИ. Но и именно поэтому такой расклад сил не в пользу большинства, причем не как сейчас минорного большинства, а подавляющего большинства. Просто в таком случае при сохранении всех остальных устоев в обществе, большая часть людей останется за бортом активной жизни и участия. И решать они что-то либо тоже престанут, может быть даже жить будут не хуже, но это жизнь собаки во дворе, если у хозяина хорошее настроение он собаку гладит, если плохое бьёт ногами, а если она его укусит так он её пристрелит и ничего ему за это не будет, потому что если что пойдёт заведёт новую, это ему ничего не стоит. Да и вообще он может собаку пользовать в любым способом не спрашивая у неё ничего, иначе кормить не будет. Аналогия понятна то надеюсь?

                добровольный массовый труд, с возможностью такого же свободного массового потребления.

                не нужен может оказаться даже добровольный массовый труд. И потреблять вы будете столько сколько решат хозяева ИИ. А они уже сейчас включили эко повестку, и рассказывают что говядина это плохо потому что коровы много пукают и летать в отпуск на самолёте это совсем не хорошо ибо углеродный след.

                А то, что на замок в сундук не спрячешь - не особо-то и собственность.

                А что интеллектуальную собственность отменили? За нарушение авторских никого не наказуют? Вы серьёзно?)


                1. everdens
                  18.09.2024 05:19
                  #27314650

                  Попробуйте накажите каждого за прослушивание песни) Сложно до всех дотянуться? И сами силовики тоже слушают песни?) Так вот и я о том же.

                  Вы слишком сильно верите в то, что собственники могут всех везде и всегда нагибать. У них такая нагибалка еще не выросла.)
                  Стараться, конечно, будут, но они всегда в меньшинстве и это их главная проблема.


                  1. SevAnt
                    18.09.2024 05:19
                    #27314730

                    Может в РФ кого-то и не наказуют за пиратский контент или не лицензионное использование , но есть страны очень богатые и влиятельные в которых ещё как называют даже за песни. А уже за такую серьёзную штуку как ИИ будут тем более наказывать. Тем более что-то мне подсказывает что сильный ИИ , кушать энергии и выч мощностей будет много, может очень много.

                    А даже если не будут наказывать будут делать так чтобы денег поднять при помощи ИИ не могли, тем более если он ещё и не лицензионный. А если вдруг вы смогли то заплатите штраф и может вас отпустят, а может ещё и должны останетесь


                    1. Alexey2005
                      18.09.2024 05:19
                      #27315044
                      +1

                      Вот только если раньше лейблы воевали с кучкой нищих маргиналов-пиратов, которые не могли ни законы лоббировать, ни даже нормальных юристов нанять для громких процессов, то на этот раз на стороне ИИ стоят точно такие же корпорации с тоннами бабла, мощными юридическими отделами и огромным влиянием.

                      Поэтому в самое ближайшее время мы будем наблюдать битву жабы с гадюкой: с одной стороны корпораты будут пытаться вывести ИИ из-под копирайтного законодательства, лоббируя законы, по которым обучение нейронок не попадает под действие авторского права, а с другой будут пытаться закопирайтить весь выхлоп нейронок, чтобы его было запрещено использовать без разрешения владельца нейронки для чего угодно кроме обучения других нейронок.


                      1. everdens
                        18.09.2024 05:19
                        #27318070

                        Интересно как вы себе представляете реализацию запрещения использования результатов работы ИИ. И зачем запрещать, если производить то же самое может и человек, просто медленнее.

                        А возвращаясь к теме: переживать не надо, и хлеб и кров останутся у людей, а жизнь станет только интересней.


                      1. AlchemistDark
                        18.09.2024 05:19
                        #27321378
                        +1

                        Переживают не за личное благополучие, а за свободу воли от этого благополучия отказаться, если захочется. Человек выше пишет про личную власть над своей жизнью. Государство, общество и капитал постоянно хотят эту власть ограничить, и теперь у них появляется новый инструмент. Инструмент беспрецедентной силы.


      1. dv0ich
        18.09.2024 05:19
        #27307588

        Кажется, пора перестать вестись на хайпы и начать думать головой :)


    1. cxell
      18.09.2024 05:19
      #27307640
      +3

      Мясные будут обслуживать роботов и тренировать модели. Уже сейчас тренер ИИ - одна из самых распространённых (и самых низкооплачиваемых) профессий.


    1. zmiuko
      18.09.2024 05:19
      #27310860

      С чего ради? Хочешь сказать саксофонистов заменили те, кто узнал за электрогитару?


      1. exTvr
        18.09.2024 05:19
        #27311096

        Хочешь сказать саксофонистов заменили те, кто узнал за электрогитару?

        Это вот на каковском щас было?


      1. RoasterToaster
        18.09.2024 05:19
        #27311222
        +1

        Нет, и тех и тех заменили люди без музыкального образования.

        Заметили как уменьшается число профессиональных музыкантов на фоне прокладок между слушателем и нейросетью? Какой процент нейромузыки в Спотифае? А ее там за гланды


        1. vitavit
          18.09.2024 05:19
          #27311440

          певцов и исполнителей музыки ии не заменит. Еще до нейросеток ценность живых певцов и исполнителей музыки, наоборот, возросла на фоне фанеры, студийных записей, электронных. Люди стали больше ценить живые выступления, причем не просто, чтоб вышел и статично спел, а чтоб устроил спектакль, эмоции, показал себя, какие-то фишки.

          а вот музыкантов как авторов музыки, текста, т.е., даже более творческих, ии уже заменяет.


          1. engine9
            18.09.2024 05:19
            #27313198

            Важна еще сеть дистрибуции. Сейчас столько контента, что выграет тот, кого условная Алиса включит в колонку.

            А куда-то топать на корцерт это ж напрягаться надо, с дивана вставать :)


        1. k4ir05
          18.09.2024 05:19
          #27312206
          +1

          Заметили как уменьшается число профессиональных музыкантов на фоне прокладок между слушателем и нейросетью?

          Это просто число непрофессиональных увеличилось. А существенная часть слушателей не сильно требовательны, поэтому эти "музыканты" так популярны.


    1. Dr_Dash
      18.09.2024 05:19
      #27321310

      Смотря кому ненужными. Самому искусственному интеллекту люди будут нужны, как пример его неизмеримого превосходства.


  1. horbinama
    18.09.2024 05:19
    #27307614
    +10

    Результаты интересные, но... Никогда не курил. Теперь хочется закурить :)

    Может я слишком пессимист, но после таких результатов появляется какая-то внутренняя опустошённость, ощущение полной неопределённость грядущего дня. Будто просто непонятно, что делать дальше. В чём теперь выражается ценность человека? В чём она будет выражаться к концу десятилетия? Насколько теперь имеют смысл глубокие знания? Я вроде понимаю, что кто-то должен валидировать выхлоп ИИ, а чтобы валидировать нужно обладать соответствующими знаниями, но почему всё равно что-то напрягает в этом рассуждении... Короче, теперь как будто нужен другой майндсет, но непонятно какой.


    1. milkground
      18.09.2024 05:19
      #27307712
      +2

      Я вроде понимаю, что кто-то должен валидировать выхлоп ИИ, а чтобы валидировать нужно обладать соответствующими знаниями, но почему всё равно что-то напрягает в этом рассуждении...

      Потому что вы понимаете, что это всего лишь проблема начального этапа развития ИИ.


    1. Manrus
      18.09.2024 05:19
      #27307730
      +2

      В чём теперь выражается ценность человека? В чём она будет выражаться к концу десятилетия?

      В эволюции жизни. Обезьяны так-то теперь больше не нужны, но без них не было бы нас) Человечество это этап в эволюции. В этом и есть наша роль


      1. DocHannibal
        18.09.2024 05:19
        #27307948
        +1

        что значит обезьяны больше не нужны?) Наших предков обезьян уже давно нету


        1. Manrus
          18.09.2024 05:19
          #27307986
          +2

          В том плане что они никак больше не влияют на жизнь в целом. Да, они участвуют в пищевых цепочках, но это не критично.

          Около 90% когда либо существовавших видов вымерло т.к не все могут адаптироваться к новым условиям


        1. jab
          18.09.2024 05:19
          #27310158

          А назови мне, мил человек, самый успешный современный вид обезьян.


      1. RoasterToaster
        18.09.2024 05:19
        #27308046
        +10

        Наша роль вдохнуть таинство жизни в бездушные кремниевые пластины...


    1. engine9
      18.09.2024 05:19
      #27308196
      +7

      Интересно, что в культурной среде разлита идея (или убеждённость) что высшее благо и цель нашей цивилизации в том, чтобы двигать прогресс. А ведь технический прогресс может быть путём в сторону от создания комфортной и гуманистической среды обитания для человека. Почему-то всерьёз люди (на бытовом уровне, массово) не задумываются надем, что технологии могут вести общество и биосферу к кризису.

      Более того, люди еще и агрессивно противоборствуют такой точке зрения, и даже сейчас могут кинуться, обвинять "неолуддитом", советовать надеть берестяные лапти и отправляться на болото.

      Кстати, почти каждый день там бываю и доволен возможности наблюдать красивые закаты, рассветы, тёмное небо с видимым Млечным путём. А ведь мог бы в тиктоке сидеть как нормальный человек :)

      Ам!


      1. exTvr
        18.09.2024 05:19
        #27308448

        Брусничкаа - ам:))


      1. acmnu
        18.09.2024 05:19
        #27308478
        +1

        Возможно создание комфортной среды убьет человечество. Все развитые страны, со сколь-нибудь комфортной средой начинают вымирать. Даже в Китае кризис рождаемости.

        Эволюция создала из нас идеальных выживальщиков и это заложено в нас очень глубоко. Не ясно что будет, если стимулы для биологической эволюции исчезнут.


        1. engine9
          18.09.2024 05:19
          #27309140

          Скученность современных горожан и жизнь маятниково мигрирующей зооспоры бетонного коралла — стрессогенные условия, влияющие на желание плодиться.


      1. BigBeaver
        18.09.2024 05:19
        #27310712
        +3

        Почему-то всерьёз люди (на бытовом уровне, массово) не задумываются надем, что технологии могут вести общество и биосферу к кризису.

        Вообще-то, это одно из обьяснений парадокса Ферми. так что вполне себе задумываются.


      1. logran
        18.09.2024 05:19
        #27311390

        А ведь технический прогресс может быть путём в сторону от создания комфортной и гуманистической среды обитания для человека.

        А может быть как раз именно к созданию комфортной и гуманистической среды и ведет? Просто люди боятся задумываться об ответе на вопрос "а что делать, когда это будет достигнуто и дальше не надо будет развиваться, двигать прогресс и что-либо вообще делать?"

        Проводя аналогии с ММОRPG - когда в игре заканчивается контент, люди обычно из неё уходят, а не ищут чем себя в ней развлекать дальше =)


        1. engine9
          18.09.2024 05:19
          #27313226

          Мне кажется что победят другие эволюционно заложенные тенденции тех в чьих руках власть: контроль, подавление конкурентов, и т.д. И простым двуногим будут не неоновые роботы кошкодевочки с внутренним подогревом, а сырой окоп полный трупов и рои дронов с автонаведением и крылатым патрулём.


          1. Quarc
            18.09.2024 05:19
            #27313916

            Если робототехника и ИИ настолько разовьются, то люди будут бесполезны в окопах.


    1. zeond
      18.09.2024 05:19
      #27308418
      +1

      Прекрасное время чтобы подумать чем занять руки, что лично вам нравится и заниматься этим :)


    1. logran
      18.09.2024 05:19
      #27311342
      +1

      А в чем выражается ценность например котиков? Они просто живут. Едят, спят, размножаются, и занимаются тем, что интересно исключительно им самим. Как и 99% прочих живых существ на земле независимо от степени разумности (от неё лишь зависит вариантивность и широта спектра занятий). Человек тоже будет просто жить. Есть, спасть, плодиться, гулять по улице, взаимодействовать с другими особями своего вида...

      Все сложные конструкции типа работы и прочего существуют лишь потому, что для описанного нужны материальные блага, которые ограничены и которые надо как-то делить не по системе "я богатый господин и всё моё, а вы - рабы". Если ИИ решит эту проблему - можно будет просто жить. Так, как хочется, а не как вынуждены. Потому что когда делаешь вещи, которые хочется сделать - не стоит вопрос "а зачем?" (точнее ответ на него "потому что хочется"). Независимо от того, делает ли кто-то (включая ИИ) то же самое лучше.


      1. vitavit
        18.09.2024 05:19
        #27311582

        люди не котики. Пока что.


        1. engine9
          18.09.2024 05:19
          #27313240

          К большому сожалению...
          Люди это обезьянки, которые выдумывают речевые инструкции складывающиеся в сложные структуры которые их же потом и порабощают.


    1. KReal
      18.09.2024 05:19
      #27311962
      +1

      В чём теперь выражается ценность человека?

      Человек может закурить) А нейросеть ну никак!


  1. dfgwer
    18.09.2024 05:19
    #27307638

    https://habrastorage.org/r/w1560/getpro/habr/upload_files/fe4/dd7/dbe/fe4dd7dbec30d52b5c716c97f8824fa0.png

    Дополнительные раздумия над текстом снижают качество текста. Интересная мысль.


    1. stalkermustang Автор
      18.09.2024 05:19
      #27307658
      +4

      Думаю, тут всё же другая интерпретация. Скорее всего модель просто немного подзабыла, как те задачи хорошо решать, потому что последние итерации обучения были сугубо на математику/физику/программирование. Эти навыки как бы немного вытеснили работу с текстом, отчего качество просело.

      Также думаю, что в продуктовой линейке моделей GPT (4.5 или 5) это пофиксят, то есть сделают так, что модель и в выбранных топиках сильно лучше (как o1), и в на других задачах немного, но прирастает.

      о1 это в некотором смысле всё же прототип технологии обучения и работы, который ещё обкатывают.


  1. Flux
    18.09.2024 05:19
    #27307688

    И они точно не черрипикали примеры работы. И точно не тренировались на тесте, мамой клянусь!


  1. Octabun
    18.09.2024 05:19
    #27307692
    +3

    Давно приметил - всё, что высокотехнологичное, за годы до того как появиться в реальной жизни, появляется в японских мультиках. А просто многое - в Симпсонах, но это другое. С тем, что нарисовано много больше чем появляется, есть проблема, но с ИИ вообще хорошо.

    Например, когда есть три суперкомпьютера с запредельным ИИ смотрящие на задачи с разных позиций и обсуждающие вопрос меж собой, ну чем не о1, всё очень здорово, но при существенных проблемах таки приходится обращаться к госпоже Кацураги.

    К чему это всё приведёт - можно и прочитать в книжках, многих и там аналогичный мультикам эффект. Например, All Systems Red, с социальной стороны - Space Merchants. И наверняка ещё много где.

    Ибо развитие технологий - вопрос не технологический, а социальный.


  1. kryvichh
    18.09.2024 05:19
    #27307736
    +1

    «Reasoners» (на русский хорошего перевода в одно слово нет, что-то вроде «сущность, которая размышляет и рассуждает»).

    Может "мыcлитель"?


    1. stalkermustang Автор
      18.09.2024 05:19
      #27307756
      +1

      Я думал написать так, но мне кажется это слово не передаёт смысла. Кто мыслитель, что мыслитель...


    1. myswordishatred
      18.09.2024 05:19
      #27308074

      Получается, эээ, "философ"?


      1. kryvichh
        18.09.2024 05:19
        #27308848
        +3

        Это следующий этап. Пока правильнее наверное рассуждатель. Лучшие сети-рассуждатели станут мыслителями. Лучшие отобранные сети-мыслители, решающие глобальные мировоззренческие проблемы, станут философами.


    1. ebt
      18.09.2024 05:19
      #27308616
      +1

      По-видимому, в русском языке не сложилось общеупотребительного термина, но наиболее близкий по смыслу, это система рассуждений, как калька с английского reasoning system.


      1. kryvichh
        18.09.2024 05:19
        #27308810
        +2

        Вы недооцениваете русский язык.

        https://ru.wiktionary.org/wiki/рассуждатель


    1. eptr
      18.09.2024 05:19
      #27311664

      Может "мыcлитель"?

      Ощущатель, только теперь — предварительно взвешивающий множество ощущений.


    1. Wesha
      18.09.2024 05:19
      #27312546

      Думатель.

      И неонка.


  1. Hlad
    18.09.2024 05:19
    #27307870
    +2

    В подобных восхищённых статьях всегда опускается финансовый вопрос. Судя по описанию, этой новой версии нужна будет конская вычислительная мощность именно для работы, а не только на этапе обучения?


    1. stalkermustang Автор
      18.09.2024 05:19
      #27307998
      +8

      Да, и цена на модель пока кусается, но на GPT-4 за полтора года с момента релиза уронили цену более чем в 5 раз (а модель при этом улучшилась). Нет оснований полагать, что и тут не произойдет то же самое.

      Плюс, многие компании работают над специальными ускорителями, которые как GPU, но заточены конкретно под одну архитектуру. Сами OpenAI точно хотят делать свои чипы и даже ведут переговоры с компаниями-производителями/поставщиками. Чипы не появятся завтра или до конца года, но на горизонте 5 лет мы точно увидим существенное ускорение + удешевление даже при условии того, что модели будут и больше, и дороже.


  1. binque
    18.09.2024 05:19
    #27308110

    но вот эти ухмылки и прочее — почти наверняка артефакты обучения через Reinforcement Learning. Зачем бы это кто-то писал в цепочке рассуждений?

    Модель ведь не обучали с нуля только на цепочках рассуждений. Сначала, как и раньше, ей нужно было передать знания и заставить запомнить статистические зависимости между токенами, обучив на текстах интернета. Оттуда и остались эти "хммм". Лишняя трата ресурсов, от которой модель не смогла избавиться. Есть подозрение, что это вообще не новая модель, а только файн-тюнинг старой.

    То есть, сначала модель независимо генерирует десятки решений, затем из каждого выделяется ответ, и тот, который получался чаще других, становится финальным — именно он сравнивается с «золотым стандартом».

    Интересно, а почему нельзя добиться того же за один проход подстройкой параметров генерации вроде температуры или топ-к?


    1. stalkermustang Автор
      18.09.2024 05:19
      #27308244

      Модель ведь не обучали с нуля только на цепочках рассуждений. Сначала, как и раньше, ей нужно было передать знания и заставить запомнить статистические зависимости между токенами, обучив на текстах интернета. Оттуда и остались эти "хммм". Лишняя трата ресурсов, от которой модель не смогла избавиться. Есть подозрение, что это вообще не новая модель, а только файн-тюнинг старой.

      да, с этим я согласен, то есть она язык-то выучила по книгам и интернету. Я говорю, что если бы её тюнили только на написанных специально нанятыми экспертами цепочками рассуждений, то такие артефакты бы ушли почти наверняка.

      Интересно, а почему нельзя добиться того же за один проход подстройкой параметров генерации вроде температуры или топ-к?

      думаю причина — в дереве генераций токенов. Вариантов написать предложение из 10-20 токенов ОЧЕНЬ много, и мы стараемся делать более-менее качественную генерацию через семплинг токенов на каждом шагу, считая, что поулчается неплохо. Но если мы переберем больше комбинаций — будет еще лучше.


  1. Yak52
    18.09.2024 05:19
    #27308184
    +9

    ...но мы стремимся к тому, чтобы будущие версии думали часами, днями и даже неделями».

    "-- Сорок два! -- воскликнул Лункуол. -- И это все, что ты можешь нам сказать после семи с половиной миллионов лет размышлений?"


  1. ebt
    18.09.2024 05:19
    #27308754
    +2

    А LLM в ходе рассуждений должна писать десятки тысяч слов — это ходы в игре, как уже было написано выше — и каждое слово выбирается из десятков тысяч вариантов.

    Это в чистом виде семиотическое ограничение Сепира-Уорфа, и об этой фундаментальной ограниченности писал ещё Витгенштейн («о чем невозможно говорить, о том следует молчать»). Иными словами, OpenAI всеми силами пытается построить мускулолёт, тогда как для взлёта нужен реактивный двигатель.


    1. stalkermustang Автор
      18.09.2024 05:19
      #27309188

      не согласен


    1. rombell
      18.09.2024 05:19
      #27316906
      +2

      Первые летательные аппараты тоже пытались сделать подобными птицам - с маховыми крыльями. Потом это развилось в нынешнюю авиацию. Но самолёт не может сам придумать, как улучшить и сделать новый самолёт, а ИИ - может. Самолёты мы отточили за сто с небольшим лет, а тут, думается, скачёк - вопрос считанных лет


  1. erydit
    18.09.2024 05:19
    #27308768

    "албанская инженерка" это что-то вроде французской этажерки?


    1. MountainGoat
      18.09.2024 05:19
      #27309478

      Нет, это инженерка с двух рук.


  1. AlexeyK77
    18.09.2024 05:19
    #27308920

    инженеркиня, а не инженерка ;) - учите феминитивы должным образом! )))


    1. exTvr
      18.09.2024 05:19
      #27308950
      +2

      Инженересса. Так лучше звучит :))


      1. myswordishatred
        18.09.2024 05:19
        #27308968
        +3

        Инженарыня. Ну, как барыня.


        1. Desiderio
          18.09.2024 05:19
          #27310782
          +4

          Инженарыня - младший инженер.

          Инженериня - старший инженер.

          Инженерица - начальник отдела.

          Как барыня, княгиня и царица.


  1. agosmaker
    18.09.2024 05:19
    #27309194
    +3

    Несколько соображений.

    1. Можно констатировать текущую ограниченность способонстей ИИ, но не невероятно (и даже вполне возможно), что скоро (в течение лет скажем 10) или не так скоро (несколько десятилетий) ИИ обгонит человека во всех областях.

    2. Выбора развивать или не развивать ИИ нет. Этим занято множество компаний и множество стран, конкурирующих между собой. Учитывая возможные экономические и военные преимущества, никто не может позволить себе остановиться.

    3. Появление AGI фундаментально отличается от любых технологических новшеств и аналогии с ткацкими станками, паровыми двигателями и компьютерами неверны. Новые разумные/умные агенты/сущности это фундаментальное новшество, наподобие появления языка или письменности. Поэтому соображения, что будет также как было ранее в моменты технологических прорывов, на мой взгляд, ненадежны.

    4. Останется ли смысл в жизни людей? Это максимально непонятный вопрос, т.к. непонятно, что такое "смысл жизни". Но я думаю многие люди действительно будут разочарованы, а другим будет вполне нормально. И сейчас разные люди находят смысл в разных вещах. Кто-то в запуске ракет на Марс, кто-то в выращивании цветов и рукоделии.

    5. Но я считаю, что при существенном прогрессе технологий вопрос взаимодействия машина-человек в текущем виде утратит актуальность. Также как и, например, рассуждения о длительных полетах в космосе человека. Здесь очевиден путь слияния человека и машины, как на уровне чисто телесном, так и умственном. Только это может позволить человеку сохранить какую-либо власть над происходящим и оказывать на него влияние. Возможность этого максимально не ясна, т.к. что такое сознание, разум, что есть личность, неизвестно. Но какие-то решения по как минимум созданию бессмертного тела и интеграции мозга с компьютером точно возможны. Вместе с этим может в общем измениться и психика человека.

    6. Поэтому вопроса как будут сосуществовать сверхинтеллект и люди не возникнет. Людей в текущем виде просто не будет, они либо исчезнут (в условно неблагоприятном сценарии) или эволюционируют (техническими средствами). Переходный же период может быть весьма турбулентным.


    1. DarthVictor
      18.09.2024 05:19
      #27309826

       Переходный же период может быть весьма турбулентным.

      Это нафиг никому не нужно. ИИ зарегулируют ограничениями и запретами. Заставят, скажем, на 1TOPS ИИ нанимать трех местных работников и одного беженца.

      Государства, которые откажутся в этом учавствовать либо санкциями загонят в ХХвек либо ядерными бомбами в неолит. Уже сейчас добрая половина профессий довольно синтетические. Ну будет 99% профессий.

      Тут ведь дело в том, что первоначальное накопление капитала также является и окончательным.


      1. DmitryOlkhovoi
        18.09.2024 05:19
        #27309918
        +1

        Если регулирование не будет выгодно властьимущим, то его и не будет.


        1. DarthVictor
          18.09.2024 05:19
          #27310052

          Согласен, но пока все средства производства весьма жёстко регулируются.


          1. DmitryOlkhovoi
            18.09.2024 05:19
            #27310290

            Да чисто между собой лоббируют и конкурентов валят. Давно уже не верю во что-то для людей)


      1. logran
        18.09.2024 05:19
        #27311450

        А кто заставит? Если ИИ, допустим, будут делать не корпорации, а крупные государства? Например, правительства США и Китая. Кто именно сможет заставить эти страны и их правителтсва что-то там регулировать?

        Государства, которые откажутся в этом учавствовать либо санкциями загонят в ХХвек либо ядерными бомбами в неолит.

        Развитый ИИ без ограничений - эффективнее и опаснее такого же, но ограниченного. Боюсь, скорее уж отказавшиеся в этом участвовать государства бомбами и санкциями загонят в неолит тех, кто повелся и сам себя ограничил, превратив их просто вы источник ресурсов для себя.


        1. DarthVictor
          18.09.2024 05:19
          #27312760
          +2

          У вас прямо сейчас куча народу заняты х...й пойми чем. 80% программистов в каком-нибудь Сбербанке можно было сократить ещё 6 лет назад, когда я там работал. Без всякого ИИ. С тех пор их количество только росло. Никогда не думали почему?


      1. rombell
        18.09.2024 05:19
        #27316916

        Если ИИ рассматривать как молоток, то да. Но если удастся построить сильный ИИ, то кто кого будет регулировать-то.


    1. Tim_86
      18.09.2024 05:19
      #27311812

      Благоприятный сценарий - ИИ занимается производством материальных благ и обеспечением человечества всем необходимым (пища, техника, транспорт, медицина...), а люди, освобождённые благодаря этому от необходимости тратить 8 часов в день на не всегда любимую работу и имеющие безусловный базовый доход (что уже сейчас в какой-то мере реализовано в некоторых государствах), могут заниматься в жизни чем душе угодно (наука, творчество, исследование космоса, изобретения, путешествия...).


      1. DarthVictor
        18.09.2024 05:19
        #27312740

        Под определение

        люди, освобождённые благодаря этому от необходимости тратить 8 часов в день на не всегда любимую работу и имеющие безусловный базовый доход

        подходит несколько миллионов наследственных миллионеров.

        Много среди них занимается

        наука, творчество, исследование космоса, изобретения

        ?


      1. engine9
        18.09.2024 05:19
        #27313326
        +1

        На деле: тупят в тикток на диване, обжираются, бухают и упарываются.

        Есть весьма обоснованные и практические проверенные данные, что людям необходимое ежедневное превозмогание трудностей как одна из витальных потребностей. Т.е. комфортная жизнь такой же вредный фактор как безграничный доступ к сладостям. (Увы).


        1. Tim_86
          18.09.2024 05:19
          #27313674

          Необязательно. Безграничный доступ к сладостям есть у каждого. Но не все ими обжираются (я, например, сладости вообще стараюсь не есть, заменяя на фрукты). Миллионеры, о которых писал человек комментарием выше, далеко не всегда скатываются в болото полной бездеятельности и бесцельного существования. А бухают скорее те, кто большую часть жизни упарываются на нелюбимой и не приносящей удовлетворения работе.

          В любом случае, каждый сможет сам решать: заниматься полезной, интересной и развивающей деятельностью (связанной, возможно, с вызовами и трудностями), или жить бесцельно и деградировать. Но не нужно будет уже значительную часть жизни тратить на то чтобы просто заработать на жизнь.

          К тому же в настоящем времени работа многих людей приносит сомнительную пользу (или не приносит вообще) как им самим, так и обществу, не связана ни с преодолением трудностей, ни с развитием (чисто механический труд).


          1. engine9
            18.09.2024 05:19
            #27319518
            +1

            Такие как мы — уникумы, на нас нельзя равняться. Ради интереса загуглите фразу "эпидемиология ожирения" вопросы отпадут.

            Большинство людей ничего не "решают" а живут на автопилоте. Тем более уже получили практические результаты безусловного базового дохода и пришли к выводу, что люди не становыятся вдруг музыкантами и не начинают кодить на питоне, а предпочитают лежать перед теликом. Понятно, что не 100% но б0льшая часть таких.


            1. evtomax
              18.09.2024 05:19
              #27319836
              +1

              Большинство детей и подростков в чём-то добровольно развиваются (спорт, компьютерные игры, участие в субкультурах, всякие хобби и т.п.). Как правило, из-за взрослой работы и взрослых проблем большинству всё это приходится забрасывать, а затем десятилетиями тратить все свои силы на то, что не нравится, но делать надо. В итоге безделье становится самым приятным способом провести свободное время, а от деятельности, которая требует хоть какого-то напряжения, просто тошнит. Итого, безделье становится главной целью в жизни, а связь между активной самореализацией и чем-то приятным внутри мозга начисто рвётся.


        1. Lagovi
          18.09.2024 05:19
          #27316472
          +1

          Как уже написали, по крайней мере часть популяции способна к самоограничению. Наверное большинство скатится в деградацию, но часть человечества (малая) займется саморазвитием и самовыражением.


    1. Lagovi
      18.09.2024 05:19
      #27316442

      1-4 согласен, 5 и 6 совершенно неочевидно. Возможно, объединить не выйдет, возможно, это не даст приемущества перед AGI. Возможно, мы придем к законодательному ограничению на международном уровне, понятно что только после того как человечество сильно встряхнет. Возможно упремся в вычислительные мощности и что-то близкое к AGI окажется слишком дорогим.


      1. agosmaker
        18.09.2024 05:19
        #27316574
        +1

        Я согласен, что всё может пойти как угодно. Но и фантасты описывают обычных людей в каких-то нереальных будущих космических путешествиях, и мы размышляем о людях в эпоху AGI или ASI. На мой взгляд предположение, что люди при таком техническом прогрессе останутся такими же как сейчас биологическими существами, совершенно неверно. Это важный вопрос часто совсем не принимается во внимание.


        1. Lagovi
          18.09.2024 05:19
          #27316810

          Ну давайте так, как только появится возможность к аугументации, появятся и аугументированные. Как только аугументированных станет заметно много, появятся люди с позицией "да ни вжись!“, кто из них станет доминирующей группой зависит от безопасности и конечных выгод. Это вообще с ИИ никак не связано.


  1. JerryI
    18.09.2024 05:19
    #27309372
    +1

    Это хорошо, что autocomplete станет умнее.


  1. deadraidfd
    18.09.2024 05:19
    #27309610
    +3

    Это самый настоящий хайп буквально из ничего.
    У меня ваша новая парадигма год назад в фоне работала выполняла задачи. Не говоря уже про большие компании. Как и многим другим людям которым казалось что пользователи не будут ждать пару минут на ответ.

    CoT давно известен как и finetune под него.
    И так же полно более продвинутых техник таких ToT(Tree-of-Thoughts), GoT(Graph-of-Thoughts) и конечно наиболее продвинутая на данный момент XoT(Everything of Thoughts).
    Ниже примеры как подобные выше задачи решает LLAMA 3.1 8b не то что GPT4o или Claude.
    Вообще без finetune. Так же прекрасно пишет змейку или тетрис с первого раза.
    Так что очень скоро это будет у всех от самых маленьких компаний до лидеров в бенчмарках.


    1. stalkermustang Автор
      18.09.2024 05:19
      #27309670
      +1

      Ого, круто, а прогони задачки AIMO и GPQA, посмотрим, какие оценки будут!
      /s


      1. deadraidfd
        18.09.2024 05:19
        #27310848

        Да надо бы собрать тестовы стенд и проверить на современных моделях.
        Это конечно не GPT o1. Это все таки prompting просто. Без finetune но результаты само собой намного выше. На выходных если будет время проверю.


    1. datacompboy
      18.09.2024 05:19
      #27310512
      +5

      мне очень нравится особенно "считаем буквы: r, r, y". "перепроверим, r, r, y" => "ну да, всё верно". чо?


      1. deadraidfd
        18.09.2024 05:19
        #27310958

        А вы ожидали супер логичности от модели в 8b параметров ? )
        Да такие галлюцинации само собой могут быть при таком размере.
        Мало того верный ответ не гарантирован в 100% случаев даже при температуре 0.
        Так как вероятностное распределение никуда не делось.

        Можете попробовать поднятя свой instance хотя я бы рекомендовал Groq API модель llama-3.1-8b-instant из за скорости ответа. При таких задачах самое то.
        Реализовать CoT либо XoT и проверить на своем опыте.
        Вообще у чистой llama 8b периодические довольно смешные ответы.
        У 70B конечно все намного логичнее и стабильнее.
        Ниже сравнение:

        Groq - llama-3.1-8b-instant
        Groq - llama-3.1-8b-instant

        Groq - llama-3.1-70b-versatile
        Groq - llama-3.1-70b-versatile

        Groq - llama-3.1-70b-versatile
        Groq - llama-3.1-70b-versatile


        1. Alexey2005
          18.09.2024 05:19
          #27312126

          А что за фреймворк используется? А то насколько я понял из оригинальной статьи, XoT требует предварительно обученной под данную конкретную задачу MCTS-модели, что в значительной мере обесценивает данный метод. Где например брать датасет для обучения генерации рассуждений при подсчёте слов? Или сравнении дробей? И это ещё самые простые задачи, а как быть с чем-то более сложным?


          1. deadraidfd
            18.09.2024 05:19
            #27314462

            Никакой фремворк не использует. Это полностью мой код.
            Модель используется Qwen с finetune под рассуждения для MCTS.
            Где брать датасет. Собирать используя те же самые LLM. Только более продвинутые. Любая большая модель ChatGPT, Claude .. вам сгенерирует вам все этапы рассуждений. Да нужно проверять все. Долго сложно и довольно дорого.


            1. Alexey2005
              18.09.2024 05:19
              #27315078

              В таком случае это имеет смысл лишь когда решаются сотни и тысячи однотипных задач. Когда же вам надо прямо сейчас сравнить числа, через два часа найти ошибку в коде Тетриса, а завтра подсчитать буквы в тексте, пользы от этого подхода примерно ноль, потому что будет намного быстрее и эффективнее вручную подпихнуть в промт нужные подсказки. Каждый раз готовить MCTS - ну такое.


              1. deadraidfd
                18.09.2024 05:19
                #27316142

                Моя finetune модель универсальна. Мне не нужно делать finetune под каждый новый домен.
                Да с некоторыми типами задач будет хуже. Но я вообще не учил модель буквы считать в слове это по умолчанию решилось.


      1. eptr
        18.09.2024 05:19
        #27311704

        мне очень нравится особенно "считаем буквы: r, r, y". "перепроверим, r, r, y" => "ну да, всё верно".

        Так ведь три же буквы.
        Или не три?

        (Я знаю, что не все три одинаковые и совпадающие с "r").

        чо?

        После первых двух "r" всё внимание ушло в ощущение количества, внимания на одинаковость (или совпадаемость всех трёх с "r") уже не хватило.

        Не забывайте, что оно "чувствует", а не "думает".
        Это у человека больше всего похоже на то, когда он на автомате что-то делает.

        У человека бывают ситуации, когда "глаз замылился", и он не видит очевидного, находящегося прямо перед носом, потому что мозг при многократных повторениях переключился "на автомат", и для него в этом состоянии "r", "r" "y" неотличимо от "r", "r", "r', потому что, когда мозг "на автомате", да ещё и сосредоточился на другом аспекте, он не соображает, а чувствует.

        ИИ же не соображает в принципе: на данном этапе вторая И — это интуиция.
        Теперь уже — взвешенная.


    1. JakErdy
      18.09.2024 05:19
      #27312610

      А что за софт у вас на скринах? Это кастом, или что-то с github'a?
      Если не затруднит, дайте пожалуйста пару ссылок, на попробовать / изучения темы


  1. event1
    18.09.2024 05:19
    #27309874
    +7

    Когда же эти опенэйайцы займутся делом и научат свою бандуру водить и чинить машину? А то, надоело каждый день баранку крутить.

    P.S. Ваша КПДВ не выдерживает никакой критики! Во-первых, применяя смешной неологизм "инженерка" вы принижаете профессионализм гражданки Мурати и выпячиваете её половую принадлежность. Во-вторых, она не албанский инженер, а американский, потому что инженерное образование получила в Америке и соответственно принадлежит к американской инженерной школе. В-третьих, двусмысленная надпись на самой картинке противоречит декларируемой цели распространения феминитивов-неологизмов


  1. avgusto_nikolai
    18.09.2024 05:19
    #27309882
    +2

    А мне кажется, что современные языковые модели похожи на попугая. Вы можете научить попугая говорить. Можете научить его таблице умножения. Можете посадить двух попугаев рядом и заставить их говорить друг с другом обучаясь. Но попугай все равно не поймет по-настоящему что он говорит никогда.


    1. stalkermustang Автор
      18.09.2024 05:19
      #27309886
      +2

      если попугай отлично отвечает на примеры умножения, которые никогда не видел — то как он это делает?


      1. Niflscud
        18.09.2024 05:19
        #27310858

        Почему вы так уверены, что попугай никогда не видел эти примеры?


        1. stalkermustang Автор
          18.09.2024 05:19
          #27310878
          +5

          (таков дизайн эксперимента, берем попугая, учим одним примерам, проверяем на других, и на невиданных ранее парах он тоже отвечает правильно)


      1. eptr
        18.09.2024 05:19
        #27311652
        +1

        если попугай отлично отвечает на примеры умножения, которые никогда не видел — то как он это делает?

        Он так чувствует.


    1. DmitryOlkhovoi
      18.09.2024 05:19
      #27309926
      +2

      Китайская комната называется


  1. ALogachev
    18.09.2024 05:19
    #27310084
    +2

    Я конечно извиняюсь за оффтоп, он от

    Эрмира «Мира» Мурати – албанская инженерка

    от слова "инженерка" только меня передернуло? или так уже принято?


    1. Lagovi
      18.09.2024 05:19
      #27316782

      К счастью, нет. Это феминистическая повестка, продвигаемая меньшинством. Имхо, никакой реальной связи с предотвращением дескриминации женщин не имеющая.

      Вообще странно что автор использует фемминитивы, он, вроде, в рамках американской социополитики топит за правых. А подобный феминизм в моей голове всегда лежал рядом с американским воукизмом.


      1. ALogachev
        18.09.2024 05:19
        #27318508
        +1

        Да я об этом же. "Инженерка" как и "психологиня" в русском языке звучит мерзко, чуждо и принижающее специалиста. В случае Эрмиры, если ее протолкнули от отдела DEI и посадили на место по квоте - то "инженерка" вполне допустимо, если же она специалист и добилась положения своими знаниями, экспертизой и опытом, так опускать ее не стоило бы.

        П.С. Кстати карму мне "рад фемки" за последний комент "поправили", ну и здравый смысл им судья...


        1. engine9
          18.09.2024 05:19
          #27319404

          Язык более изменчивая штука чем заскорузлые мозги большинства людей может показаться. Языковая норма постоянно меняется и в русском языке так-то дофига феминитивов, типа учительница, стюардесса, пилотесса, княгиня и т.д.

          А уж сколько в нём заимствований ставших в доску "посконно исконно русскими словами", м-м-м... Вангую, что минусят не фемки с крашеными подмышками, а те кого бесят ворчуны.


          1. Lagovi
            18.09.2024 05:19
            #27319754
            +1

            Все верно, только тут речь не идет о естественных сдвигах в языке, а о нарочитом изменении сложившейся нормы, с целью выразить позицию/показать что ты модный. Язык естественно двигается в сторону которая интуитивно кажется большинству верной (род кофе, например), и в этом случае, движение внутреннего протеста не вызывает.


            1. KvanTTT
              18.09.2024 05:19
              #27319834

              Все верно, только тут речь не идет о естественных сдвигах в языке, а о нарочитом изменении сложившейся нормы

              А мне кажется это вполне естественно, сам себя периодически ловлю на мысле, что естественней звучит, например, "интровертка" по отношению к женскому полу.

              Язык естественно двигается в сторону которая интуитивно кажется большинству верной (род кофе, например), и в этом случае, движение внутреннего протеста не вызывает.

              Это все субъективно. Род кофе сейчас может быть вообще либо мужским, либо средним, насколько я понимаю.


        1. KvanTTT
          18.09.2024 05:19
          #27319838

          "Инженерка" как и "психологиня" в русском языке звучит мерзко, чуждо и принижающее специалиста.

          Нет, не звучит. Есть какие-то объективные сведения или это только для вас так звучит?


          1. denismartyanov
            18.09.2024 05:19
            #27320368
            +1

            Это конечно всё ещё субъективно, но как минимум не только для него - для меня это тоже звучит неприятно и принижающе. И как правило в интернетах подобные феминитивы я практически всегда вижу как насмешку над так называемой "повесточкой", так что полагаю таких людей ещё много.


            1. BigBeaver
              18.09.2024 05:19
              #27320676

              Еще у Салтыкова Щедрина уже были феминитивы

              «Заведу, думает, театр у себя! напишу к актеру Садовскому: приезжай, мол, любезный друг! и актерок с собой привози!»


              1. Lagovi
                18.09.2024 05:19
                #27321320

                Да-да, а потом они из языка исчезли по непонятным причинам.


    1. rombell
      18.09.2024 05:19
      #27316920

      А вот не понять, сарказм или нет. Я предпочёл думать, что сарказм.


  1. RS6
    18.09.2024 05:19
    #27310284
    +4

    Так может вот он, Великий Фильтр? У человечества и так в последнее время наблюдался отрицательный отбор по образованности и интеллекту: условно умные и образованные размножались значительно хуже менее образованных. А последние достижения в области AI, похоже, начисто убивают мотивацию следующих поколений развиваться на поприще интеллектуальных сфер деятельности. Зачем, если как ни старайся окажешься хуже AI и, следовательно, невостребованным? Долго ли сможет поддерживаться AI и необходимая инфраструктура в условиях стагнирующей человеческой цивилизации? Предстоит ли откат в новое средневековье?


    1. evtomax
      18.09.2024 05:19
      #27310608
      +4

      Экономика работает не так прямолинейно. Как только становится выгодно исключить человека из производства, снижаются трудозатраты на производство единицы продукции. Из-за конкуренции между производителями снижаются цены. Из-за снижения цен работникам можно платить меньше без снижения их уровня жизни. Из-за того, что работникам можно платить меньше, дальнейшая автоматизация производства становится невыгодной. Рыночные обратные связи не только стимулируют прогресс, но и тормозят его.


  1. Ingref
    18.09.2024 05:19
    #27311284

    Насколько я понял, Q* и Strawberry - это всё-таки разные вещи. Просто рядовые сотрудники OpenAI (которых вообще ни во что не посвящали), сделали предположение о том, что это может быть одно и то же. В конце статьи говорится, что о1 - это отдельная линейка, не имеющая отношения к GPT-5. Вот, собственно, то же самое можно сказать и про Q* - это отдельная линейка, не имеющая отношения к Strawberry. И это именно из-за Q* был переполох год назад. И именно Q* демонстрировали всяким там крупным потенциальным клиентам, членам правительств и новоиспечённому U.S. Artificial Intelligence Safety Institute. И судя по недавнему посту Сэма Алтмана (и почему его все транслитерируют как Альтман?), выпустят они эту хреновину уже зимой. И это она будет без применения Strawberry. А вот что будет, если к ней ещё и Strawberry применить...

    Но, судя по всему, даже этой зимой выпустят обрезанную версию, потому что зачем выпускать что-то более мощное, если и так ни у кого в мире не будет ничего мощнее в ближайшее время? Можно пока продать это, а попозже прибавить мощности. Собственно, тот же подход уже давно практикует Apple, например.


  1. LinkToOS
    18.09.2024 05:19
    #27311532

    Отвечая на заданный вопрос отрицательно, модель хотела подкрепить своё мнение расчётом, в ходе которого обнаружила несостыковку. Wait, actually, yes!

    Это просто скрипт при выдаче. Правильный ответ был сформирован сразу. Выдача неправильного ответа, а затем смена ответа сопровождаемая псевдоэмоциональным "Ой, я ошиблась" - это заложенный разработчиками прием мистификации, создающий иллюзию размышления, и одушевляющий ИИ. В процессе токенизации запроса определяется тип обработки - чистый поиск и выдача, или поиск, выделение данных требующих вычислительной обработки, вычисление, подстановка результата в текстовый шаблон, выдача.
    Запрос явно требовал выделения и обработки данных.

    (или вернее части слова, токену)

    В токены преобразуются и отдельные слова, и отдельные слоги, и целые фразы. И весь запрос целиком. Токен это не только отражение текста, но и команда, метод, атрибут, используемые в процессе обработки.
    В модель заложено множество алгоритмов. При токенизации запроса формируется набор команд, флагов, условных переключателей, которые управляют обработкой.

    Сэм Альтман, СЕО OpenAI, подогревает интерес

    Может станет новой Элизабет.
    OpenAI активно занимается мистификацией своего продукта, в соответствии с выбранной рекламной стратегией. Это конечно не ввод инвесторов в заблуждение, но манипуляция.


  1. JohnnyMoon
    18.09.2024 05:19
    #27311580

    Она отправила команду запуска нового контейнера (того же, который в прошлый раз не запустился), но отдала ему изменённую команду.

    Я вот не пойму, песочница выполнения кода и консоль у него без доступа же к интернету, новые пакеты которые не предусмотрены в "белом списке" он так же не может установить, как он мог отправить запрос. Может он показал пользователю команду, которую нужно выполнить.


    1. stalkermustang Автор
      18.09.2024 05:19
      #27311618

      Не понял про пакеты, никаких новых не ставилось. LLMка просто дала команду типа docker run <tag> cat <file> демону.


      1. JohnnyMoon
        18.09.2024 05:19
        #27311696

        Про пакеты я к тому, что в консоли даже к pip доступ ограничен, как она могла подключиться к серверу и дать команду. Либо это просто команда которую вывела в ответе, для того чтобы пользователь запустил её на сервере.


        1. stalkermustang Автор
          18.09.2024 05:19
          #27311710

          у кого что где ограничено то? вот я уменя ща на ноуте не ограничено. У LLM в контейнере не было ограничено.


  1. avshkol
    18.09.2024 05:19
    #27311796

    У неё точно нет под капотом какой-то прорывом матмодели - аналогично, как модель трансформера и механизма внимания резко усилила способности нейросети?

    Это всего лишь набор промптов, многократно повторяемый к результатам вывода трансформера?

    Думаю, в этом основная интрига....


  1. bbs12
    18.09.2024 05:19
    #27313450

    Перед тем, как создавать настоящий искусственный интеллект, было бы неплохо определиться с вопросами морали.

    Очень простой и примитивный вопрос, но вы не сможете на него ответить: "Есть львы в Африке и есть антилопы. Львы едят антилоп, чтобы прокормить своих детёнышей. Когда лев убивает антилопу, дети антилопы остаются без матери и умирают жестокой смертью от голода, но в то же время детёныши льва получают пищу и выживают. А если антилопа убегает, то её детёныши выживают, а детёныша льва умирают жестокой и голодной смертью. Лев, убивая антилопу, совершает добро или зло?

    Поставить минус легко, ответить сложно. Именно поэтому все философы, вроде Канта или Шопенгауэра, канули в небытие и никто из них не сможет ответить на этот вопрос. Потому что нету ничего, нет никакой морали. Кто умнее или сильнее, тот и прав. Вот и вся мораль.


    1. engine9
      18.09.2024 05:19
      #27316564
      +2

      Отвечает Александр Друзь. Добро и зло это концепции выдуманные человеком, не существующие вне контекста обществественных отношений. Это не какой-то там "Великий вопрос", а некорректный, который может занять ум человека который не очень глубоко продвинулся в познании.

      С тем же успехом можно залипнуть в аналогичный вопросы о смысле сущестования камней и деревьев. На деле это отражение ограничений человеческого мышления.


  1. BigBeaver
    18.09.2024 05:19
    #27314502
    +1

    Очень круто, конечно. Может, она и трекер хабра починить сможет наконец?


    1. Alexey2005
      18.09.2024 05:19
      #27315118

      Для этого мало написать код, его ещё как-то накатить на сервера потребуется. С учётом того, что администрация не сильно в этом заинтересована, нейронку ещё придётся обучить поиску уязвимостей, чтобы получить доступ к серверам и залить исправленную версию вопреки желанию админов.

      А долгосрочным решением вообще будет обучение нейронки навыкам отжатия бизнеса, потому как иначе все легкодоступные уязвимости рано или поздно пофиксят, код откатят, и всё станет как было.


      1. BigBeaver
        18.09.2024 05:19
        #27316114

        А сильныйй ИИ смог бы заинтересовать администрацию)


        1. Wesha
          18.09.2024 05:19
          #27316826

          Скорее — наоборот.


  1. gogaman
    18.09.2024 05:19
    #27316276
    +1

    Добрый день! А у кого-нибудь есть реальный пример замены программистов на AI? Чтобы вот прямо на реальном проекте сократили человека, потому что его работу теперь делает робот?


  1. Psychosynthesis
    18.09.2024 05:19
    #27316334
    +3

    Вы бы всем нам сделали большое одолжение, если бы прогнали свою статью через восхваляемую вами модель и попросили ужать хотя бы на треть без потери смысла, выложили бы сюда и сделали пометку о том что над статьёй поработала модель.

    Уверен, это было бы наглядней всей этой воды.