Искусственный интеллект продолжает свое развитие. И все чаще от разных компаний мы слышим про сильный ИИ. Но что это и стоит ли ждать его создания в ближайшее время?
Содержание
- Введение
- Ограничения на пути к сильному ИИ
- Резюме
Введение
Сильный или общий ИИ (AGI) – это ИИ, который может ориентироваться в меняющихся условиях, моделировать и прогнозировать развитие ситуации. Если ситуация выходит за стандартные алгоритмы, то он должен самостоятельно найти ее решение. Например, решить задачу «поступить в университет». Или изучить правила игры в шашки, и вместо шахмат начать играть в шашки.
Какими качествами должен обладать такой ИИ?
Мышление - использование таких методов как дедукция, индукция, ассоциация и т.д., которые направлены на выделение фактов из информации, их представление (сохранение). Это позволит точнее решать задачи в условиях неопределённости.
Память - использование различных типов памяти (кратковременная, долговременная). Может быть использована для решения задач опираясь на предыдущий опыт. Даже если Вы попробуете пообщаться с ChatGPT 4, то увидите, что алгоритм обладает небольшой краткосрочной памятью, и через 10-15 сообщений забывает, с чего все начиналось. Вообще, по моему мнению, вопрос памяти и «массивности» ИИ-моделей станет ключевым ограничением в развитии ИИ. Об этом чуть ниже.
Планирование - тактическое и стратегическое. Да, уже есть исследования, которые утверждают, что ИИ может планировать свои действия и даже обманывать человека для достижения своих целей. Но сейчас это все равно только в стадии зарождения. И чем глубже будет планирование, особенно в условиях неопределенности, тем больше нужно мощностей. Ведь одно дело планировать игру в шахматы на 3-6 шагов в глубину, где все правила четкие, а другое в ситуации неопределенности.
Обучение - имитация действий другого объекта и обучение через проведение экспериментов. Сейчас ИИ учится на больших массивах данных, но он сам не моделирует и не проводит экспериментов. Хотя, мы не до конца понимаем, как работает тот же Chat GPT. И это одна из главных проблем. Но обучение требует формирования долгосрочной памяти и сложных взаимосвязей. А это, как мы поняли, проблема для ИИ.
Сейчас такого сильного ИИ сейчас нет ни у кого. Мы лишь на стадии перехода от слабого к промежуточному. Да, ChatGPT от OpenAI, LaMDA от Google и другие большие языковые модели (LLM) умеют генерировать текст / иллюстрацию / видео через анализ запроса и обработку больших данных. Но они лишь транслируют то, чему обучили их создатели. Они ищут наиболее вероятные варианты сочетания слов и предложений, слов и изображений, пытаются имитировать человеческую деятельность.
Но не стоит питать иллюзий, это лишь математика и статистика. А в их ответах много «брака» и «галлюцинаций». К реальному взаимодействию с миром они еще не готовы.
Давайте приведем простой пример.
В рамках своей деятельности, особенно в области управления проектами, я решил написать пост о том, почему Agile не универсальный подход к управлению проектами. Почему при правильном применении любая компания и команда должны уходить ближе к гибридным или каскадным подходам.
И я решил попробовать в деле ChatGPT, GigaChat, YaGPT и AI Search.
Для этого я сформулировал простой запрос: «Напиши пост о том, почему Agile бесконечно применять неправильно. Сделай акцент на том, что проведение ретроспектив должно уводить от ситуации неопределенности к ситуации сложных упорядоченных или простых упорядоченных систем».
Ответ ChatGPT4: «Agile — это подход к разработке программного обеспечения, который основан на итеративном и инкрементном создании продукта, сотрудничестве между самоорганизующимися командами и постоянном улучшении процесса. Одним из ключевых принципов Agile является проведение регулярных ретроспектив, то есть сессий, на которых команда анализирует свою работу, выявляет проблемы и находит способы их решения.
Ретроспективы — это мощный инструмент для повышения эффективности и качества работы, но только если они проводятся правильно. К сожалению, многие команды допускают ошибку, применяя Agile бесконечно, без учета контекста и изменений в окружающей среде. Это приводит к тому, что ретроспективы становятся бесполезными, скучными и демотивирующими.
Чтобы избежать этого, нужно понимать, что Agile не является универсальным решением для любой ситуации. В зависимости от степени неопределенности и сложности проекта, команда может находиться в одной из четырех зон: хаоса, сложности, порядка или простоты. Эти зоны можно представить в виде матрицы, где по горизонтали отложена степень неопределенности, а по вертикали - степень сложности.
!Матрица зон (редакция чат-бота)
Каждая зона требует своего подхода к ретроспективам и улучшениям. В зоне хаоса команда сталкивается с непредсказуемыми и экстремальными ситуациями, которые требуют быстрого реагирования и адаптации. В этом случае ретроспективы должны быть короткими, частыми и фокусированными на выживании и стабилизации. В зоне сложности команда работает с неясными и динамичными требованиями, которые требуют творчества и экспериментирования. В этом случае ретроспективы должны быть длинными, редкими и фокусированными на обучении и инновациях. В зоне порядка команда работает с ясными и стабильными требованиями, которые требуют дисциплины и оптимизации. В этом случае ретроспективы должны быть средними, регулярными и фокусированными на эффективности и качестве. В зоне простоты команда работает с очевидными и простыми требованиями, которые требуют минимального усилия и внимания. В этом случае ретроспективы могут быть опущены или проводиться по необходимости.
Однако, важно понимать, что зоны не являются статичными и могут меняться со временем. Поэтому, команда должна постоянно оценивать свой контекст и адаптировать свой подход к ретроспективам. Цель ретроспектив не в том, чтобы применять Agile бесконечно, а в том, чтобы уводить команду от ситуации неопределенности к ситуации сложных упорядоченных или простых упорядоченных систем. Только тогда ретроспективы будут приносить пользу и удовольствие команде и проекту.»
Ответ GigaChat: «Agile — это методология разработки программного обеспечения, которая стала очень популярной в последние годы. Она предлагает гибкий подход к управлению проектами, который позволяет быстро реагировать на изменения и адаптироваться к новым требованиям. Однако, бесконечное применение Agile может привести к проблемам.
Одной из главных причин, почему Agile бесконечно применять неправильно, является то, что он может привести к ситуации неопределенности. В Agile-проектах мы часто сталкиваемся с изменениями требований и приоритетов, что может вызывать неопределенность в отношении того, что нужно делать дальше.
Проведение ретроспектив является одним из способов борьбы с этой неопределенностью. Ретроспективы помогают команде понять, что было сделано правильно и что нужно улучшить в будущем. Они также помогают команде перейти от ситуации неопределенности к ситуации сложных упорядоченных или простых упорядоченных систем.
Однако, если мы бесконечно применяем Agile без проведения ретроспектив, то мы можем остаться в ситуации неопределенности. Это может привести к тому, что команда будет тратить много времени на исправление ошибок и адаптацию к новым требованиям, а не на создание нового функционала.
Кроме того, бесконечное применение Agile может привести к тому, что команда будет постоянно работать над мелкими задачами и не будет иметь времени на создание больших функциональных блоков. Это может привести к тому, что проект будет развиваться медленно и не будет соответствовать ожиданиям заказчика.
В целом, Agile — это отличный подход к управлению проектами, но его бесконечное применение может привести к проблемам. Проведение ретроспектив помогает команде перейти от ситуации неопределенности к ситуации сложных упорядоченных или простых упорядоченных систем и улучшить качество работы команды.»
Ответ YaGPT2: «Бесконечное применение Agile может привести к неправильным решениям и проблемам с качеством продукта. Важно понимать, что Agile не является универсальным решением для всех проектов и команд, и его постоянное использование может привести к потере эффективности и продуктивности.
Одним из ключевых принципов Agile является проведение ретроспективных сессий, которые помогают команде проанализировать свои прошлые успехи и неудачи. Однако, если эти ретроспективы проводятся постоянно, это может увести команду от решения реальных проблем и задач.
Вместо того чтобы помогать команде развиваться и становиться более эффективными, постоянные ретроспективы могут привести к ситуации, когда команда постоянно обсуждает одни и те же проблемы и не может продвинуться вперед. Это может создать ситуацию неопределенности, когда команда не знает, что делать дальше, или же наоборот, может привести к созданию сложных и неупорядоченных систем, которые только усложняют процесс работы.
Чтобы избежать этого, важно определить, когда и как часто проводить ретроспективные сессии. Они должны быть сфокусированы на анализе конкретных проблем и возможностей для улучшения, а не на обсуждении одних и тех же вопросов снова и снова.
Также важно понимать, что каждая команда и проект уникальны, и то, что работает для одной команды, может не работать для другой.
Ответ AI Search: «Привет, друзья! Сегодня я хотел бы поделиться своими мыслями о том, почему Agile, несмотря на его популярность и эффективность, часто применяется неправильно. Особое внимание я обращу на то, почему проведение ретроспектив является важным инструментом для перехода от ситуации неопределенности к упорядоченным или сложным системам.
Agile — это философия и подход к разработке программного обеспечения, который изменяет традиционный подход к управлению проектами, делая его более гибким и адаптивным к изменениям. Однако, несмотря на явные преимущества, Agile может быть применен неправильно, и в результате, его потенциал не раскрывается полностью.
Одной из главных проблем неправильного применения Agile является недостаток регулярного проведения ретроспектив. Ретроспектива, как экспертная оценка прошедшей работы, помогает командам принять во внимание произошедшие изменения, недостатки и улучшения при планировании будущих итераций. Это позволяет отточить процесс работы и увеличить эффективность. Однако, некоторые команды часто игнорируют проведение ретроспектив или проводят их несистематически.
Не проводя регулярные ретроспективы, команды упускают возможность видеть свои проблемы, подтверждать или изменять свое видение и настраивать этапы разработки. В результате, команды могут застрять в ситуации неопределенности и не иметь возможности двигаться вперед.
Одним из главных принципов Agile является обеспечение быстрого отклика на изменения и непрерывное улучшение процесса работы. Если ретроспективы не проводятся регулярно, команды недостаточно осознают свои ошибки и упущения, что затрудняет прогресс в достижении упорядоченности и эффективности.
Кроме того, проведение регулярных ретроспектив помогает двигаться командам от ситуации неопределенности к сложным или простым упорядоченным системам. Начиная с простых упорядоченных систем, где правила и процессы легко определены и контролируются, команды могут постепенно переходить к более сложным системам, где правила более неоднозначны и требуют большей адаптации.
Итак, ретроспективы являются важной частью Agile-процесса и помогают командам двигаться от неопределенности к упорядоченности и сложным системам. Они позволяют командам осознать свои ошибки и изъяны, а также увидеть области для улучшения. Не пренебрегайте регулярными ретроспективами, чтобы ваша команда могла максимально раскрыть потенциал Agile и достичь высокой эффективности работы.
Желаю вам успешной работы в применении Agile и постоянного совершенствования своих процессов! Будьте гибкими, настойчивыми и внимательными.»
Ну и мой пост: «Почему Agile не вечен и не панацея?»
В последние годы все как один декларируют, что они Agile.
Давайте будем честны, в большинстве под этим скрывают банальный хаос. Agile не про отсутствие планирования. Кроме того, он очень чувствителен к выполнению определенных правил и стабильности команды, ее мотивации. То есть Вы не Agile в таком случае.
Но и само использование того же Scrum, Kanban или других подходов должно приводит к отпадению в необходимости реализации проектов по Agile.
Но почему?
Давайте вспомним, зачем появился Agile? Для работы и реализации проектов в ситуации высокой неопределенности.
Даже есть инструмент - модель Кеневин. Он помогает понять, в какой ситуации / системе вы находитесь, и какой подход нужно выбирать, на чем фокусироваться.
При этом в упорядоченных системах (простых или сложных) Agile наоборот противопоказан. Он увеличивает затраты на достижение результата. Что называется каждый раз придумывать велосипед заново. То есть Agile про результативность, когда надо сделать то, не знаю что. Но он не про эффективность.
А теперь давайте обратим внимание на ретроспективу. Все подходы внутри Agile предполагают регулярные ретроспективы, анализ своей работы, взаимодействия с клиентом / заказчиком / партнером. То есть сама логика этих инструментов в том, чтобы уйти от неопределенной ситуации и научиться прогнозировать их, становиться эффективнее.
Если вы постоянно (раз в полгода - год) меняете работу, или постоянно запускаете новые продукты, а не тиражируете определенные решения (что для бизнеса странно), то да, вам нужно быть Agile.
Но если У Вас есть сегмент, и вы наработали с опытом и экспертизой "типовые" подходы / продукты, которые нужно корректировать и адаптировать в небольшой части, то рано или вы должны уйти от Agile. Вы должны прийти к упорядоченной системе, где нужны каскадные или гибридных подходы. Эти ретроспективы вас и должны привести к пониманию того, а чего хотят заказчики в 90% случаев и как работает организация / коллеги.
В итоге, если вы Agile на постоянной основе и везде, а не на период перестройки / запуска / адаптации, то это может говорить о:
несоблюдении инструментов Agile;
вы не нашли свой продукт и свою нишу или себя, не наработали нужную экспертизу;
у вас каждый раз уникальный продукт / проект (что должно отражаться на высокой цене ваших услуг);
-
организация "больна" изнутри, и вы таким образом маскируете высокую текучку, отсутствие работы над процессами и т.д.
А что вы думаете по этому поводу?»
Качество ответов нейросетей больше похоже на очень слабого студента, который просто подбирает похожие слова, но не понимает, о чем говорит. Мог бы я добиться аналогичного поста от нейросети? Чтобы она передала мои смыслы? Да, конечно, но мой пост я написал за 25 минут, а сколько времени у меня ушло бы на попытки добиться такого результата от ИИ?
Поэтому, по разным оценкам, до сильного ИИ еще 5-20 лет.
Также, различные исследователи выделяют суперсильный ИИ (ASI). Это ИИ, который может не только решать сложные задачи, но и делать это практически моментально. Если слабых ИИ уже тысячи, под каждую задачу, сильных ИИ будут десятки (скорее всего будет разделение по направлениям), то суперсильный ИИ будет 1 на государство или на всю планету.
Ограничения на пути к сильному ИИ
Если быть честным, то я с осторожности настроен к вопросу быстрого появления сильного или суперсильного ИИ.
Во-первых, это очень затратная и сложная задача с точки зрения регуляторных ограничений. Эпоха бесконтрольного развития ИИ заканчивается. На него будет накладываться все больше ограничений.
В риск-ориентированном подходе сильный и суперсильный будут на верхнем уровне риска. А значит и ограничения будут заградительные. Уже сейчас разработчики ИИ, в том числе ChatGPT, сталкиваются с судебными исками о нарушении авторских прав. И это до введения жестких правил.
Во-вторых, это сложная задача с технической точки зрения, причем сильный ИИ будет и очень уязвим.
Сейчас, в середине 2020-х, для создания и обучения сильного ИИ нужны гигантские вычислительные мощности и сложные ИИ-модели. Придется экспоненциально увеличивать количество нейронов и выстраивать связи между ними. Если человеческие нейроны могут быть в нескольких состояниях, а активация может происходить «по-разному» (да простят меня биологи за такие упрощения), то машинный ИИ так не может. То есть, условно, машинные 80-100 млрд нейронов не равны 80-100 млрд у человека. Машине потребуется больше нейронов. Тот же GPT4 оценивают в 100 трлн параметров (условно нейронов), и он все равно уступает человеку.
Все это приводит к нескольким факторам.
Первый - рост сложности всегда приводит к проблемам надежности, увеличивается количество точек отказа. Такие модели модели сложно как создавать, так и поддерживать от деградации во времени, в процессе работы. ИИ-модели нужно постоянно «обслуживать». Если этого не делать, то сильный ИИ станет похож на старика с деменцией, а срок «жизни» будет очень низким. А представьте, что может натворить сильный ИИ с его возможностями, но который при этом будет страдать Альцгеймером? Даже для текущих ИИ-решений это актуальная проблема.
Давайте приведем пару простых примеров из жизни. Первый – на основе мышц человека. Когда мы только начинаем заниматься в спортивном зале и увлекаться силовыми занятиями, бодибилдингом, то прогресс идет быстро, но чем дальше, тем ниже КПД и рост результатов. Нужно все больше ресурсов не только для прогресса, но и просто удержания формы. Плюс рост силы идет от толщины сечения мышцы, а вот масса растет от объема. В итоге мышца в определенный момент станет настолько тяжелой, что не сможет сама себя двигать, а может даже и сама себя повредить.
Аналогичный пример можно привести и к инженерной области. Например, гонки Формулы 1. Так, отставание в 1 секунду можно устранить, если вложить 1 млн и 1 год. Но вот чтобы отыграть решающие 0,2 секунды может потребоваться уже 10 млн и 2 года работы. А фундаментальные ограничения конструкции машины могут заставить вообще пересмотреть всю концепцию гоночной машины.
Если посмотреть на обычные машины, то все тоже самое. Современные автомобили дороже и создавать, и содержать, а без специального оборудования невозможно поменять даже лампочку. Если взять современные гиперкары, то после каждого выезда требуются целые команды техников для обслуживания.
Если вернуться к вопросу деградации, то помимо технологий тут будет и влияние людей. Любой ИИ, особенно на раннем этапе, будет обучаться на основе обратной связи от людей (их удовлетворённость, начальные запросы и задачи). Примером тут может служить тот же ChatGPT4. Так, например, ChatGPT использует запросы пользователей для дообучения своей модели. И в конце 2023 года стали появляться статьи, что ИИ-модель стала «более ленивой». Чат-бот либо отказывается отвечать на вопросы, либо прерывает разговор, либо отвечает просто выдержками из поисковиков и других сайтов. Причем к середине 2024 года это уже стало нормой, когда модель просто приводит выдержки из Википедии.
А одна из возможных причин в том, что сами пользователи стали задавать все более простые и примитивные запросы. Ведь LLM (большие языковые модели) не придумывает ничего нового, эти модели пытаются понять, что вы хотите от них услышать и подстраиваются под это. Она ищет максимальную эффективность связки трудозатраты-результат. Это называется максимизацией функции. Просто математика и статистика.
В общем тут можно привести в пример анекдот:
"Я печатаю со скоростью 300 знаков в минуту!
- Что, правда?
- Ага, только полная фигня получается."
Второй фактор - количество данных. Да, мы можем увеличить текущие модели в ХХХХ раз. Но тому же прототипу ChatGPT5 уже в 2024 году не хватает данных для обучения. Сильному ИИ для первоначального обучения потребуется огромное количество качественных данных.
Третий фактор - ИИ-модель будет привязана к своей «базе». Ей потребуются огромные и сложные дата-центры для работы, с мощными источниками энергии и качественным охлаждением. Так, по некоторым оценкам на 5 - 50 запросов для ChatGPT 4 уходит до 0,5л воды на охлаждение. Для более мощных моделей этот показатель будет также расти, хотя возможно это нивелируется технологическим развитием ИИ-ускорителей.
И какими бы ни были пропускными каналы интернета, все равно «мозг» будет в этих центрах, не будет распределенных сетей обработки данных. Во-первых, распределенные вычисления все равно теряют в производительности и эффективности. Кроме того, распределенная сеть не может гарантировать работу вычислительных мощностей постоянно. Во-вторых, это уязвимость перед атаками на каналы связи и ту же распределенную инфраструктуру. Представьте, что вдруг 10% нейронов вашего мозга просто отключилась (блокировка каналов связи или просто отключились), а остальные тупят и работают вполсилы. В итоге снова имеем риск сильного ИИ, который то забывает кто он, то, где он, то еще что-то.
А уж если все придет к тому, что сильному ИИ потребуется тело для взаимодействия с миром, то реализовать это будет еще сложнее. Тогда ИИ-модель будет ограниченной, иначе как все это обеспечивать энергией и охлаждать? Откуда брать мощности для обработки данных? То есть это будет ограниченная ИИ с постоянным подключением к основному центру по беспроводной связи. А это снова уязвимость. Современные каналы связи дают выше скорость, но это сказывается на снижении дальности действия и проникающей способности. Кроме этого, такие каналы и проще подавить средствами радиоэлектронной борьбы. То есть мы получаем рост нагрузки на инфраструктуру связи и рост рисков.
Тут можно, конечно, возразить. Например тем, что можно взять предобученную модель и сделать ее локальной. Примерно также, как я предлагаю разворачивать локальные ИИ-модели с «дообучением» в предметную область. Да, в таком виде все это может работать на одном сервере. Но такой ИИ будет очень ограничен, это будет «промежуточный» ИИ, и он будет «тупить» в условиях неопределенности и ему все равно нужна будет энергия. То есть это история не про создание человекоподобных суперсуществ. Это будет большое количество сильных ИИ, но дорогих и с ограниченными возможностями, что не очень интересно рынку.
Все эти факторы приведут к геометрическому росту сложности и затрат на создание, развитие и поддержание сильного ИИ. Затраты на исследования и создания прототипов могут преодолеть 0,5 – 1 трлн долларов США.
При этом, слабые модели с узкой специализацией останутся более «свободными» и простыми для создания.
Все это приводит к вопросам об экономической целесообразности инвестиций в это направление. Тем более с учетом двух ключевых трендов в развитии ИИ:
создание дешевых и простых локальных моделей для решения специализированных задач;
создание ИИ-оркестраторов, которые будут декомпозировать запрос на несколько локальных задач и затем перераспределять это между разными локальными моделями.
В итоге мы имеем более простое и дешевое решение рабочих задач, нежели создание сильного ИИ.
Конечно, мы выносим за скобки нейроморфные и квантовые системы, но мы эту тему рассмотрели тут. И, естественно, в моих отдельных цифрах и аргументах могут быть ошибки, но в целом я убежден, что сильный ИИ не вопрос ближайшего будущего.
Резюме
В результате, если резюмировать, то у сильного ИИ есть несколько фундаментальных проблем.
Экспоненциальный рост сложности разработки и деградация сложных моделей.Недостаток данных для обучения.Стоимость создания и эксплуатации.Привязанность к ЦОДам и требовательность к вычислительным ресурсам.Низкая эффективность текущих моделей по сравнению с человеческим мозгом.
Именно преодоление этих проблем определит дальнейший вектор развития всей технологии: либо все же сильный ИИ появится, либо мы уйдем в плоскость развития слабых ИИ и ИИ-оркестраторов, которые будут координировать работу десятков слабых моделей.
Но сейчас сильный ИИ не про ESG, экологию или коммерческий успех. Его создание может быть только в рамках стратегических и национальных проектов, которые будет финансировать государство.
Комментарии (32)
TimKady
03.06.2024 12:24+7Выводы ваши не верны.
«Экспоненциальный рост сложности разработки и деградация сложных моделей.»
Этот не очевидный тезис требует серьезного обоснования. И это можно не делать, так как практика это опровергает. Никакой экспоненциальной сложности при правильном выборе архитектуры нет. И о каких моделях именно идёт речь в контексте деградации?
«Недостаток данных для обучения.»
То, что вы слышали, что GPT-5 испытывает нехватку данных, вами неверно интерпретируется. LLM – это один из видов ИИ (причем – слабый), решающий по сути ту же задачу, что и затылочная ассоциативная кора человеческого мозга – это система понятий. То, что кончились понятия, которыми оперирует человеческое сознание – вполне нормально и ожидаемо. Кто говорил, что их количество бесконечно? Словарь любого языка не превышает 100 тыс. слов. Количество понятий, как выяснилось, – меньше, чем число параметров GPT-5.
«Стоимость создания и эксплуатации. »
Стоимость создания. Пока все в рамках стандартного объема инвестиций. Эксплуатация – зависит от отрасли или сферы работы AGI. Но как правило, кожаные мешки обходятся дороже. Здесь метод расчета важен – считаем по прямым или стоимость владения? А можем и в альтернативных издержках посчитать.
«Привязанность к ЦОДам и требовательность к вычислительным ресурсам. »
И что? Новая технология требует своей инфраструктуры. Проблема-то в чем?
«Низкая эффективность текущих моделей по сравнению с человеческим мозгом. »
Терминологию уточните, плз. Эффективность – количество правильных результатов к совокупным издержкам. Да, мозг потребляет меньше энергии. Ничего, решим и это, например, импульсными чипами и спайковыми сетями.
Может разговор о результативности? И как вы делаете заключение о более низкой результативности AGI, наблюдая за слабым ИИ? Если так, то это странно, не находите ли?
Dzhimsher Автор
03.06.2024 12:24Спасибо большое за развернутый комментарий :)
1. «Экспоненциальный рост сложности разработки и деградация сложных моделей.»Этот не очевидный тезис требует серьезного обоснования. И это можно не делать, так как практика это опровергает. Никакой экспоненциальной сложности при правильном выборе архитектуры нет. И о каких моделях именно идёт речь в контексте деградации?
То есть, Вы утверждаете, что создание сильного ИИ станет возможно на архитектуре и с количеством параметров равным той же GPT-3? Или эволюция от GPT-3 к GPT-4 не сопровождается ростом количества "нейронов", а рост количества нейронов не приводит к увеличению взаимосвязей? Верно я Вас понял?
2. «Недостаток данных для обучения.»То, что вы слышали, что GPT-5 испытывает нехватку данных, вами неверно интерпретируется. LLM – это один из видов ИИ, решающий по сути ту же задачу, что и затылочная ассоциативная кора человеческого мозга – это система понятий. То, что кончились понятия, которыми оперирует человеческое познание – вполне нормально и ожидаемо. Кто говорил, что их количество бесконечно? Словарь любого языка не превышает 100 тыс. слов. Количество понятий – меньше, чем число параметров GPT-5.
То есть, мое утверждение о том, что данных недостаточно Вы опровергаете тем, что данных недостаточно? Или в чем смысл? В чем именно мой тезис неверен?-
«Стоимость создания и эксплуатации. »
Стоимость создания. Пока все в рамках стандартного объема инвестиций. Эксплуатации – зависит от отрасли или сферы работы AGI. Но как правило, кожаные мешки обходятся дороже.
Интересное мнение. Тогда почему, согласно исследованиям, почти все ИИ -проекты убыточны? И та же Open AI отчитывается об убытках?
-
«Привязанность к ЦОДам и требовательность к вычислительным ресурсам. »
И что? Новая технология требует своей инфраструктуры. Проблема-то в чем,?
Проблема в том, что это ограниченный и уязвимый сильный ИИ. Собственно об этом и речь в статье :)
«Низкая эффективность текущих моделей по сравнению с человеческим мозгом. »
Терминологию уточните, плз. Эффективность – количество правильных результатов к совокупным издержкам. Может разговор о результативности? И как вы делаете заключение о более низкой результативности AGI, наблюдая за слабым ИИ? Странно, не находите ли?
Разговор об эффективности: количество данных и энергии на вход, для получения сопоставимого результата. Эффективность - относительная величина затрат на результат.
Если говорим о данных, то для обучения решения одной и той же задачи (условно распознавание кошки от собаки) ИИ надо "скормить" на порядки больше данных, чем для обучения.
Тоже самое для энергии. ИИ-модели текущего поколения требуют для обработки данных кратно больше энергии. На обработку 1 запроса тот же GPT-4 (который как мы с Вам уже выяснили не сильный ии) уходит до 0,5л воды на охлаждение.TimKady
03.06.2024 12:24То есть, Вы утверждаете, что создание сильного ИИ станет возможно на архитектуре и с количеством параметров равным той же GPT-3?
Вы меня, конечно же простите, но не процитируете, а где я такое утверждал? И чего вы так привязались к транформерам? Это архитектура, которая позволила создать определенный не плохо функционирующий элемент. Но это совсем не означает, что весь AGI должен строиться на этой технологии.
Поясню на примере. Ок LLM — это затылочная ассоциативная кора, сделанная по технологии транформеров. Затылочная зрительная кора — машинное зрение — это свёрточные сети. Более того, ну нельзя, например, от затолченной ассоциативной коры требовать поддержания температуры тела. И тем более когнитивных действий!
Когда вы говорите об AGI то разговор идет о сложной системе, где LLM может быть лишь ее частью, и разговор может идти о разных «участках», и для каждого их них может примется своя технология. И при этом число параметров совершено не информативно. Например, в нашем проекте центр эмоциональной оценки — это вообще прямой алгоритм, то есть 0 параметров. А кто-то для своих задач модет сделать это иначе, например, применяя даже не GPT-3, а GPT-2 или иное, например TextBlob или spaCy.
То есть, мое утверждение о том, что данных недостаточно Вы опровергаете тем, что данных недостаточно? Или в чем смысл?
Во‑первых, данных недостаточно для чего?! Обязательно нужно указывать для чего именно недостаточно! Для понятийного аппарата — это нормально. Для базового обучения AGI (создания «инстинктов»; не путать с обучением его ассоциативной коры) нужны иные знания в предметной области за рамками понятийного аппарата. Например, в нашем проекте — это модели бизнес‑процессов, иерархии объектов управления, и так далее. Для AGI типа «Доктор Хаус» — модели заболеваний и модели организма.
Более того, для AGI более важным становиться создание собственных знаний, извлекаемых из внешней среды и опыта. Если уж писать о проблемах AGI, то они здесь! Это про другое! Это не про то, чтобы учить LLM.
Интересное мнение. Тогда почему, согласно исследованиям, почти все ИИ -проекты убыточны?
Во-первых, не все. Сколько по вашему сейчас ИИ-проектов? Убыточность как считаем? По операционке или по возврату инвестиций?
Кстати, в 2023 году впервые доход от всех ИИ-проектов, превысил текущие инвестиции. В основном убыточность многих (далеко не всех) проектов связанна с эпохой разработки и начала выхода на рынок. Идет гонка и в ней каждый пытается реинвестировать в себя.
Про прибыльность и убыточность нужно будет говорить ближе к 2030 году, в котором ожидают общи доход от ИИ-продуктов в более чем $700 миллиардов.
И та же Open AI отчитывается об убытках?
А ничего, что это ограниченно коммерческая компания? То есть цель ее не заработать денег, а создать AGI. То цели быть прибыльным нет!
Разговор об эффективности: к... (и далее по тексту)
Я реально не хочу вас обидеть. Поэтому, представьте, что то, что последует дальше говорит вам ваш давний приятель с выражением улыбки на лице.
Вы точно не вкурили разницу между не просто AI и AGI, а между LLM и AI. Всё, OpenAI обучила свой трансформер! Его больше не нужно обучать! Лучше уже наверное не будет! Берите и интегрируйте в свою систему! Еще раз, обучение AGI — это про другое! Это не так делается!
Поймите, все же сначала терминология и понятия, потом матчасть, а потом — философия и прогнозы. Ну, поймите, вы не знаете, что стоит за архитектурой AGI, а поэтому допускаете серьёзные ошибки в оценках.
Успехов!
Dzhimsher Автор
03.06.2024 12:24Благодарю :)
То есть, Вы утверждаете, что создание сильного ИИ станет возможно на архитектуре и с количеством параметров равным той же GPT-3?
Вы меня, конечно же простите, но не процитируете, а где я такое утверждал? И чего вы так привязались к транформерам? Это архитектура, которая позволила создать определенный не плохо функционирующий элемент. Но это совсем не означает, что весь AGI должен строиться на этой технологии.
Я ответил Вам на Ваш тезис о том, что мое заявление о росте возможностей связан с ростом сложности этой системы. А трансформеры в данном случае пример. Вы говорили про разные архитектуры для решения разных задач. Да, совершенно верно, но в любом случае AGI будет задачей иного порядка, и никакая текущая архитектура не будет способна решить эту задачу простой системой.
Поясню на примере. Ок LLM — это затылочная ассоциативная кора, сделанная по технологии транформеров. Затылочная зрительная кора — машинное зрение — это свёрточные сети. Более того, ну нельзя, например, от затолченной ассоциативной коры требовать поддержания температуры тела. И тем более когнитивных действий!
Когда вы говорите об AGI то разговор идет о сложной системе, где LLM может быть лишь ее частью, и разговор может идти о разных «участках», и для каждого их них может примется своя технология. И при этом число параметров совершено не информативно. Например, в нашем проекте центр эмоциональной оценки — это вообще прямой алгоритм, то есть 0 параметров. А кто-то для своих задач модет сделать это иначе, например, применяя даже не GPT-3, а GPT-2 или иное, например TextBlob или spaCy.
Вот, собственно Вы и приводите те же аргументы, что и я. Комбинирование различных моделей приводит к усложнению системы. Мы с Вами приходим к тому, что нужен оркестр моделей на разных архитектурах. Теперь возвращаемся к исходному тезису в статье о росте сложности и росте количества точек отказа. Разве мы не об одном и том же говорим?
"Во-первых, данных недостаточно для чего?! Обязательно нужно указывать для чего именно недостаточно! Для понятийного аппарата - это нормально. Для базового обучения AGI (создания "инстинктов"; не путать с обучением его ассоциативной коры) нужны иные знания в предметной области за рамками понятийного аппарата. Например, в нашем проекте - это модели бизнес-процессов, иерархии объектов управления, и так далее. Для AGI типа Доктор Хаус - модели заболеваний и модели организма.
Более того, для AGI более важным становиться создание собственных знаний, извлекаемых из внешней среды и опыта. Это про другое!!! Это не про то, что учить LLM."
Интересный комментарий. Но опять же, ключевая задача AGI - умение ориентироваться в неопределенных ситуациях и переключаться между ними. Вы в описании начинаете уходить в специализации, что уже противоречит концепции AGI. AGI Доктор Хаус это не AGI, это уже специализированное решение, как Eliza в 1960-х.
При этом, для решения бизнес-задач Ваш подход абсолютно оправдан. Я сам сторонник такого подхода - специализированные решения, которые не будут иметь ограничений от регуляторов и экономически оправданы.
Но еще раз, это не AGI
И та же Open AI отчитывается об убытках?
А ничего, что это ограниченно коммерческая компания? То есть цель ее не заработать денег, а создать AGI. То цели быть прибыльным нет!
Совершенно верно, и об этом написано далее. Что все такие проекты не про коммерцию и финансируются из других соображений. А значит и все другие это понимают и будут ставить ограничения на развитии технологии.
По поводу всего дальнейшего. Воспримите это тоже как от приятеля с улыбкой: "Перечитайте и вникните". Одна из бед "экспертов" - снисхождение и любовь делать заключение по обрывочной информации, тех триггерах, которые их зацепили :)
Это примерно также, как я заявлю о том, что Вы ничего не поняли, на обрывке Вашего комментария о AGI Доктор Хаус. AGI в чистом не может иметь специализации, и об этом написано в начале статье. Но заметьте, я с Вами дискутирую и подсвечиваю это, спокойно разбираю, не спускаясь до снисхождения и не обесценивая Ваш опыт. Так прекрасно понимаю, что письменная коммуникация имеет ряд барьеров, а для разбора наших тезисов нужна площадка и живое общение.
Спасибо за дискуссию.TimKady
03.06.2024 12:24+2Джимшер, дорогой и уважаемый (искренне)!
Выша трактовка AGI схожа с супер‑ИИ. Так или иначе, до супер‑ИИ разговор идет об определенной области, где данная система будет работать. И о том, как она будет работать.
AI — это узкоспециализированные задачи. AGI — общие задачи, но в определенной области. Универсальный и всеобщий AI — это уже про супер‑ ИИ. Это как с человеком. Он врач, но это не означает что с ним нельзя поговорить о бейсболе. Я рад, хоть вы не съехали в искусственное сознание.
То, что сейчас финансируют фонды в качестве AGI имеет четкую сферу применения. Только одна компания в мире может себе позволить сейчас не привязываться к конкретной сфере — OpenAI. От всех других этого требуют инвесторы. Так устроена отрасль!
С одной стороны, все хотят AGI, но если ты придешь в фонд и скажешь, что у тебя есть идея, как реализовать общий AI, то лучшее, что ты сразу услышишь: «Мы вам перезвоним». Да, это противоречие с которым приходится жить.
Почему? Во‑первых, деньги — ограничивая сферу, AGI будет дешевле в разработке. Например, нам не нужно прикручивать машинное зрение (но мы знаем, где его взять готовое, если будет нужно).
Во‑вторых, это потому, что все прекрасно понимают одну особенность AGI. Например, наш проект — AGI, помогающий SME вести бизнес. И если мы его создадим (в чем я уверен), то мы получим систему, которая в принципе может вести бизнес сама (при наличии технической возможности «выхода в мир», конечно). Но это интересно только обывателю.
На самом деле это будет означать, что мы — обладаем архитектурой то есть, знаем, как и из каких «кубиков» собрать систему, способную в разумный срок стать кем угодно — врачом, учителем, водителем, пилотом. И, возможно, одновременно! Причем адаптивным, то есть, способным обучаться на своём опыте и опыте всех пользователей системы!
Комбинирование различных моделей приводит к усложнению системы
И да и нет. Вы говорите об экспоненциальном росте сложности, а я его оцениваю ближе к логарифмическому.
Но опять же, ключевая задача AGI - умение ориентироваться в неопределенных ситуациях и переключаться между ними
Да, вот здесь вы действительно переходите к реальной проблематике AGI. Принятие решений в условиях неопределенности и то, как это заставить делать машину — реально один из множества содержательных вопросов, которые стоят перед разработчиками AGI. Например, OpenAI решает это запуском прямого алгоритма в изолированной среде. Мы это делаем иначе (простите, пока не имею возможности поделиться как).
Я могу привести 100 500 подобных вопросов, иногда граничащих с этикой, иногда — с безопасностью, иногда с отсутствием матаппарата, и так далее. Но ни одна из проблем, описанная вами в статье проблемой не является. Например, колоссальная проблема, как подготовить знания (не данные, не информацию, а именно предметные знания) для обучения. Что стоит закладывать сразу («инстинкты»), а что «бросить» на самообучение. Или аффективные вычисления.
Одним словом, все сложно. Но решаемо.
Спасибо вам и за статью, и за дискуссию! Всего вам самого доброго!
Dzhimsher Автор
03.06.2024 12:24+1Выша трактовка AGI схожа с супер‑ИИ. Так или иначе, до супер‑ИИ разговор идет об определенной области, где данная система будет работать. И о том, как она будет работать.
AI — это узкоспециализированные задачи. AGI — общие задачи, но в определенной области. Универсальный и всеобщий AI — это уже про супер‑ ИИ. Это как с человеком. Он врач, но это не означает что с ним нельзя поговорить о бейсболе. Я рад, хоть вы не съехали в искусственное сознание.
Тимур, ну вот еще раз мы и приходим к статье.
Я поэтому в статье и указал, что я прячу под трактовкой AGI, а что под супер AI (ASI).В остальном, мы с Вами говорим по сути об одном и том же. И Ваш подход к созданию мне Импонирует. Именно такой я и продвигаю (в тех же статьях про цифровые советники). И проблемы у нас с Вами идентичные. У нас с Вам различаются отдельные слова, но не суть :)
Было бы интересно это все обсудить вживую, так как практиков в этом направлении единицы, а стоящих материалов еще меньше. А уж материалов, которые хотелось бы обсудить и поспорить...
-
rsashka
Все ваши аргументы в стиле "сова на глобус". Но прежде чем какие либо аргументы приводить, нужно хотя дать само определение, что же такое "интеллект"? (кстати, у вас ошибка в заголовке)
Dzhimsher Автор
За указание на ошибку спасибо, исправил
Что касается совы на глобус - это Ваше мнение. Пока больше похоже на пердение в воздух.
Там приведены конкретные проблемы, если есть обоснование почему нет, то приводите.
rsashka
Зато у вас просто супер крутое обоснование! Вы случайно пикабушечкой или ВК не ошиблись?
Dzhimsher Автор
Обоснование ровно в том же стиле, которое у Вас.
Вы использовали жаргонное выражение без подкрепления тезиса, а теперь обижаетесь, что в отношении Вас было выбранно жаргонное вырежение. Удивительно, а нас то за что...
Flokis_guy
Согласен насчет "совы на глобус", непонятно почему автор сравнивает человеческий мозг и несовершенные LLM модели которые с ним схожи только некоторыми концепциями, и на основе этого делает какие-то выводы в будущем. Так же не понял что такое "сильный ИИ" и "слабый ИИ". Непонятно почему автор говорит в стиле что "АААА, нам нужно больше данных для обучения" (как и огромное кол-во людей), но вот в чем дилемма, в основном человек за всю жизнь обучается на меньшем количестве разнообразной текстовой инфы чем chatgpt тот же, и не всегда качественной в том числе, так может дело не только в количестве и качестве этой инфы?
Но самое забавное, что даже на Википедии описание ИИ ну немного мутное. Это как говорить, что число е это константа приблизительно равна 2,71, как бы верно, но не проясняет детали. Но оно проясняет то, что на данном этапе нашего развития мы не способны корректно провести черту после которой можно что-то назвать ИИ, ну правда маркетологов это не касается :)
Dzhimsher Автор
Благодарю.
Вы очень верно подметили, что человек обучается на объемах данных, которые на порядок меньше, нежели нужны для текущих поколений ИИ.
Примеры в виде LLM приведены исключительно по причине наиболее понятного инструмента. И весь разговор о сильном ИИ сейчас идет в контексте LLM (что ошибочно).
Поэтому проблема действительно не в количестве и качестве инфы, а в том, что текущие ИИ-модели достигают предела и нужны иные подходы к его проектированию. Единственное из того, что сейчас попадается в изучениях этого вопроса - квантовые и нейроморфные вычисления. Но там технология настолько незрелая, что говорить о чем-то серьезном слишком рано.
Относительно определения ИИ - действительно, все они размытые. По сути это любой инструмент имитации умственной деятельности. Даже эксель с формулами можно так обозвать. Именно поэтому я в статье привел определение и критерии сильного ИИ.
Flokis_guy
Тогда зачем хомячить и повторять за маркетологами слова от которых нужно отнять 100, поделить на 1000 и умножить на 0, потому что вы явно заявляете в статье, что нужно больше инфы для моделей.
И вы уже с первого абзаца начинаете подтверждать мои слова вот этой фразой: "И все чаще от разных компаний мы слышим про сильный ИИ. Но что это и стоит ли ждать его создания в ближайшее время?"
Суть в том, что вы около "научно" рассуждаете об крайне спорных маркетинговых заявлениях, поэтому тут и есть недовольство в комментариях.
Ну я так и не услышал ответ на это: "непонятно почему автор сравнивает человеческий мозг и несовершенные LLM модели которые с ним схожи только некоторыми концепциями, и на основе этого делает какие-то выводы в будущем"
Dzhimsher Автор
" Гогда зачем хомячить и повторять за маркетологами слова от которых нужно отнять 100, поделить на 1000 и умножить на 0, потому что вы явно заявляете в статье, что нужно больше инфы для моделей. "
Где я писал, что нужно идти по такому пути? Я написал, что это проблема. И если посмотрите заключение, то я прямо указываю, что есть другой путь - использование локальных моделей со специализацией :) Не надо мне приписывать додумываний :)
"И вы уже с первого абзаца начинаете подтверждать мои слова вот этой фразой: "И все чаще от разных компаний мы слышим про сильный ИИ. Но что это и стоит ли ждать его создания в ближайшее время?"
Суть в том, что вы около "научно" рассуждаете об крайне спорных маркетинговых заявлениях, поэтому тут и есть недовольство в комментариях."
Так, позвольте, уточнить. А в чем претензия? У нас нет шумихи вокруг ИИ и терминов с сильным ИИ? Есть шумиха, я дал определение что же такое сильный ИИ и далее в статье разобрал, почему же его в ближайшее время не будет. Соответственно у статьи есть тег "Мнение", и если Вы прочитаете не один абзац, а всю статью, то увидите и ответ, что же я вижу в развитии.
Так что же именно Вас смущает?
"Ну я так и не услышал ответ на это: "непонятно почему автор сравнивает человеческий мозг и несовершенные LLM модели которые с ним схожи только некоторыми концепциями, и на основе этого делает какие-то выводы в будущем"
Возможно я не увидел вопроса. LLM были приведены как один из примеров, особенно в контексте того, что именно с LLM связывают текущие проекты сильного ИИ. Опять же, принципиально LLM не отличаются от других ИИ, у них специфика в том, что они обучались на естественном языке и нам проще с ними взаимодействовать. А архитектура, глобально, не отличается. Единственные большие отличия начинаются если мы идем в нейроморфные и квантовые вычисления.
EvilSpirits
Может быть идёт предварительная тренировка на видео/аудио/тактильном траке, которая позволяет в последующем более эфрфективно обучаться на текстовых данных.
Интересны случаи типа Хелен Келлер, которая была глухая и слепая, но училась в Гарварде, написала много книг и т.п. Но она потеряла слух и зрение в возрасте 18 месяцев, так что похоже того что удалось получить за это время вполне хватило.
Сравнивать можно всё что угодно, критерии сравнения уже интереснее. Но с моей точки зрения, имеет смысл сравнивать агентные системы, где LLM одна из компонентов, но к сожалению хоть сколько нибудь развитой агентной системв пока ещё не сделали (ну или по крайней мере не показывают публике).
Dzhimsher Автор
Вы абсолютно правы.
Наибольшая проблема - предварительное обучение. Дальше можно конечно оптимизировать модель по специальность. Но если мы говорим про AGI, то объем данных для предварительного обучения на текущих решениях трудно представить. Как описали тут некоторые комментаторы, у людей уже данные закончились.
И мне очень приятно Ваше видение про агентные системы. Я сам сторонник этой гипотезы. Но реализовывать их крайне трудно. Я с одним человеком пробую такой проект, но это несерьезно. Там как-только начинаешь использовать 2-3 агента для решения отдельных задач, начинаются огромные проблемы. Поэтому в своих статьях я ранее и писал, что в целом в развитии ИИ важно направление ИИ-оркестраторов, которые и будут распределять задачи между разными моделями / агентами