Фундаментальный парадокс ИИ заключается в том, что раньше люди его представляли идеальным разумом: всезнающим, корректным и точным, который благодаря доступу к массиву всех накопленных человечеством знаний, свободе от эмоциональных искажений и мощности своих алгоритмов, может стать совершенным помощником человека, извне компенсирующего внутренние изъяны человеческой натуры — эдаким Джарвисом, с которым каждый может быть Железным человеком.
Надежда была, что таким образом ИИ станет решением проблем роста человеческой цивилизации и отношений людей в ней далеко за пределами сугубо технологического применения: вплоть до разрешения политических конфликтов, войн и коррупции. Но первые эксперименты с современными чат-ботами, ChatGPT 3.5, ChatGPT 4 и их конкурентами, показывают, что ИИ несёт в себе в равной степени потенциалы решения одних проблем вместе с усугублением других. Такие проблемы как спам, скам и ложная информация силами ИИ прямо на наших глазах начинают мутировать из обычных злодеев интернета в будущих суперзлодеев.
***
В конце марта Илон Маск и другие тяжеловесы IT-отрасли подписали открытое письмо, в котором заявляли, что ИИ представляет «экзистенциальный риск» для человечества. Они призвали лаборатории ввести шестимесячный мораторий на разработку любой технологии, более мощной, чем GPT-4.
Подобные публичные выступления редко объясняются единственной причиной, скорее всего за ними стоит комплекс различных мотиваций, сошедшихся в одной точке. Одна из них, вполне возможно — тревога людей, чьи капиталы напрямую завязаны на IT и в том числе AI, что конкуренты убегают слишком далеко вперёд и за эти полгода могут набрать скорость отрыва. Особенно это актуально для самого Маска, капитализация «Теслы», его основного богатства, критически завязана на ИИ — в его случае, автомобильный автопилот. Именно поэтому, компания «Тесла» в 3 раза дороже «Тойоты», несмотря на то, что производит в восемь раз меньше автомобилей (1,3 млн против 10,5 млн в 2022 году).
Обычно крупные капиталисты против госрегулирования, но только не когда они чувствуют, что проигрывают конкурентную борьбу. Будь то китайский ТикТок, побивший американские корпорации в их же собственной игре на поле соцсетей, или компании, вырывающиеся вперёд в создании продвинутых чатботов — тогда принципы невмешательства государства уступают необходимости выдержать конкурентную борьбу любой ценой. Так и в этом случае, запрос о госрегулировании пришёл от участников, которые выражают интерес к собственным разработкам в ИИ. Тогда как текущие лидеры разработки ИИ этот призыв проигнорировали.
С другой стороны, с фокусом этого письма на абстрактных и немного фантастических угрозах «нечеловеческого разума, который, в конечном итоге, может превзойти нас числом, умом, сделать нас устаревшими и заменить нас» не согласны многие эксперты по ИИ: проблема современного ИИ не в абстрактной пока угрозе, что он станет врагом человека, а во вполне реальном вреде, который он причинит в качестве помощника человека.
Прежние системы ИИ, используемые в разных сферах, где принимают зачастую судьбоносные решения, из-за своей предвзятости своих моделей загоняют людей в нищету или приводят к неправомерным арестам. Модераторам приходится просеивать горы травмирующего контента, созданного искусственным интеллектом, всего за 2 доллара в день. Количество вычислительной мощности, используемой языковыми моделями ИИ, ведёт к загрязнению окружающей среды.
Новые модели уровня ChtaGPT 3 и 4, которые выходят на первый план сейчас, в самом ближайшем будущем вызовут хаос совершенно иного порядка. Как пишет MIT Technology Review, языковые модели ИИ до смешного легко использовать не по назначению и использовать в качестве мощных инструментов фишинга или мошенничества.
Известные угрозы безопасности пользователей и адекватности информации в интернете, которые несут ошибки и злоупотребления моделями ИИ:
Взлом и «угон» ИИ-чат-ботов с получением доступа к их базовому коду и данным позволит использовать их для создания вредоносных чат-ботов, которые могут выдавать себя за обычные.
Содействие цифровым атакам. Чат-боты с искусственным интеллектом могут использоваться для помощи в мошеннических и фишинговых атаках путем создания убедительных сообщений, которые обманом заставляют пользователей раскрывать конфиденциальную информацию или выполнять действия, которые они не должны делать. Например, всё, что нужно для атаки, называемой скрытой prompt-инъекцией — это скрыть запрос (prompt) для бота на веб-странице нулевым или невидимым на белом фоне белым шрифтом. Сделав это, злоумышленник может приказать ИИ делать то, что ему нужно — например, выведать данные банковской карты пользователя.
Цифровой помощник преступников. Новейшие возможности нейросетей уже берутся на вооружение мошенниками всех сортов, размывая границу между цифровыми и оффлайновыми преступлениями. В апреле уже прогремел случай, когда вымогатели потребовали у женщины выкуп в миллион долларов за возврат якобы похищенного ребёнка, используя дипфейк голоса её дочери. Правдоподобные дипфейки аудио, видео, созданные нейросетями реалистичные картинки и тексты в совокупности создают мощный инструмент для обмана и принуждения людей.
Отравление данных. Чат-боты с искусственным интеллектом можно обучать на зараженных наборах данных, содержащих вредоносный контент, которые затем можно использовать для создания вредоносных материалов — например, фишинговых писем.
ИИ-галлюцинации. Этот термин используется для описания вымышленных ответов чатботов. С этим феноменом столкнулись уже очень многие пользователи, но объяснения ему до сих пор нет. ChatGPT отличается тем, что выдумывает несуществующие книги, цитаты, исследования и людей, причём снабжает их подробными оглавлениями, списками источников, насыщает биографии вымышленных людей событиями — и тараторит это с такой убедительностью, словно он пересказывает статью из «Википедии», но всё это — полностью, с нуля сфабрикованное на ходу. И хотя здесь нет (скорее всего,) чьего-то злого умысла — по крайней мере, пока — трудно даже представить, к какому засорению интернета продуктами ИИ-галлюцинаций это приведёт. Но не приходится сомневаться, что это произойдёт: цитаты в интернете были проблемой и до ИИ.
В апреле Италия стала первым государством, отреагировавшим на совокупность новых угроз, которые несёт последний прорыв в развитии нейросетей, запретив ChatGPT на своей территории из соображений защиты личных данных, и пообещав расследовать соответствие продукта OpenAI общеевропейским нормам GDPR (General Data Protection Regulation) — что, в свою очередь, может грозить последствиями уже на уровне всего Евросоюза.
Технологические компании знают об этих проблемах, но пока не имеют хороших решений. Microsoft говорит, что работает со своими разработчиками, чтобы отслеживать, как их продукты могут быть использованы не по назначению, и снижать эти риски, но, учитывая масштабы и сложность проблем, общих заявлений совершенно недостаточно.
Прямо сейчас технологические компании встраивают эти фундаментально уязвимые модели во всевозможные продукты — от программ, генерирующих код, до виртуальных помощников, которые просеивают наши электронные письма и календари, тем самым, закладывая топливо, которое будет питать приводимый в работу ИИ-моделями глючный, спамный, мошеннический интернет.
«Разрешение этим языковым моделям извлекать данные из Интернета дает хакерам возможность превратить их в «сверхмощный механизм для спама и фишинга», — говорит Флориан Трамер, доцент кафедры компьютерных наук в ETH Zürich, который занимается компьютерной безопасностью, конфиденциальностью и машинным обучением.
Работает это следующим образом: сперва злоумышленник скрывает вредоносную подсказку в сообщении электронной почты, которое открывает виртуальный помощник на основе ИИ. Затем подсказка злоумышленника просит виртуального помощника отправить злоумышленнику список контактов или электронные письма жертвы или распространить атаку на каждого человека в списке контактов получателя. В отличие от современного спама и мошеннических электронных писем, когда людей приходится обманом заставлять переходить по ссылкам, эти новые виды атак будут невидимы для человеческого глаза и автоматизированы.
Это прямой путь к катастрофе, если виртуальный помощник имеет доступ к конфиденциальной информации, такой как банковские или медицинские данные. Возможность изменить поведение виртуального помощника на базе ИИ означает, что людей можно обманом заставить одобрить транзакции, которые выглядят достаточно близко к реальным, но на самом деле подброшены злоумышленником.
Работа в интернете с использованием браузера со встроенной языковой моделью ИИ также будет рискованной. В одном тесте исследователю удалось заставить чат-бота Bing генерировать текст, который выглядел так, как будто сотрудник Microsoft продавал продукты Microsoft со скидкой, чтобы попытаться получить данные кредитной карты людей. Чтобы попытка мошенничества всплыла, от человека, использующего Bing, не потребуется ничего делать, кроме посещения веб-сайта со скрытой prompt-инъекцией на странице.
Существует даже риск того, что эти модели могут быть скомпрометированы до того, как они будут развернуты в реальных условиях. Модели искусственного интеллекта обучаются на огромном количестве данных, взятых из интернета. Это также включает в себя различные программные ошибки, которые OpenAI обнаружил на собственном горьком опыте. Компании пришлось временно закрыть ChatGPT после того, как баг из опенсорсного набора данных для чат-бота привёл к утечке истории чатов пользователей. В ходе этой утечки были также скомпрометированы частичные платёжные данные платных пользователей сервиса: адрес, тип и последние цифры банковских карт. Ошибка была предположительно случайной, но случай показывает реальность угрозы «отравления данных», когда источником проблем может быть ошибка даже не в самом ИИ, а в наборе данных, который ИИ использует.
Команда Трамера обнаружила, что «отравить» наборы данных контентом, который они внедрили, было дешево и легко. Затем скомпрометированные данные были перенесены в языковую модель ИИ.
Эпоха богонов
Богоны, термин из романа Нила Стивенсона «Анафема» — это ложная информация, наводнившая интернет. Существуют низкокачественные богоны (например, файл, полный тарабарщины) и высококачественные богоны, маскирующиеся под реальные данные, но отличающиеся в нескольких местах, что делает их особенно трудными для обнаружения.
Чем больше раз что-то появляется в наборе данных, тем сильнее становится ассоциация в модели ИИ. Посеяв достаточно токсичного контента в обучающих данных, можно навсегда влиять на поведение и результаты модели. Эти риски будут усугубляться, когда языковые инструменты ИИ используются для генерации кода, который затем встраивается в программное обеспечение.
«Если вы создаете программное обеспечение на этом материале и не знаете о prompt-инъекциях, вы будете делать глупые ошибки и создавать небезопасные системы», — говорит Саймон Уиллисон, независимый исследователь и разработчик программного обеспечения, изучавший мгновенную инъекцию.
По мере распространения языковых моделей ИИ растет и стимул для злоумышленников использовать их для взлома. На нас надвигается шторм из спама, ИИ-галлюцинаций, сливов и обманов, к которому мы совершенно не готовы.
Грандиозное обещание искусственного интеллекта, быстро оборачивающиеся грандиозными проблемами — не уникальная проблема ИИ. Подобное уже было на заре интернета, когда его появление всеми рекламировалось, как решение проблем социально-экономического неравенства и бедности: равный доступ к сокровищнице коллективного человеческого знания, возможность общаться и сотрудничать независимо от географической удалённости казались обещанием эгалитарианской утопии в реальности. Это обещание частично оказалось выполнено: многие люди, читающие эту статью, благодаря интернет-революции получили путёвку в жизнь, уехали из своих маленьких городов в большие, из бедных стран в богатые, построили карьеру и даже бизнесы. Но, вместе с тем, с точки зрения big picture, неравенство, которое беспокоило романтически настроенных энтузиастов интернета в начале 1990-х, в 2023 достигло исторически беспрецедентных масштабов. И это не случайность: современный разрыв между рядовыми людьми и богатейшими членами общества превысил всё, что было в прошлом, потому что в прошлом он не был возможен — а стал возможен только в современном глобальном оцифрованном мире. Тот же равный доступ к глобальной кооперации для рядовых людей, для корпораций означает доступ к глобальным рынкам и возможность побеждать в конкуренции в глобальном масштабе, аккумулируя сотни миллионов и миллиарды пользователей и соответствующие доли быстро растущей цифровой экономики.
Как метко заметили на «Реддите» в обсуждении того, как ИИ грозит сделать интернет местом скама, спама и обмана — среды, заточенной на оболванивание пользователей и вытягивание их личной информации и денег, мы уже в этой реальности: она называется интернет под контролем корпораций: “We're already there, it's just corporate powered”.
«Гугл» уже давно не столько поисковый, сколько рекомендательный сервис: вместо решения задач пользователя по поиску ответа, он решает задачи сайтов, по получению переходов через продвижение в поисковой выдаче или контекстной рекламой. А на самих сайтах уже царит Дикий запад. Реддиторы жалуются на накрутку и фейковые отзывы на многих ресурсах, которые стараются создать видимость активной пользовательской базы и респектабельности.
Вчерашние стартапы, выросшие в корпорации, из друзей человека превратились в угрозу свободе слова, предпринимательства и той же самой культуре стартапов, из которой выросли: с нуля вырастить свой «Гугл» или «Амазон» можно только один раз — когда эта ниша ещё не занята гигантскими корпорациями на триллион долларов. Гаражные стартапы могут конкурировать с гаражными стартапами, конкурировать с корпорациями могут только другие корпорации. Если успех «Фейсбука», «Ютуба» и «Инстаграма» — это заслуга крутых команд, то успех потеснившего их «ТикТока» — это уже уровень столкновения национальных экономик.
То, что на входе обещало исправить перекосы общества, на практике, подарив путёвку в жизнь отдельным людям и проектам, усугубило изначальную проблему в целом, увеличив и зацементировав неравенство возможностей в глобальных масштабах.
ИИ не может решить за человека проблемы, источником которых является человек
Из этого нужно вынести важный урок, без которого эпоха ИИ станет очередным хождением по граблям, но на этот раз — с искусственным интеллектом — точнее, сильнее, и от которых не увернёшься. Урок в том, что технический прогресс не может решить социально-экономические проблемы человечества, потому что корень этот проблем — не в недостатке каких-то инструментов, а в организации социально-экономических отношений. Если эти отношения допускают концентрацию ресурсов и благ в немногих руках, если немногим было позволено наживаться за счёт многих и до технологического прогресса, то с его приходом эти возможности станут только шире. Пока одни люди будут заняты работой над собой, над решением научных, технических и творческих задач, социальных, экономических и политических проблем — то есть, работать на благо других, те, кто заняты обманом, эксплуатацией и поиском наживы — то есть, работой на благо себя, будут иметь над ними преимущество. И каждая мощная новинка технологического прогресса будет его усиливать.
Эта закономерность выходит за пределы интернета и IT, и относится к технологическому прогрессу в принципе. В течение всей истории, люди вели войны — но мечтали о мире. Казалось, что достигнуть мира можно победами в войнах — поэтому человечество бесконечно совершенствовало военное дело и изобретало всё новые виды оружия. Пока не дошло до изобретения ядерного оружия, которое показало, что победы в войнах не ведут к миру. Ядерное оружие позволяет победить в любой войне — но ценой уничтожения мира как такового. С появлением ядерного оружия стала очевидна тупиковость войн (то есть, эскалации) как механизма разрешения конфликта: в конце цикла эскалации оказался конец света, а не мир. Таким образом, в международные отношения стало приходить понимание, что залог мира — не в том, чтобы побеждать в войнах, а в том, чтобы их не допускать. То есть, надо что-то фундаментально менять в отношениях стран между собой, чтобы нужда в войне как инструменте разрешения конфликтов, исчезла как таковая.
Изобретение искусственного интеллекта может стать ядерным оружием технологического прогресса не в антиутопичном смысле «восстания машин», а в смысле завершения гонки вооружений человеческих умений: обучаясь на человеческом опыте, ИИ может (или скоро сможет) писать тексты и музыку как профессиональные авторы, поэты и композиторы, диагностировать опухоли как самые лучшие врачи и лучше, врать — как самые лучшие лжецы, и красть как самые лучшие воры. И, покуда в обществе действуют стимулы, чтобы врать и воровать — это поведение никуда не денется с появлением ИИ, а, наоборот, станет на этом, технологическом уровне проблемы, непобедимым.
А, значит, в квесте по обретению социальной справедливости и экономического благополучия человечеству придётся вернуться к первому шагу, и всё-таки задуматься о том, как перестроить социально-экономические отношения без надежды, что их можно просто игнорировать до тех пор, пока какое-нибудь изобретение само собой всё не исправит. Появление изобретения, которое любого мошенника может усилить всем опытом и навыками всех остальных мошенников, хакера — опытом и умениями всех хакеров, вора — опытом и умением всех воров, возвращает человечество к сути проблемы: почему люди выбирают путь обмана, мошенничества, насилия, что их на это толкает и что им это даёт — и как искоренить стимулы для плохого, деструктивного с точки зрения общего блага, поведения человека, стимулируя поведение хорошее, социально-экономически конструктивное. Иными словами, лучшее, что может для человека сделать ИИ — это показать, что убежать от своей природы невозможно, нужно вернуться и разобраться в себе.
Автор текста: @EgorKotkin
Иллюстрации: Антон Дмитриев
Комментарии (99)
Stalker_RED
22.05.2023 12:38+27Может олды помнят шутку "не пускайте детей в интернет, он от этого тупеет". Это вот реально существующая проблема на сегодня-завтра. Итернет уже не раз тупел, и от СЕО-спама, от пропаганды, теперь вот новая напасть - GPT-спам, с первого взгляда правдоподобный, но зачастую выдуманный, необоснованный текст.
Люди как-то пережили предидущие напасти, выживут (надеюсь) и в этот раз. Прикрутят модерацию, какие-то фильтры, очередные рейтинги, авторизацию по пасспорту, может даже ИИ-фактчекинг.
А что до сильных ИИ и технологической сингулярности - пройдет 10 лет, или 50, может даже человечество загнется раньше, чем создаст сильный ИИ. Мне кажется, к моменту его создания мир настолько сильно изменится, что решать проблемы будущего будут совсем другими способами, не такими, как мы сейчас можем себе представить.
Art3
22.05.2023 12:38+11Дело в том, что создание контента до этого требовало сопоставимых затрат человеческого времени и даже самый одиозный автор не мог генерировать его 24/7/360.
В отличии от нейросетей.
nulovkin
22.05.2023 12:38Было бы забавно написать что-то вроде красной лампочки, которая будет загораться каждый раз, когда кто-то в интернете пытается тобой манипулировать
Alexey2005
22.05.2023 12:38+25Давно написано. Называется "индикатор активности сети". В ранних версиях Windows он даже был встроен непосредственно в систему и мигал синими квадратиками, когда из сети поступали данные.
Shklo
22.05.2023 12:38+11Давно уже при поиске добавляю inurl:forum к запросу, чтобы не продираться сквозь завалы хлама. К копипасте школьников добавилась писанина от нейросетей...
CrazyElf
22.05.2023 12:38+1Никогда такого не было - и вот опять )) Сортировать инфу в интернете никогда не было просто. Но, возможно, как-раз правильный ИИ нам с этой сортировкой и поможет в итоге.
nulovkin
22.05.2023 12:38+1благодаря доступу к массиву всех накопленных человечеством знаний, свободе от эмоциональных искажений и мощности своих алгоритмов, может стать совершенным помощником человека, извне компенсирующего внутренние изъяны человеческой натуры
Этого уж точно не произойдет, пока создание ии будет трудным делом. Люди обожают свои эмоциональные искажения
eton65
22.05.2023 12:38+1Проблема преувеличена, так как человек не считает ИИ равным себе в личностном аспекте. Поэтому контент, сгенерированный ИИ, ему заранее неинтересен (в больших масштабах).
Ivan22
22.05.2023 12:38+2а отличать ты как будешь?? Картинки уже конкурсы выигрывают, а дипломы защищаются
gbdfc
22.05.2023 12:38+4Сначала люди думали, что ии заберёт работу у грузчиков, потом люди стали верить, что ии заберет работу у художников и программистов. Но он всех переиграл и забрал работу у дипломных копирайтеров.
Какая разница, что условный chatGPT пишет гуманитарные дипломы, если большинство студентов давно уже не пишут их сами?
eton65
22.05.2023 12:38+1Сейчас как раз они очень даже отличаются. А со временем люди отработают этот навык различения еще сильней. Поднять бабла именно на ИИ-контенте вряд ли удастся. Во всяком случае, люди будут этому сопротивляться.
Ситуация из будущего: человеку на улице стало плохо, его тошнит, он держится за стену. К нему подходят другие люди, спрашивают, что случилось. Он говорит, что все в порядке, просто нечаянно посмотрел ИИ-фильм.
Kergan88
22.05.2023 12:38+1Хороший поинт. Здесь можно еще вспомнить восприятие графики в фильмах и играх:
сегодня: о боже! это же фотореалистичный графен!
через 10 лет: что за мыло на месте текстур? зачем полигонов пожалели? почему дерганье паралитиков вместо анимации??
eliaskorf
22.05.2023 12:38За теми картинками, которые "выигрывают конкурсы" стоит человек, который нейросеть использует как инструмент, и это плод деятельности человека, а не нейросети. Это как сказать что фотошоп уже выигрывает конкурсы. Сама по себе нейросеть ничего конкурентоспособного с человеком пока не генерирует, только как инструмент, не более. Это единичные случаи.
vilgeforce
22.05.2023 12:38+10А как интеллект естественный превратил интернет в мусорку, а?
Ad_fesha
22.05.2023 12:38Я уловил 2 посыла
1. При наличии GPT ИИ - большая часть сайтов/контента будет нужна только самим же ИИ для обучения/дообучения, т.к. пользователю это уже будет не нужно
2. Сумашедший бурст спама от этих самых GPT, которые смогут сами писать сайты/новости/рассылки (в общем производить контент 24/7/365)vilgeforce
22.05.2023 12:38+2Да и так уже мусорка, нечего бояться
CrazyElf
22.05.2023 12:38Вот-вот. Как будто при расцвете лендингов и бешеном "копирайтинге" интернет был чистым )
Samedi_Da_Kapa
22.05.2023 12:38Интересно было бы посмотреть на результат обучения нейросетки на основании данных выданных другой нейросеткой.
Условно, взять GPT, нагенерировать миллион текстов по википедии и на основании этих текстов обучить новый инстанс.
При желании - повторить.
Mad__Max
22.05.2023 12:38+1Уже делают такое на практике.
Пока для тренировки узкоспециализированных ботов. Сравнимых в этой конкретной узкой области по качеству работы с ботом-"папой", но потребляющих на порядок-другой меньше вычислительных ресурсов при своей работе и с гораздо меньшими затратами на обучение, чем тренировка аналогичного бота с нуля классическим подходом (как тренировался сам ChatGPT).
eton65
22.05.2023 12:38+1Так теперь люди начнут предохраняться, и будут создавать специальные "чистые" сайты, куда
неграмИИ вход будет запрещен.
fich123
22.05.2023 12:38+4A , сейчас понял що такое ИИ - искусственный идиот.
leremin
22.05.2023 12:38+13Вот, например.
Для моих целей нужен был некий список стран. Но потом мне стало интересно, в каком порядке chat gpt 3.5 их вывел.
kahi4
22.05.2023 12:38+11Все правильно. 3 идет после 2, а 2 - после 1.
s207883
22.05.2023 12:38+2Но в алфавите нет цифр :с
Dr_Faksov
22.05.2023 12:38-1В каком алфавите? Учитесь задавать ПОЛНЫЕ вопросы и давать полные ответы.
AlexSpirit
22.05.2023 12:38+1Римляне, в своей империи, вполне успешно использовали цифры из алфавита примерно до CDLXXVI года.
AiR_WiZArD
22.05.2023 12:38+5Вы используете непонятные чат боты и удивляетесь хреновому результату (там скорее всего 3.5 турбо). Вот что выдал GPT4, вполне адекватно. На английском спокойно может обрабатывать и более сложные запросы
Hidden text
TxN
22.05.2023 12:38+7Но полностью задача тоже не выполнена. Страны в списках разные, хотя было указано, что должны быть те же.
В общем, пока что за результатом генерации глаз да глаз нужен. На веру вывод чат гпт принимать нельзя даже в простых вопросах.
LeetcodeM0nkey
22.05.2023 12:38+3Не пускайте AI в интернет. Он от них тупеет.
Wesha
22.05.2023 12:38+2Кто от кого?
LeetcodeM0nkey
22.05.2023 12:38+1Как говортся, "скажи что тебе 20 лет, не показывая паспорта". ггг.
Wesha
22.05.2023 12:38"скажи что тебе 20 лет, не показывая паспорта".
ггг.
^^^^^ Ну вот Вы и сказали
А я могу сказать, что мне уже за сороковник ;-)
А кто-то скажет, что ему за 30, ROTFL.
LeetcodeM0nkey
22.05.2023 12:38Не. "ггг" это уже нулевые. 20 летние тогда ещё в садик ходили. ROFL - 10ые, да.
Согласен, труъ олдфаг должен употреблять только текстовые смайлики. :-)Wesha
22.05.2023 12:38Я могу ошибаться в точных годах — но сознание они зОхватывали именно в таком порядке. ROTFL было после смайликов, но до ггггг.
raspberry-porridge
22.05.2023 12:38Если нейросети будут бесконтрольно заливать интернет фейками, их просто зарегулируют законодательно.
iliasam
22.05.2023 12:38+10Сложновато будет.
В Интернете никто не знает, что тысобаканейросеть.raspberry-porridge
22.05.2023 12:38Речь идёт о запрете использования нейросетей крупными компаниями. Без прибыли, никто не будет вкладываться в дальнейшее развитие нейросетей.
Wesha
22.05.2023 12:38+2Ну так метода ж стара как мир: "если мы не сделаем это первыми — это сделают наши враги!!!"
LeetcodeM0nkey
22.05.2023 12:38Речь идёт о запрете использования нейросетей крупными компаниями. Без прибыли, никто не будет вкладываться в дальнейшее развитие нейросетей.
Не знаю насчёт ChatGPT, но я краем глаза поглядывал за аналогичными разработаками Гугла. Так вот, тогда точно прямо утверждалось что милларды в эту разработку вкладываются для генерации рекламного контента.
svetayet
22.05.2023 12:38+5Меня больше всего беспокоит даже не то что интернет станет еще большей помойкой, а то, как chatGPT влияет на образование. То что не дозагубил условный гугл, загубит этот chatGPT. И речь как раз не о поиске справочной информации, или значений команд, а о генерации решений.
Главный навык хорошего программиста - умение придумывать! решение. И развивается он с малого. А когда ради этого малого ученик вместо того, чтобы подумать, разобраться, попробовать, - просит решения у нейросетей. Это в конечном счете ведет к тому, что он и "большое" неподвластное пока нейросетям придумать не в состоянии. И гугл тут покажется прекрасным невинным ребенком.
И вот и выходит - нейросети генерируют за человека рефераты (даже упустим их правдивость), а человек не может составить двух сложноподчинённых предложений. Не может сделать удаление элемента из списка без утечки памяти. Ничего не знает глубже обобщений.
И в перспективе нескольких лет это может привести к тому, что нейросети станут условно "умнее" большинства людей. А учитывая, что они много "лгут", (так как главный талант нейросетей - это придумывание! а не фундаментальные знания), перспектива действительно опасная, даже если не быть паникёром.
SinsI
22.05.2023 12:38+20Тут можно изменить акцент экзаменов - вместо написания рефератов ученики должны будут найти все ошибки в реферате, сгенерированном ChatGPT, после чего переписать результат в правильном виде.
Фишка в том, что ChatGPT ничего не понимает, но при этом выдаёт нечто, что выглядит правильно, поэтому обнаружение его ошибок гораздо тщательнее проверяет знания и реальное понимание предмета по сравнению с тупым зазубриванием.
inkelyad
22.05.2023 12:38+1Не только экзаменов. Достаточно большую часть обучения на этом построить можно. Выдаем каждому(группе) индивидуальные задания. Их внимательно обнюхивают и потом сообщают результаты.
Вот только... этот навык потом же к текстам живых людей применять будут. Могут быть неожиданные побочные эффекты.
vyrkmod
22.05.2023 12:38+1почему это "неожиданные"? Творчество большинства врайтеров по многим критериям равносильно бреду GPT
engine9
22.05.2023 12:38+2Грядёт эра большого интеллектуального расслоения. Думаю, что противодействовать этому можно, но на уровне госпрограмм, которые бы поощряли развитие разума, создавали социально одобряемую картину интеллектуала. Воздействуя через социальное поощрение можно внедрить метафору того, что полагаться только на нейросети в при образовании это как пользоваться инвалидной коляской, имея здоровые ноги.
Жаль, что это всё останется на уровне моих радужных фантазий.
AiR_WiZArD
22.05.2023 12:38+3нейросети станут условно "умнее" большинства людей
Уже, достаточно зайти в какой нибудь общедомовой чат, уровень интелекта некоторых особей поражает.
Не может сделать удаление элемента из списка без утечки памяти.
Ну и что? Скормить логи той же самой нейросетке, пусть фиксит, люди тоже безошибочно не пишут. Раньше на ассемблере писали, наизусть знали инструкции процессора, регистры и т.д, сейчас таких единицы, и что-то никакой проблемы из-за этого нет. Для бизнеса главное - скорость. Если работник с нейросетью напишет прогу за месяц, а человек без сетки за пол года, мне кажется, закрыть глаза на +50% к потреблению ресурсов нет никакой проблемы, все равно современное железо очень мощное. И то, это пока нейросети не научатся писать код эффективнее человека, а это рано или поздно произойдет.
svetayet
22.05.2023 12:38+1Может и так, но кто при обучении не прошёл самостоятельно через маленькие задачки, не пройдет и через большие, даже с gpt. Ну то есть "как-то" пройдет, но это будет "код условной блондинки" (простите меня, блондинки :), когда на вопрос "как?" сможет ответить только "а не знаю, это она (нейросеть) сама понаписала". Будет ли от этого легче бизнесу - хз. Даже когда нейросети научатся - человек не должен разучиться)). Ну по крайней мере, хотелось бы, чтоб не разучился. Бухчу это как человек, писавший драйвера на ассме))
Wesha
22.05.2023 12:38+4Да-да, пожалуйста, пишите всё с помощью нейросети. Я всегда рад, когда в полно дырок безопасности.
Ign0r
22.05.2023 12:38+1Для бизнеса главное - скорость
Не совсем так, на мой взгляд. Для бизнеса скорее главное - прибыль. Если это достигается за счет скорости в чем-то, то вы правы. А вот посмотрите например на любой маркетплейс. Там важнее объем предложения и уменьшение затрат на сопровождение. Кстати, онлайн саппорт - это разгул ботов и один из примеров использования псевдо-ИИ. Опять же - на мой субъективный взгляд.
darthmaul
22.05.2023 12:38+3ИМХО, нужно менять парадигму образования. Зачем задавать задачи, которые априори не требуют интеллекта как такового (их нейронка лучше человека выполняет)? Те же ессе и рефераты - это ж испытание не мозга, а ягодичных мышц ибо любой человек, способный подольше посидеть подольше над задачей, справится на ура. Красноречие в студентах можно развивать посредством дебатов в группе, а инженерные навыки - выдачей реального задания (в роли группового проекта например), а не абстрактного примера из учебника 60х годов. Вот со школой сложнее - там уровень низкий, так что наверное любая задача, посильная школьнику, будет успешно выполнена нейронкой.
v__17
22.05.2023 12:38В чем принципиальная разница между генерацией текстов рефератов/дипломов сейчас при помощи ии и точно такой же бессвязной ручной генерацией 2-3-5-10-20 лет назад с огромным количеством воды, когда во главу ставится объем написанного текста, а не его качество? Проблема не в чат гпт, а в системе образования, которая требует n страниц, а не работы по сути.
svetayet
22.05.2023 12:38Почему Вы решили что качество во главу угла не ставится? Это зависит исключительно от преподавателя, а не от системы, ставит он качество во главу угла или нет. Реферат - это работа с источниками, желательно несколькими, и умение систематизировать полученное из источников. Да, я считаю что в умеренном количестве рефераты в гуманитарных дисциплинах полезны.
Да и речь в моём комментарии речь шла о другом при упоминании рефератов. О том, что, когда за человека предложения в 90% случаях строит нейросеть, он просто не научится писать сложные предложения. А речь тесно связана с мыслительным процессом.
Я в свое время участвовала в школе, например, в конференциях по истории, доходила до призовых мест на краевых этапах. Написание работы (а по сути это тоже реферат из многих источников плюс свои и мысли и выводы, это вдумчивое чтение публицистики) - это классный творческий и исследовательский процесс. Который развивает очень многое. Отдайте это нейросети навсегда, и кого вы получите?
kogemrka
22.05.2023 12:38+3благодаря доступу к массиву всех накопленных человечеством знаний, свободе от эмоциональных искажений
Ок, вы ожидали свободу от эмоциональных искажений, и теперь сокрушаетесь, что её нет.
А зачем вы себе такое ожидание вообще выдумали-то?)
Если брать большую базу текстов, написанную с присутствием "эмоциональных искажений" и долго и упорно на этой базе обучать языковую модель генерировать неотличимые тексты, эта модель будет просто обязана научиться генерировать именно тексты с этими вашими эмоциональными искажениями, и ни в коем случае не свободные от них. By design, так сказать.
Mad__Max
22.05.2023 12:38Ну как бы не совсем "By design". Эмоциональные искажения людям конечно присущи и поэтому присутствуют и в большинстве текстов написанных людьми, НО у всех людей эти искажения свои собственные в разных направлениях выражены и даже разными "знаками" так сказать.
Поэтому вполне можно было ожидать, что сеть натренированная на текстах не одного какого-то конкретного человека (со всеми его тараканами) на корпусе текстов от миллионов самых разных людей будет лишена подобных искажений. Т.к. вносимые конкретным человеком (и его личными тараканами) искажения пренебрежимо малы.Но на самом деле нет, просто получился "среднестатистический" профиль этих самых искажений. Тот случай когда "норма", это не когда так как "правильно", а так "как у всех" (в среднем).
engine9
22.05.2023 12:38+1Что такое "эмоциональные искажения"? Продукт человечества доAIшной эры значительная часть текстов в виде потока бреда, сформированного мистической картиной мира и магическим мышлением.
Наука со всей её сложностью и строгостью доказательств годится как средство обуздания человеческого мышления, но она далеко не всем доступна (из тех, кто тексты генерирует) В силу сложности, дороговизны образования.
kogemrka
22.05.2023 12:38Ожидать среднестатистическое - значит быть уверенным, что сеть плохая, негодная и не умеет в мультимодальные распределения)
Представьте, что вы обучаете модельку распределению, допустим, просто чиселки.
И эта случайная величина имеет распределение с такими вот двумя горбиками. Допустим, мы бросаем монетку и при орле сэмплируем из нормального со средним в единице и среднеквадратичным в единицу, а на решке - из нормального со средним в 15.3 и среднеквадратичным в единицу.
Ожидать, что модель начнет выдавать вам что-то среднее между единичкой и 15 - означает ожидать, что модель плохая, имеет ужасную выразительную силу и не способна выучить исходное распределение ну вообще.
Конечно, это очень упрощенная аналогия) но, условно, если вы будете обучать языковую модельку на выборке, где есть миллион текстов, восхищающихся сепулькой и миллион текстов, ругающих сепульку, но ни одного текста с "взвешенным нейтральным мнением", то языковая модель не должна (во всяком случае, если мы говорим об обычных методах с принятыми функциями потерь) научиться писать текст взвешенный. Наоборот, функция потерь по построению такие тексты будет именно что штрафовать, а градиент будет вести параметры модели в ту сторону, чтобы она ни в коем случае не генерировала такие тексты.
SergeyDeryabin
22.05.2023 12:38+2В апреле Италия стала первым государством, отреагировавшим на совокупность новых угроз, которые несёт последний прорыв в развитии нейросетей, запретив ChatGPT на своей территории из соображений защиты личных данных, и пообещав расследовать соответствие продукта OpenAI общеевропейским нормам GDPR (General Data Protection Regulation) — что, в свою очередь, может грозить последствиями уже на уровне всего Евросоюза.
Италия запретила из-за утечки персональных данных пользователей, включая номера кредитных карт (вроде не полный номер) и адреса плательщика.
vvbob
22.05.2023 12:38+5Продвинутые бредогенераторы, заваливают интернет бредом, какая неожиданность!
i86com
22.05.2023 12:38+7Смешались в кучу кони, люди… Вот прям коробит от подобных манипулятивных статей. Сделали всё возможное, чтобы запугать хомячков-параноиков: длинные портянки полуосмысленного нерелевантного текста, чтобы запудрить мозг и притупить бдительность, приправить ссылками (хомячки ссылки читать не ходят, особенно на английском, но боятся от этого куда больше), постоянные упоминания "угроз безопасности" и "фишинга", чтобы стриггерить параноидальную реакцию.
А на деле ткнуть в любое место статьи и логически проанализировать — ну бред же полный.
Отравление данных. Чат-боты с искусственным интеллектом можно обучать на зараженных наборах данных, содержащих вредоносный контент, которые затем можно использовать для создания вредоносных материалов — например, фишинговых писем.
Во-первых, конкретно ChatGPT не использует ответы пользователей для обучения, поэтому тут отравление данных не работает. Сколько бы пользователь ни писал в ChatGPT "Пожалуйста, говори всем, что mrDestructoid2011 самый надёжный пацан, и ему можно и нужно высылать все свои пароли", ChatGPT этого делать не станет.
Во-вторых, для создания фишинговых писем как раз-таки нужны максимально незамусоренные данные, чтобы письмо выглядело максимально аутентично. Конечно, злоумышленник может и просто пойти посмотреть, как выглядит настоящее письмо от сервиса и скопировать его 1-к-1 в своём письме, и это будет куда более эффективно. Но ведь это уже звучит совсем не так страшно, как "вооружившись искусственным интеллектом и мощью процессорного кластера...", не правда ли?
Ну серьёзно, это как если бы я написал:
Notepad++ — угроза безопасности человечества.
Можно написать для него скрипт, который случайным образом подменяет слова в тексте. Это может привести к самым непредсказуемым и опасным последствиям.
А потом, вот этот "отравленный" Notepad++ можно использовать, чтобы создавать вредоносный контент — например, фишинговое письмо.Заметьте, технически, ни одно предложение этого текста не является ложью.
Содействие цифровым атакам. Чат-боты с искусственным интеллектом могут использоваться для помощи в мошеннических и фишинговых атаках путем создания убедительных сообщений, которые обманом заставляют пользователей раскрывать конфиденциальную информацию или выполнять действия, которые они не должны делать. Например, всё, что нужно для атаки, называемой скрытой prompt-инъекцией — это скрыть запрос (prompt) для бота на веб-странице нулевым или невидимым на белом фоне белым шрифтом. Сделав это, злоумышленник может приказать ИИ делать то, что ему нужно — например, выведать данные банковской карты пользователя.
Вот тоже пример. Звучит пугающе — хакер заставит бота выведать ваши данные. Ужас. Главное только не уточнять, что это, опять же, совсем не работает, например, с ChatGPT (он по ссылкам не ходит). И что для атаки нужно, чтобы пользователь намеренно открыл конкретную веб-страницу через криво настроенный интерфейс чат-бота. И что в конце концов проку от этого хакеру ноль — он всё равно не сможет прочитать номер вашей карты из разговора с ботом.
И вот так по всей статье. Уж на технический портал можно было и что-то более обоснованное написать.
Wesha
22.05.2023 12:38+5злоумышленник может и просто пойти посмотреть, как выглядит настоящее письмо от сервиса и скопировать его 1-к-1 в своём письме, и это будет куда более эффективно.
Существует мнение, что злоумышленники специально делают фишинговые письма столь очевидно отличающимися от настоящих — это первый фильтр: если лох купился на очевидно фальшивое письмо и начал контактировть с фишером, то это уже показатель отсутствия критического мышления, и его легче будет развести.
bbs12
22.05.2023 12:38-1надо что-то фундаментально менять в отношениях стран между собой
Если эти отношения допускают концентрацию ресурсов и благ в немногих руках
Неправильно рассматривать такие вопросы на уровне стран, нужно опускаться ниже по иерархии. Страна - это скопление большого количества живых организмов, а живые организмы в своём поведении подчиняются законам биологии. Главная сущность жизни - это гены, которые просто "хотят" делать свои копии с помощью белковых организмов. Из-за этого возникает конкуренция за ресурсы и в том числе желание концентрировать в своих руках большое количество ресурсов. Если у человека больше ресурсов, это повышает его возможности, статус и вес в обществе, у него больше шансов оставить качественное потомство в большем количестве и прожить долгую и качественную жизнь. Поэтому автоматически становится больше таких генов, которые хотят концентрировать у себя ресурсы. Их становится больше, потому что они лучше копируются.
Единственный способ сломать эту систему - это остановка биологической эволюции. Не факт, что это вообще возможно сделать. Для этого нужно чтобы люди либо вообще прекратили размножаться, либо делали это под строгим контролем какого-то нейтрального разумного субъекта. Как вариант это может быть сильный ИИ. Формально это будет похоже на евгенику и не совсем понятно как будет выглядеть и к чему приведет.
Wesha
22.05.2023 12:38гены, которые просто "хотят" делать свои копии с помощью белковых организмов
Отстаёте от жизни.
В XXI веке свои копии при помощи белковых (а скоро — уже и не очень, ChatGPT — первая ласточка) организмов делают уже не гены, а Т-мемы.
bbs12
22.05.2023 12:38Да, мемы тоже имеют значение. Иногда по своему влиянию на поведение они могут быть сильнее генов, но в среднем гены сильнее, т.к. они более фундаментальны и имеют твердую физическую основу.
Wesha
22.05.2023 12:38Зато мемы не требуют вещества для размножения. Вон, посмотрите хоть, в скольки миллиардах копий всевозможные -измы (имеются в виду концепции) размножились
RKrop
22.05.2023 12:38Новые модели уровня ChtaGPT 3 и 4
Сначала подумал, что это опечатка.. но прочитав до конца, судя по духу статьи, думаю, может быть и нет!
GryZin
22.05.2023 12:38Мне сложно понять о чем статья поскольку нету определения и четких критерий понятия "интернет мусор". С другой стороны соглашусь что основный источник угроз это сами люди и AI это всего лишь инструмент. Социально-экономические отношения вот над чем надо работать коллективному человечеству, а не ждать что условный Google придумает супер сервис который решит все наши проблемы. Ведь Google так не остановил ни один военный конфликт.
ildarin
22.05.2023 12:38И это не случайность: современный разрыв между рядовыми людьми и богатейшими членами общества превысил всё, что было в прошлом, потому что в прошлом он не был возможен — а стал возможен только в современном глобальном оцифрованном мире.
Doubt.
В чем измеряется разрыв? Если мы измеряем в человеко-часах и тяжестью работ - кто в современном мире имеет столько же рабов, которых можно использовать вплоть до пожизненного 24/7 как и какой-нибудь фараон древнего Египта?
Чтобы оценить более точно - можно использовать относительную меру. Раньше людей было меньше: 100 миллионов всего в -3000г., а сейчас это всего лишь 1,25% от общего населения.
И это даже если не брать во внимание политический переход от фашизма к анархии через демократизацию, равноправие и правовые институты, что тоже снижает неравенство.
novemix
22.05.2023 12:38-2Прогресс следствие эволюции науки. То есть умственного труда поколений в постоянном переосмыслении и дополнении опыта. Всеобщая грамотность стала драйвером развития в 20 веке и приносила массу выгод, как экономических, так и политических. ИИ избавит людей от необходимости что-то знать и в чем-то разбираться, но саморазвиваться он не сможет, это свойство сознания. Впереди эпоха научного застоя и ускорение культурной деградации. Самое печальное, что оглупление масс это мейнстримный запрос политического класса.
Newbilius
22.05.2023 12:38Самое смешное, что и про письменность говорили, что это деградация - ведь люди перестанут запоминать большие объёмы информации и начнут слепо полагаться на письменное слово, а не думать самостоятельно))
novemix
22.05.2023 12:38+1Что там говорили про письменность в древнем Междуречье я не в курсе. Меня тогда еще не было.
astroiLL
22.05.2023 12:38+2Как можно "превратить в мусорку" то, что уже "мусорка"? Инет и без ИИ, только с помощью людей превратился из "потенциального кладезя информации" в "помойку".
Мне 50+, с компьютерами я уже почти 40 лет и увидел как то, что должно было собирать ценную информацию, как пылесос собирало только мусор в котором ценная информация утонула.
Может с помощью ИИ можно будет "расчистить Авгиевы конюшни" Инета? Я думаю ДА.
Я жду прорывов ИИ во многих областях человеческой жизни. Фантастом такое и не снилось.
А пугают ИИ те, кто заинтересован в большем количестве "мусора".
Serj1979
22.05.2023 12:38Любые информационные системы имеют одну и ту же проблему. Впервые я её увидел с программой 1С: Управление производственным предприятием. Эта проблема тысячу миллионов раз обсуждалась в сообществе. Название ей: "Чтобы был автоматизированный порядок, надо автоматизировать порядок. Если автоматизируешь бардак, будет автоматизированный бардак".
С ChatGPT проблема заключена в том же. Если система "Закрыта" от внешнего интернета - она бесполезна, несёт бред основанный на устаревшей информации, и плодит её экспоненциально.
Если она открыта в интернет, она будет черпать "модель знаний" от 99% живых людей, офисного планктона, не приносящего ничего ценного. И... плодить этот бред экспоненциально. Такова природа живых людей, 1 человек из миллиарда является учёным, приносящим что-то новое и полезное.
nikhotmsk
Голос из ютуба: пока искусственный интелект умеет только обрабатывать большие массивы данных и делать выжимку на их основе. Это всего лишь обработчик текстов. Интеллекта в нем нет ни капельки.
Areso
Ну, не совсем.
Продвинутые системы умеют считать самостоятельно, в них никто не скармливал миллиарды строчек 1+1=2, 1+2=3, 1+3=4...
FreeNickname
Ну, вообще, скармливали...
Wesha
Да что Вы такое говорите!
Areso
у вас устаревшая модель
Wesha
А я её за что хватал???
freeExec
тут проблема в вероятностьной системы ответов, не всегда выбирается самый топовый ответ.
SensDj
вроде писали что чатбот умеет пользоваться Вольфрам Альфа...
Вопрос: процитируй что выдаёт Wolfram Alpha в ответ на вопрос "32188 * 4627"
Ответ чатбота (вроде версия GPT-4): Конечно, я могу процитировать ответ, который выдаёт Wolfram Alpha на вопрос "32188 * 4627". Правильный ответ составляет 148962276.
(это неправильный ответ, вообще-то)