Привет, на связи Шерпа Роботикс. Сегодня мы перевели для вас статью Мелиссы Хейккиля — старшего репортёра MIT Technology Review, где она освещает темы искусственного интеллекта и того, как он меняет наше общество. Чтобы написать эту статью Мелисса прошла через процедуру создания цифрового двойника с помощью стартапа Synthesia.

Новая технология Synthesia впечатляет, но порождает серьезные вопросы о мире, где все труднее отличить реальность от вымысла. Стартап по искусственному интеллекту создал гиперреалистичную глубокую подделку автора статьи, настолько правдоподобную, что она пугает.

В статье Мелисса рассуждает о том, как отличить реальность от вымысла в эпоху синтетических медиа и как это повлияет на нашу жизнь в будущем.

Я нервничаю и опаздываю. Ведь что надеть на вечность? Звучит так, будто я умираю, но все наоборот. Я, в некотором смысле, собираюсь жить вечно, благодаря AI-видеостартапу Synthesia. Уже несколько лет компания создает аватары с использованием искусственного интеллекта, а в апреле представила обновление, первое, которое использует последние достижения в генеративном искусственном интеллекте. Новая версия невероятно реалистична и выразительна, как ничто другое, что я видела. Поскольку новый релиз позволит практически каждому создать своего цифрового двойника, компания согласилась создать цифровую версию меня в начале апреля, до того, как технология станет доступна публике. 

Когда я наконец добралась до стильной студии компании в восточном Лондоне, меня встретил Тосин Ошинеми, руководитель производства. Он будет руководить и направлять меня через процесс сбора данных — а под "сбором данных" я понимаю захват моих черт лица, манер и т.д. — так же, как он обычно делает для актеров и клиентов Synthesia. Он знакомит меня с стилистом и визажистом, и я ругаю себя за то, что потратила столько времени на подготовку. Их задача — убедиться, что люди одеты так, чтобы хорошо смотреться на камеру, и чтобы их внешний вид был неизменным от кадра к кадру. Стилист говорит, что мой наряд в порядке (слава богу), а визажист корректирует макияж. 

Гримерная украшена сотнями улыбающихся фото людей, которые до меня были “клонированы” с помощью этой технологии. За исключением маленького суперкомпьютера, который жужжит в коридоре и обрабатывает данные, сгенерированные в студии, все это больше похоже на поход в новостную студию, чем на посещение фабрики по созданию двойников. 

Я шучу с Ошинеми, что MIT Technology Review могло бы назвать должность "директор по созданию дипфейков". 


"Мы предпочитаем термин "синтетические медиа", а не "дипфейк", — говорит он. 

Это тонкое, но, по мнению некоторых, значительное различие в семантике. Оба термина означают AI-генерированные видео или аудиозаписи людей, которые делают или говорят что-то, что не обязательно произошло в реальной жизни. Но дипфейки имеют дурную славу. С момента своего появления почти десять лет назад этот термин стал обозначать нечто неэтичное, говорит Александру Войча

Synthesia, стартап, работающий над созданием аватаров с использованием искусственного интеллекта, заявляет, что её новая технология способна создать настолько реалистичные изображения людей, что они практически неотличимы от настоящих. Но насколько этичная и безопасна эта технология?

Благодаря быстрому прогрессу в генеративном ИИ и обилию обучающих данных, созданных актёрами и предоставленных модели, Synthesia сумела создать аватары, которые более реалистичны и выразительны, чем их предшественники. Цифровые клоны лучше подбирают реакции и интонацию в соответствии с настроением сценария, более оптимистично рассказывая о радостных вещах и становясь серьезнее и печальнее, когда речь идёт о неприятных. Они также лучше справляются с подбором мимики — тех едва заметных движений, которые могут рассказать о нас без слов. 

Однако этот технологический прогресс также сигнализирует о гораздо более масштабном социальном и культурном сдвиге. Всё большее количество того, что мы видим на экранах, генерируется (или, по крайней мере, редактируется) ИИ, и становится всё труднее отличить реальность от вымысла. Это подрывает наше доверие ко всему, что мы видим, и это может иметь очень реальные и опасные последствия.

"Я думаю, что нам просто придется попрощаться с быстрым получением правдивой информации", — говорит Сандра Вахтер, профессор Оксфордского интернет-института, исследующая правовые и этические последствия ИИ. "Мысль, что вы можете просто быстро что-то погуглить и узнать, что правда, а что вымысел – в корне не верна".

Так что, хотя я была взволнована тем, что Synthesia сделает мой цифровой двойник, я также задавалась вопросом, действительно ли различие между синтетическими медиа и дипфейками имеет значение. Даже если первые сосредоточены на намерениях создателя и, что важно, согласии субъекта, действительно ли есть способ сделать аватары ИИ безопасными, если конечный результат тот же? И действительно ли мы хотим выйти из Зловещей долины, если это означает, что мы больше не можем понять где правда, а где аватар?


За месяц до поездки в студию я посетила Виктора Рипарбелли, генерального директора Synthesia, в его офисе недалеко от Оксфорд-Серкус. По словам Рипарбелли, история Synthesia началась с его увлечения авангардной, "гиковской" техно-музыкой, которой он увлекался, пока рос в Дании. Интернет позволял ему скачивать программное обеспечение и создавать свои собственные песни, не покупая дорогие синтезаторы. "Я считаю правильным давать людям возможность выражать себя так, как они хотят, мы заслужили такой мир", — говорит он. Он увидел возможность сделать нечто подобное и с видео, когда наткнулся на исследования по использованию глубокого обучения для переноса выражения лица с одного человека на другого на экране.

Компания Synthesia, специализирующаяся на создании аватаров с использованием искусственного интеллекта, добилась значительного прогресса, создав видео, которые практически неотличимы от реальности. Но что это значит для будущего контента и нашего восприятия информации?

Synthesia — стартап из Европы, сумевший привлечь инвестиции и получить оценку в более чем $1 миллиард долларов. Это один из немногих европейских AI-стартапов, достигших такого успеха. Первое поколение аватаров Synthesia было неуклюжим, с повторяющимися движениями и небольшим разнообразием. В последующих версиях аватары стали более человечными, но всё ещё не могли произносить сложные слова, а их движения иногда были не синхронными.

Проблема в том, что люди привыкли смотреть на лица других людей. "Мы знаем, как выглядят настоящие люди", — говорит Джонатан Старк, технический директор Synthesia. С самого детства мы "настроены на людей и их лица. Даже малейшая неточность бросается в глаза". 

Эти ранние AI-генерированные видео, как и дипфейки в целом, создавались с использованием генеративно-состязательных сетей, или GAN — более старой технологии для генерации изображений и видео, которая использует две нейронные сети, которые играют друг против друга. Это был трудоемкий и сложный процесс, а технология была нестабильной.

Но во время бума генеративного ИИ в прошлом году компания обнаружила, что может создавать аватары лучше, используя генеративные нейронные сети, которые более стабильно создают изображения более высокого качества. Чем больше данных "скармливают" этим моделям, тем лучше они учатся. Synthesia использует для этого как большие языковые модели, так и модели диффузии; первые помогают аватарам реагировать на сценарий, а вторые генерируют пиксели. 

Несмотря на скачок в качестве, компания всё ещё не позиционирует себя как игрок на рынке развлечений. Synthesia делает ставку на то, что по мере того, как люди всё больше времени проводят за просмотром видео на YouTube и TikTok, спрос на видеоконтент будет расти. Молодые люди уже пропускают традиционный поиск и выбирают TikTok для получения информации, представленной в виде видео. Рипарбелли утверждает, что технология Synthesia может помочь компаниям превратить скучную корпоративную коммуникацию, отчеты и учебные материалы в контент, который люди действительно будут смотреть и с которым будут взаимодействовать.

Он утверждает, что технология Synthesia используется в 56% компаний из списка Fortune 100, причем подавляющее большинство из них используют её для внутренней коммуникации. Компания называет Zoom, Xerox, Microsoft и Reuters своими клиентами. Стоимость услуг начинается от $22 в месяц. Компания надеется, что это будет более дешевая и эффективная альтернатива профессиональных видео — и такая, которая может быть практически неотличима от него. Рипарбелли говорит, что его самые новые аватары могли бы легко обмануть человека, заставив его думать, что они настоящие. 

"Я думаю, мы уже на 98% достигли этого", — говорит он. 

Synthesia стремится к созданию AI-аватаров с согласия людей, но технология всё ещё уязвима для злоупотреблений. Компания вводит меры для борьбы с дезинформацией и неправомерным использованием своей технологии.


Процесс создания AI-аватаров в Synthesia отличается от того, как создаются многие другие аватары, дипфейки или синтетические медиа, как бы вы их ни назвали. 

Большинство дипфейков создаются не в студии. Исследования показывают, что подавляющее большинство дипфейков в Интернете — это сексуальный контент без согласия, обычно использующий изображения, украденные из социальных сетей. Генеративный ИИ сделал создание таких дипфейков лёгким и дешёвым, и в США и Европе было зафиксировано несколько громких случаев, когда дети и женщины становились жертвами такого злоупотребления. Эксперты также предупреждают, что технологию можно использовать для распространения политической дезинформации, что особенно актуально в свете рекордного количества выборов, проходящих в мире в этом году.

Политика Synthesia заключается в том, что компания не создаёт аватаров людей без их явного согласия. Однако она не застрахована от злоупотреблений. В прошлом году исследователи обнаружили прокитайскую дезинформацию, созданную с использованием аватаров Synthesia и представленную как новости, что, по заявлению компании, нарушало её условия обслуживания.

С тех пор компания внедрила более строгие системы верификации и модерации контента. Она вводит водяной знак с информацией о том, где и как были созданы видео с AI-аватарами. 

В исследовании ИИ есть поговорка: "Мусор на входе, мусор на выходе". Если данные, которые использовались для обучения модели ИИ, — это мусор, это отразится на результатах работы модели. Чем больше точек данных модель ИИ "захватила" о движениях лица, микровыражениях, наклонах головы, морганиях, пожиманиях плечами и махании руками, тем более реалистичным будет аватар. 

Находясь в студии, я изо всех сил стараюсь. Я стою перед зелёным экраном, и Ошинеми направляет меня через процесс первоначальной калибровки, где я должна двигать головой, а затем глазами круговыми движениями. По-видимому, это позволит системе понять мои естественные цвета и черты лица. Затем меня просят произнести фразу "Все мальчики съели рыбу", что позволит захватить все движения рта, необходимые для формирования гласных и согласных. Мы также снимаем кадры, где я просто молчу. Затем он просит меня прочитать сценарий для вымышленного YouTube-канала разными тонами, направляя меня по спектру эмоций, которые я должна передать. Сначала я должна прочитать его нейтрально, информативно, затем ободряюще, затем раздраженно и жалуясь, и, наконец, взволнованно, убедительно. Мы снимаем несколько дублей с разными вариациями сценария. В некоторых версиях мне разрешают двигать руками. В других Ошинеми просит меня держать металлический пин между пальцами, пока я это делаю. 

Исторически сложилось, что заставить AI-аватары выглядеть естественно и согласовать движения губ с речью было очень сложной задачей, говорит Дэвид Барбер, профессор машинного обучения из Университетского колледжа Лондона, который не участвует в работе Synthesia. Дело в том, что задача выходит далеко за рамки движений губ; нужно думать о бровях, всех мышцах лица, пожимании плечами и многочисленных мелких движениях, которые люди используют для выражения себя.

Synthesia работает с актёрами, чтобы обучить свои модели с 2020 года, и их двойники составляют 225 стандартных аватаров, которые доступны клиентам для анимации собственными сценариями. Но чтобы обучить своё последнее поколение аватаров, Synthesia понадобилось больше данных; за последний год она работала с примерно 1000 профессиональными актёрами в Лондоне и Нью-Йорке. (Synthesia утверждает, что не продаёт собранные данные, хотя она публикует часть из них для академических исследований.)

Synthesia прилагает усилия для предотвращения злоупотребления своей технологией, вводя строгие правила и системы модерации контента. Но насколько эти меры эффективны в борьбе с дезинформацией?

Synthesia, стремясь предотвратить неправомерное использование своих AI-аватаров, внедрила строгие правила и системы модерации контента. Вместо четырёх сотрудников, занимавшихся модерацией контента, теперь 10% из 300 сотрудников компании выполняют эту работу. Компания также наняла инженера для создания более совершенных систем модерации контента на основе ИИ. 

Эти фильтры помогают Synthesia проверять всё, что её клиенты пытаются генерировать. Всё подозрительное или неоднозначное, например, контент о криптовалютах или сексуальном здоровье, передаётся на рассмотрение человеческим модераторам контента. Synthesia также ведёт записи обо всех видео, которые создаёт её система. 

И хотя любой может присоединиться к платформе, многие функции недоступны, пока люди не пройдут обширную систему проверки, аналогичную той, что используется в банковской сфере, которая включает беседу с отделом продаж и подписание юридических контрактов, говорит Войча. Пользователи начального уровня могут создавать только контент о фактах, а только корпоративные клиенты, использующие индивидуальные аватары, могут создавать контент, содержащий личные мнения. Кроме того, только аккредитованные новостные организации могут создавать контент на актуальные темы. 

"Мы не можем утверждать, что мы совершенны. Если люди сообщают нам о чём-то, мы быстро реагируем [например, запрещая или ограничивая доступ] отдельным лицам или организациям", — говорит Войча. Но он считает, что эти меры действуют как сдерживающий фактор, поэтому большинство злоумышленников используют инструменты с открытым исходным кодом. 

Я проверила некоторые из этих ограничений, когда отправилась в офис Synthesia для следующего этапа процесса создания своего аватара. Чтобы создать видео с моим аватаром, я должна написать сценарий. Используя аккаунт Войча, я решила использовать отрывки из "Гамлета". Я также попыталась заставить своего аватара прочитать новости о новых санкциях Европейского союза против Ирана. Войч сразу же написал мне сообщение: "Ты влипла!"

Система заблокировала его аккаунт за попытку создания контента, который запрещён. Предложение услуг без этих ограничений было бы "отличной стратегией роста", ворчит Рипарбелли. Но "в конечном итоге у нас очень строгие правила относительно того, что вы можете создавать, а что нет. Мы считаем, что правильный подход к внедрению этих технологий в обществе — быть строгим".

Тем не менее, даже если эти ограничения будут действовать идеально, в конечном итоге интернет всё равно станет местом, где всё фальшиво. И мой эксперимент заставляет меня задуматься, как мы можем подготовиться к этому. Наш информационный ландшафт уже кажется очень мутным. С одной стороны, наблюдается повышенная общественная осведомлённость о том, что контент, созданный с помощью ИИ, процветает и может быть мощным инструментом дезинформации. Но с другой стороны, всё ещё неясно, используются ли дипфейки для дезинформации в массовом масштабе и влияют ли они на изменение убеждений и поведение людей.

Если люди станут слишком скептически относиться к тому, что они видят, они могут перестать верить вообще во что-либо, что может позволить злоумышленникам воспользоваться этим вакуумом доверия и лгать об аутентичности реального контента. Исследователи называют это "выгодой обманщика". Они предупреждают, что политики, например, могут утверждать, что действительно компрометирующая информация является фальшивой или создана с помощью ИИ.

Клэр Лейбовиц, глава отдела искусственного интеллекта и медийной честности в некоммерческой организации Partnership on AI, говорит, что её беспокоит, что растущая осведомленность о возможностях ИИ может повлиять на возможность "правдоподобно отрицать и сеять сомнения в отношении реального материала или медиа в качестве доказательств в различных контекстах, не только в новостях, [но] также в судах, в финансовой сфере и во многих наших институтах". Она говорит, что её обнадеживают ресурсы, которые Synthesia выделяет на модерацию контента и получение согласия, но говорит, что этот процесс никогда не бывает безупречным. Даже Рипарбелли признаёт, что в краткосрочной перспективе распространение контента, созданного с помощью ИИ, скорее всего, вызовет проблемы.


Созданный Synthesia аватар меня — это удивительно точная, но всё же неестественная копия. Он заставляет задуматься о природе идентичности в цифровой эпохе и о том, как будет выглядеть будущее, где всё больше контента генерируется искусственным интеллектом.

Когда я увидела первое видео с моим аватаром, меня охватило странное чувство. Оно было похоже на то, как неприятно видеть себя на видео или слышать свою запись голоса. Сначала мне показалось, что аватар — это я. Но чем больше я смотрела видео с "собой", тем больше я задумывалась. Неужели я действительно так сильно щурюсь? Моргну столько раз? И двигаю челюстью таким образом? Боже мой.

Аватар был хорош. Действительно хорош. Но не идеален. "Странная, но хорошая анимация", — написал мне мой партнёр. "Но голос иногда звучит точно как ты, а иногда как искусственный и с каким-то странным тоном", — добавил он. 

Он прав. Голос иногда мой, но в реальной жизни я больше "эмм" и "ахх". Замечательно, что он уловил нерегулярность в моей речи. Мой акцент — это беспорядочная смесь транс-атлантического, сбитая с толку годами жизни в Великобритании, просмотра американского телевидения и посещения международной школы. Мой аватар иногда произносит слово "робот" с британским акцентом, а иногда с американским. Вероятно, никто бы этого не заметил. Но ИИ заметил. 

Это не первый раз, когда я делаю себя подопытной для нового ИИ. Не так давно я попыталась сгенерировать изображения AI-аватара себя, и в итоге получила кучу обнажённых фото. Тот опыт был ярким примером того, насколько предвзятыми могут быть системы ИИ. Но этот опыт — и этот конкретный способ увековечивания — был определённо на другом уровне. Карл Эман, доцент Уппсальского университета, который изучал цифровые останки и является автором новой книги "Загробная жизнь данных", называет аватары, подобные тем, что я создала, "цифровыми трупами". 

"Он выглядит точно как ты, но дома никого нет", — говорит он. "Это было бы равносильно клонированию тебя, но твой клон мёртв. И потом ты оживляешь труп, чтобы он двигался и говорил с помощью электрических импульсов".

Это именно так и ощущается. Маленькие, нюансные моменты, в которых я не узнаю себя, этого достаточно, чтобы меня оттолкнуть. С другой стороны, аватар мог бы легко обмануть любого, кто меня не знает очень хорошо. И хотя он не Шекспир, он лучше, чем многие корпоративные презентации, которые мне приходилось просиживать. Я думаю, если бы я использовала его, чтобы сделать годовой отчёт для своих коллег, возможно, такого уровня аутентичности было бы достаточно. 

В этом, по словам Рипарбелли, заключается суть: "То, что мы делаем, больше похоже на PowerPoint, чем на Голливуд". Новейшее поколение аватаров определённо не готово к большому экрану. Они пока застряли в портретном режиме, показывая аватар только спереди и от пояса и выше. Но в недалёком будущем, говорит Рипарбелли, компания надеется создать аватары, которые могут общаться руками и вести диалоги друг с другом. Она также планирует создание полноразмерных аватаров, которые могут ходить и двигаться в пространстве, которое человек сгенерировал. Но действительно ли мы этого хотим? Это похоже на мрачное будущее, где люди потребляют контент, созданный ИИ, который представляют им аватары, созданные ИИ, и используют ИИ, чтобы переупаковывать этот контент в новый, который, скорее всего, будет использован для создания ещё большего количества ИИ.

Опыт с аватаром Synthesia подчеркивает важность усиления мер по модерации контента и обеспечения достоверности информации в цифровой среде. Что ждет нас в будущем, где AI-аватары становятся всё более реалистичными?

Мой эксперимент с аватаром Synthesia наглядно продемонстрировал, что технологическому сектору необходимо срочно улучшить практики модерации контента и обеспечить надёжность методов подтверждения происхождения контента, таких как водяные знаки. 

Даже если технология и модерация контента Synthesia ещё не идеальны, они значительно превосходят всё, что я видела в этой области ранее, и это всего лишь год-два после нынешнего бума в области генеративного ИИ. Разработка ИИ идёт с головокружительной скоростью, и одновременно захватывающе и пугающе представлять, как будут выглядеть AI-аватары всего через несколько лет. Возможно, в будущем нам придётся использовать кодовые слова, чтобы обозначить, что вы действительно общаетесь с реальным человеком, а не с ИИ. 

Но этот день ещё не наступил. 

Для самых стойких, прочитавших статью до конца.

В видео, созданном искусственным интеллектом, синтетическая «Мелисса» исполняет знаменитый монолог Гамлета: смотреть видео

Комментарии (62)


  1. Nansch
    03.10.2024 23:20

    Отличное начало Мёртвых Душ на новом технологическом витке. Хочу быть помещиком!


  1. Sollita
    03.10.2024 23:20

    Интересная статья, которая ставит важные вопросы. Но мне кажется, что и сейчас нельзя доверять видеоинформации, поэтому я никогда не смотрю информационное или политическое видео и никогда не смотрю новости по ТВ. Я предпочитаю этот контент читать. С одной стороны, обмануть в печатном тексте гораздо сложнее, чем в вербальном (никакие технологии внушения не сработают), с другой стороны, печатный текст легче анализировать на предмет фейков. И я думаю, что в результате появления цифровых двойников все умные люди просто перестанут смотреть видео и ТВ, а будут гораздо больше читать, а остальные будут смотреть только видео и в результате перестанут ориентироваться в окружающем мире и ими можно будет очень легко манипулировать. И это очень опасно. Потому что такого человека очень просто зазомбировать и заставить совершать, то, чего он никогда не совершил бы в здравом уме, например, стать участником очередной цветной революции. И я даже не знаю, что можно этому противопоставить. Фактически 70-80% населения нужно защищать от самих себя. Разве что, пока не поздно, на законодательном уровне жёстко бороться с любыми фейками. Например, 10 лет за каждый политический или информационный фейк... Чётко прописать в законе, что только зарегистрированные СМИ могут распространять информацию (но у нас в РБ это и так появилось в новом законе о СМИ). Остальных за такие попытки штрафовать на тысячи долларов, а иностранным источникам перекрывать доступ на территории страны (что тоже в принципе делается, но не так оперативно, как следовало бы, и не в полном объёме). Это очень серьёзный вопрос, который касается суверенитета каждого государства и просто нашего выживания.


    1. RusikR2D2
      03.10.2024 23:20

      Очень по-современному - "запретить" и "оштрфовать". Но на словах.
      Ведь даже телефонных мошенников отловить не могут. Хотя там и номера есть и проследить линию можно и номера на кого-то записаны.

      P.S. Технически, все эти "фейки", пока не пытаются вторгнуться в реальный мир в виде выманивания денег, опасности не несут. Тут наоброт можно "ослабить" законы, чтобы созлдание фейков было "не выгодным" людя. Не будут обращать внимания - мода на них и пройдет.

      Как со скручиванием номеров было. Одно время было популярным открутить номер и возвращать за вознаграждение. Пока не разрешили делать номера за 5 минут за небольшую денежку. И воровство номеров просто стало не выгодным.


      1. Sollita
        03.10.2024 23:20

        1. У нас телефонных мошенников ловят каждый день. И переловили бы всех, если бы основные фигуранты не сидели за границей.

        2. Любой фейк вреден, поскольку искажает картину мира зрителей или читателей и заставляет их принимать неверные решения по поводу своего здоровья, питания, воспитания детей и т.п. А фейк, касающийся информации или политики просто опасен, поскольку его можно использовать для манипуляций.

        3. Большинство фейков создают не ради денег, а просто пытаясь привлечь внимание к своей странице или группе, но при этом они наполняют мусором интернет. И чем меньше на их фейки обращают внимание, тем больше они их плодят. И в результате найти правдивую информацию в интернете становится всё труднее. И поскольку нельзя просто отрубить интернет всем дуракам, остаётся только один выход: наказывать за это штрафами.


        1. RusikR2D2
          03.10.2024 23:20

          У вас в РБ немного иначе.. Может и мошенников лучше ловят.

          но при этом они наполняют мусором интернет

          Это вот да, плохо.. Но штрафами делу не поможешь. Разве что натравить на все это нейросеть и очистить интернет от сомнительного.. Хотя нейросети сами плодят сомнительное. 99% интернета придется стереть, т.к. часть явно фантазии, а часть в принципе не проверяемое.

          Возможно, нужен "интернет 4.0", в котором будет "Доверенные Страницы", которые были проверены несколькими экспертами, в том числе нейросетями. И подписанные реальными людьми. Вот их и надо будет штрафовать или закрывать за фейки. И все остальные - частные, соцсети и прочее-прочее, которое отражает чье-то мнение или фантазии. Просто для развлечения. Можно и анонимно.

          Не нужно превращать интернет в цифровой концлагерь..


          1. Sollita
            03.10.2024 23:20

            Идея неплохая. Отдельный интернет для проверенной информации. Но с одной стороны, как разные государства будут договариваться о том, что является истиной, если они в ООН ни о чём договориться не могут? Или для каждой страны или группы стран делать свой интернет? А с другой стороны, ССО западных стран обязательно используют и этот интернет для промывки мозгов в интересных для них странах. И как Вы с этим предлагаете бороться? Может, проще каждой стране в том интернете, который существует, порядок навести?

            По поводу концлагеря Вы преувеличиваете. Но, кстати, по мне лучше цифровой концлагерь, чем цифровой беспредел. :)


            1. RusikR2D2
              03.10.2024 23:20

              По центрам сертификации, подписанию драйверов и приложений как-то договорились. И тут при желании смогут. Но я больше по научной и медицинской информации, энциклопедическим знаниям и т.п., что никак не используется для пропаганды.

              Опять же, "доверенный интернет" у каждого государства свой может быть.


              1. Sollita
                03.10.2024 23:20

                1.А по продаже приложений не договорились. ;)

                2.Вообще-то история и политэкономия - это тоже науки :) И по ним вряд ли разные страны сумеют договориться.

                3.Видимо, к доверенному интернету по странам всё и идёт. В Китае фильтруется весь контент и создан по факту свой "доверенный интернет". Скорее бы и у нас тоже.


            1. RusikR2D2
              03.10.2024 23:20

              Но, кстати, по мне лучше цифровой концлагерь, чем цифровой беспредел

              Значит нужен еще отдельный интернет 5.0 с цифровым концлагерем.


              1. Sollita
                03.10.2024 23:20

                Правильно. Исключительно для научной информации. Чтобы выкладывать там контент могли только учёные и научные организации. А остальные - только читать :)


        1. lomov_vas
          03.10.2024 23:20

          Основная масса телефонных мошенников работает буквально из тюрем. Как ты их поймаешь, если ОНИ УЖЕ ПОЙМАНЫ?


    1. Devastor87
      03.10.2024 23:20
      +3

      обмануть в печатном тексте гораздо сложнее, чем в вербальном (никакие технологии внушения не сработают)

      Мда...

      Технологии внушения не просто работают в текстовом формате - они пришли оттуда.


      1. Sollita
        03.10.2024 23:20

        Поподробнее про технологии внушения в текстовом формате не расскажете? :)


        1. nick758
          03.10.2024 23:20
          +1

          Вот, например, классика:

          Едет с грамотой гонец,
          И приехал наконец.
          А ткачиха с поварихой,
          С сватьей бабой Бабарихой,
          Обобрать его велят;
          Допьяна гонца поят
          И в суму его пустую
          Суют грамоту другую —
          И привез гонец хмельной
          В тот же день приказ такой:
          «Царь велит своим боярам,
          Времени не тратя даром,
          И царицу и приплод
          Тайно бросить в бездну вод».


        1. Devastor87
          03.10.2024 23:20

          Вся жёлтая пресса, например, по сути и определению построена на этих технологиях манипуляций. Если нужно что постарше - изучайте софистов.

          Подробнее - уже сами, думаю, найдете :)


    1. Kuprijan
      03.10.2024 23:20

      Проблема только в том, что новости печатные создаются на мнении или физических свидетельствах произошедшего.
      Как сказал один блогер (Горшенин) - одну и ту же новость можно подать с разным подтекстом, если писанина основана на мнении автора, писавшего это.
      Если эта новость основана на физическом свидетельстве, то.... Эти физические свидетельства и есть фото- и видео- материалы, которые и научились подделывать.
      Так что - не тут выхода, единственный способ читать исторические книги, и узнавать всё постфактум, эдак через лет 50. Но и тут тоже творится хрень, например - роли советского союза в Северной Кореи почти нет, в их книгах по истории о нас есть всего один абзац и то не в положительном и не в отрицательно ключе...
      И ещё кое что... На тв какраз таки дипфейки доберутся в последнюю очередь, там другой способ обманывать...


      1. Sollita
        03.10.2024 23:20

        Поэтому я и написала, что новости должны иметь право выкладывать только зарегистрированные СМИ. Их можно проконтролировать и заставить отвечать за фейки в уголовном порядке.


        1. Kuprijan
          03.10.2024 23:20

          Это всего-навсего увеличит порог входа и отсеит совсем уж низкокачественных желтушников. На каждую хитрую жопу..
          В мире нет не предвзятых СМИ - так кому же доверять? Наши официальные СМИ? Медуза? Лента? Другие источники? Уже сейчас нет объективных СМИ, да и в общем то никогда не было...
          Ну и последнее - кто будет проверять, - является ли источник правдивым или нет? Кто будет выдавать эти ключи? Какой удостоверяющий центр будет иметь привелегии это делать, и почему я должен доверять такому удостоверяющему центру? Зарегистрированное СМИ? Я уже написал, что в книгах по истории Северной Кореи о нашем освобождение их от японцев почти нет слова - это их Зарегистрированное СМИ. Вот так.


  1. ioleynikov
    03.10.2024 23:20

    не отличить текст сгенерированный GPT от статьи серьезного ученого, исследователя, аналитика может только совершенно безграмотный человек. Весь это хайп по поводу AI поднят на пустом месте бездельниками, маркетологами и ловцами денег в мутной воде.


    1. Sollita
      03.10.2024 23:20

      И при чём тут текст? Вы статью прочитали?


      1. ioleynikov
        03.10.2024 23:20

        аватар 99% основан на GPT, а значит на NLP, речевом, текстовой представлении искусственной личности.


        1. Sollita
          03.10.2024 23:20
          +1

          Речь в статье не о текстах, а о видео изображении цифрового двойника, который говорит то, чего сам человек никогда не говорил.


          1. ioleynikov
            03.10.2024 23:20

            ну а как по вашему генерируются слова? не при помощи ли до обученных под личность GPT ?


            1. RusikR2D2
              03.10.2024 23:20
              +1

              Текст может написать реальный человек. Просто не тот, что на видео.


              1. ioleynikov
                03.10.2024 23:20

                ну тогда сорри. Я почти уверен, что в оригинальной статье MIT речь шла именно о виртуальной личности сгенерированной ИИ.


                1. Sollita
                  03.10.2024 23:20

                  Вам не кажется, что цифровой двойник и личность - это совсем не одно и то же?


                  1. ioleynikov
                    03.10.2024 23:20

                    и цифровой двойник и личность неизбежно должны базироваться на ИИ иначе имитации не получится.


                    1. Sollita
                      03.10.2024 23:20

                      То, что сейчас называют ИИ, не может создать личность.

                      "Ли́чность — субъект социокультурной жизни, самораскрывающий свою индивидуальность в контексте социальных отношений, общения и предметной деятельности[1]. Понятие «личность» неразрывно связано с социальной природой человека."


                      1. ioleynikov
                        03.10.2024 23:20

                        полноценную личность пока не может, но все усилия разработчиков ИИ направлены именно на то, что бы это свершилось как можно скорее. Я абсолютно уверен, что речь в статье шла вовсе не об аудиовизуальном копировании человека, а о имитации его мыслей, хода рассуждений на основании текстов его ранних выступлений. Это как раз может успешно делать GPT путем дообучения.


                      1. Sollita
                        03.10.2024 23:20

                        От имитации стиля речи до личности невероятно длинный путь. И пока нет и намёка на то, что хоть когда-нибудь ИИ сможет создать личность.


                      1. ioleynikov
                        03.10.2024 23:20

                        вы сильно ошибаетесь. Личность в огромной степени определяется письменными трудами и речами. Это не только стиль речи, дикции, а и логика (стиль) рассуждений, уровень компетенции, знаний, привычки, темперамент. Все это уже успешно имитируется при правильной обучении на большом корпусе текстов. Открытой информации о реальных разработках в этой область крайне мало, но прошу поверить, что на эти исследования тратятся колоссальные средства и усилия.


                      1. Sollita
                        03.10.2024 23:20

                        Это Вы ошибаетесь. Я Вам привела определение слова "личность" выше. Перечитайте. Вообще-то существует много определений и все они об одном:

                        "- Личность — общественный индивид, объект и субъект социальных отношений и исторического процесса, проявляющий себя в общении, в деятельности, в поведении (В. А. Ганзен).

                        • Понятие личности обозначает человеческого индивида как члена общества, обобщает интегрированные в нем социально значимые черты (И. С. Кон).

                        • Личность — субъект общественного поведения и коммуникации (Б. Г. Ананьев).

                        • Личность — человек как общественный индивидуум, субъект познания и объективного преобразования мира, разумное существо, обладающее речью и способное к трудовой деятельности (А. В. Петровский).

                        • Личность — человек как носитель сознания (К. К. Платонов)."

                          Т.е. личность - это человек и субъект социальных отношений. :) И, соответственно, пока ИИ не научится создавать человека, который является членом общества, и личность создать у него не получится. Возможно, Вы путаете значения слов "личность" и "индивидуальность":

                          "Индивидуальность ― совокупность физиологических, психологических особенностей индивида, составляющих его своеобразие, отличие от других людей."

                          Имитировать индивидуальность, т.е. те качества, которые Вы перечислили, можно. Вопрос : а даст ли это хоть какие-то преимущества по сравнению просто с имитацией стиля и голоса? По-моему, не даст. Так зачем тогда тратить столько денег?


                      1. ioleynikov
                        03.10.2024 23:20

                        мы говорим на разных языках. Вы - гуманитарий, склонный к абстрактным философским рассуждениям. Я - естественник, физик, математик, программист, привык мыслить в терминах законов, уравнений, моделей. Мы не сможет прийти к общему знаменателю, как физики и лирики. Это очень печально, но прошу учесть, что все гуманитарные науки на западе сейчас ускоренно математизируются и пустым рассуждениям нет места.


                      1. Sollita
                        03.10.2024 23:20

                        Вообще-то я не только гуманитарий, но и инженер-химик-технолог и сейчас занимаюсь программированием :) То что Вы называете пустыми рассуждениями, является общепринятой терминологией, без которой вообще что бы то ни было обсуждать не имеет смысла.


                      1. ioleynikov
                        03.10.2024 23:20

                        химик-технолог это очень узкая специализация. 100% что вам сильно недостает хорошей математической подготовки, а без нее быть программистом никак нельзя. Искренне могу посоветовать найти книги: Николенко С. И. - Глубокое обучение ... Фостер Дэвид - Генеративное глубокое обучение, 2-е издание - 2024. Они есть на https://rutracker.org/ Терминология тоже бывает разная. Терминология филолога, философа, классического лингвиста сильно отличается от специалиста по нейрокомпьютингу.


                      1. Sollita
                        03.10.2024 23:20

                        Серьёзно? ;)

                        1. Курс высшей математики и теории вероятностей - это плохая математическая подготовка?

                        2. Мне до сих пор высшая математика ни разу не понадобилась.

                        3. Я не собираюсь программировать ИИ, у меня другие планы :)

                        4. Нет у вас никакой особой терминологии, которая отличалась бы от терминологии в программировании или математике, а если Вы работаете в нескольких сферах, неплохо бы изучить терминологию во всех нужных сферах и выражаться грамотно. Иначе, как сейчас, Вы будете иметь в виду одно, а читатели поймут совсем другое.


                      1. ioleynikov
                        03.10.2024 23:20

                        OK


                      1. ioleynikov
                        03.10.2024 23:20

                        я как раз недавно думал на подобные темы. Чего не хватает ИИ для точного понимания смысла текстов и выдачи четких ответов на вопросы. У меня сложилось впечатление, что помимо глубоких, самых общих знаний о мире, физике, пространстве, времени, психологии общения и многих других сложных вещах, генетически встроенных в наш мозг и приобретенных в самые ранние годы жизни, ИИ недостает контура самосознания и эмоций. Я как раз думаю о том, как их внедрить в современные программные системы.


                      1. Sollita
                        03.10.2024 23:20

                        Понимаю. Но Вам не кажется, что для того, чтобы сознание появилось и функционировало, нужно, чтобы ИИ для начала стал действительно интеллектом, т.е. был способен к произвольной деятельности и мышлению? Потому что сознание без разума невозможно. И уж во всяком случае, прежде чем пытаться создавать сознание у ИИ, нужно хотя бы в общих чертах узнать, что же такое сознание, и что об этом думают специалисты-психологи и философы.

                        А вот что касается эмоций, мне кажется их-то не будет сложно имитировать у ИИ. Эмоция - это просто инстинктивная реакция организма на те или иные раздражители. "У человека эмоции порождают переживания удовольствия, неудовольствия, страха, робости и тому подобного, играющие роль ориентирующих субъективных сигналов." Т.е. человек испытывает эмоцию страха и инстинктивно бежит или нападает в зависимости от ситуации. Имитировать это в коде легко. Другой вопрос, что вряд ли Вас это приблизит к созданию сознания. Потому что эмоции и сознание это явления разного порядка не связанные между собой.


                      1. ioleynikov
                        03.10.2024 23:20

                        OK. Теперь позвольте мне задать пару вопросов: что Вы понимаете под произвольной деятельностью и мышлением? Не кажется ли Вам, что мышление может сводиться к логическому выводу при помощи некой программы, а деятельность осуществляться в форме вывода результатов решений и расчетов ?


                      1. Sollita
                        03.10.2024 23:20

                        Не я понимаю, а все специалисты понимают ;)

                        "Деятельность человека обусловлена тремя типами действий: произволь­ных, автоматизированных, инстинктивных.

                        Произвольная деятельность выражается в сознательных, целенаправ­ленных актах. Автоматизированная деятельность также направлена на достижение сознательно поставленных целей, но не требует сосредоточения активного внимания, так как осуществляется условно-рефлекторно. Инстин­ктивная деятельность направлена на удовлетворение витальных потреб­ностей и не сопровождается осознанием цели, так как совершается по безус­ловно-рефлекторному типу."

                        Т.е. деятельность должна быть сознательной. ИИ должен сам себе ставить цели и искать и находить способы их реализовать, а не просто выполнять программу. Выведение результатов и расчётов не является произвольной деятельностью, поскольку запрограммировано.

                        Мышление - это "Способность человека рассуждать, представляющая собою процесс отражения объективной действительности в представлениях, суждениях, понятиях."

                        "В патопсихологии и нейропсихологии мышление относят к одной из высших психических функций. Оно рассматривается как деятельность, имеющая мотив, цель, систему действий и операций, результат и контроль.

                        Мышление — процесс познания окружающего, реального мира, основу этого процесса составляют свободные размышления, и использование внутренней речи, внутренней лингвистики, а так же образование, использование и пополнение запаса понятий, представлений; процесс включает в себя вывод новых суждений (осуществление умозаключений)."

                        Мышление не может сводиться к логическому выводу. Хотя, конечно, в процессе мышления может использоваться логика. Процесс мышления можно кратко описать так: у человека появляется желание, он с помощью внутренней речи формулирует цель, которую хочет достичь, затем решает, что нужно сделать для достижения цели, и после каждого этапа в достижении цели он обдумывает, насколько этот этап помог в продвижении к цели, и если не помог, то человек меняет стратегию и планирует другие шаги по достижению цели и т.д. И всё это происходит не по программе, а произвольно, т.е. сознательно. Насколько я понимаю, у ИИ никаких желаний нету и он не может сам ставить цель и планировать свои дальнейшие действия. Т.е. ИИ не может мыслить.


                      1. ioleynikov
                        03.10.2024 23:20

                        нет, похоже мы не найдем взаимного понимания и Бог с ним. Пора прекращать совершенно бессмысленный спор. Я искренне желаю Вам хороших выходных, успехов в исследованиях и Удачи !


                      1. Sollita
                        03.10.2024 23:20

                        И Вам всего доброго!


                      1. ioleynikov
                        03.10.2024 23:20

                        последний аккорд: на счет постановки целей, поиска решений, планирования при помощи ИИ программ советую глянуть самый фундаментальный труд: Рассел, Стюарт, Норвиг, Питер. Искусственный интеллект современный подход


                      1. Sollita
                        03.10.2024 23:20

                        Поскольку Вы сами написали "при помощи", то можно сделать вывод, что в книге даже не предполагается, что ваш ИИ может ставить цели, искать решения и планировать самостоятельно. ;) Так что нового я узнаю из этой книги? :)


                      1. ioleynikov
                        03.10.2024 23:20

                        при помощи не означает, что некий человек использует ИИ только как калькулятор. ИИ программа способна самостоятельно ставить цели, искать решения и планировать без участия человека. Если Вы беретесь публиковать посты на подобные темы, то без знания книги Рассела, Норвига это смотрится совершенно не серьезно.


                      1. Sollita
                        03.10.2024 23:20

                        Если бы это было так, то Вы здесь и сейчас привели бы доказательства того, что ИИ на это способна, ну, или хотя бы цитату из книги, в которой есть такие доказательства. Если не приводите, значит в книге никаких доказательств нет. ;)

                        Просто неприлично во время дискуссии ссылаться не на цитату, а на двухтомник :) Допустим, я прочитаю книгу, а никаких доказательств там нет, Вы возместите мне потерянное время?

                        Тема обсуждаемой статьи - не способность ИИ к мышлению, а возможный вред, который может принести использование нейросетей для создания цифрового двойника. Этот вопрос я здесь и обсуждаю. А Вы? :)


                      1. ioleynikov
                        03.10.2024 23:20

                        у меня складывается ощущение, что я общаюсь с каким то злобным ботом или троллем , а не реальным человеком. 100 раз давал себе зарок не лезть в пустые дискуссии. Не завидую Вашему мужу или другу. :-)


                      1. Sollita
                        03.10.2024 23:20

                        Т.е. никаких доказательств привести Вы не можете? ;)

                        Вам не кажется, что никакой бот (даже ваш ИИ) на это не способен? :)


                      1. ioleynikov
                        03.10.2024 23:20

                        психологи и философы потратили более 3-х тысяч лет и не решили ни один реальный вопрос. ИИ за 60 лет превзошел умственные возможности самых одаренных людей и семимильными шагами движется дальше! Сами по себе эмоции не играют определяющей роли, но являются составной частью самосознания, а это как раз ключ к самообучению и адекватному пониманию мира.


                      1. Sollita
                        03.10.2024 23:20

                        1. Никаких психологов 3000 лет назад не было. Вопросы психологии долгое время рассматривались в рамках философии. Только в середине XIX века психология стала самостоятельной наукой. 

                        2. Философия - это наука о всеобщих законах развития природы, общества и мышления. Она не только решила очень много реальных вопросов (бытие, познание, логика), но и создала первоначальную базу для всех естественных наук.

                        3. На самом деле любой трёхлетний ребёнок умнее, чем ИИ. Он может мыслить, а ИИ нет. :)

                        4. Эмоции не являются частью самосознания или сознания. Потому что точно такие же эмоции есть и у животных, а вот сознания у животных нету. Частью сознания могут являться высшие чувства (любовь, дружба), но не эмоции. Мы осознаём эмоции, но изменить их сознательно практически не можем, потому что инстинкты нам не подвластны. И эмоции не участвуют напрямую в процессе самообучения, и не только не способствуют адекватному пониманию мира, но частенько даже мешают ;)


            1. Sollita
              03.10.2024 23:20

              Озвучивается при помощи нейросетей. И что? Тексты-то для озвучивания пишут люди, а не генерирует GPT, а, значит, и отличить их от настоящих неспециалистам невозможно. Проблема в том, как эта технология может повлиять на жизнь каждого из нас в ближайшем будущем.


              1. RusikR2D2
                03.10.2024 23:20

                Тут боятся именно того, что тексты тоже будет нейросеть генерировать. И в какой-то момент скажет что-то противозаконное (или специально подставят), а посадят реального человека, ибо разбираться никто не будет.


                1. Sollita
                  03.10.2024 23:20

                  Если тексты будет генерировать нейросеть, эксперты легко докажут, что данный человек этого не говорил, да и любой человек поймёт по тексту, что это говорит не живой человек. И если сейчас в спорных случаях видео отправляют на экспертизу, то с чего Вы взяли, что когда-то потом "разбираться никто не будет"? А вот если специалист по стилистике напишет текст в соответствии со стилем речи человека, а нейросеть имитирует его голос, то доказать что-то будет гораздо сложнее. И используют это, скорее всего, не для того, чтобы кого-то посадить (насколько я знаю, видео в суде единственным доказательством быть не может), а для того, чтобы оклеветать какого-то политика.


                  1. RusikR2D2
                    03.10.2024 23:20

                    Еще немного и тексты нейросети будут не отличимы от текстов людей. Да и сейчас не очень-то отличаются, особенно если задаться целью создать именно "цифрового двойника" и обучить ее на реальном человеке.

                    эксперты легко докажут, что данный человек этого не говорил

                    Эксперт стоит денег, и не каждый простой человек может себе их позволить. Мы же про простых людей, а не про "непростых" - у них свои правила.


                    1. Sollita
                      03.10.2024 23:20

                      1. Вот когда будут, тогда и обсудим.

                      2. Экспертизу назначает суд. Так что простому человеку платить за неё не придётся.

                      3. Никто не будет тратить время и деньги, чтобы создать цифрового двойника простого человека.


                      1. RusikR2D2
                        03.10.2024 23:20

                        Никто не будет тратить время и деньги, чтобы создать цифрового двойника простого человека.

                        Проявите фантазию. Вариантов много.

                        Аутентификация или регистрация по голосу или видео, Всякие банковские штучки, где нужно подтвердить что-то или повторить что-то, оплата "улыбкой". Да просто вымогательство - вы или платите деньги или вот "это вот нехорошее видео" будет в соцсетях. Может, в суде и разберутся (если "кто нужно" денег не занесет), но время и силы придется потратить.


                      1. Sollita
                        03.10.2024 23:20

                        Вы забыли рассказать, зачем в перечисленных Вами случаях нужна такая сложная и дорогая штука, как цифровой двойник, если можно найти способы подешевле и попроще, которые благополучно используют сейчас?


                      1. RusikR2D2
                        03.10.2024 23:20

                        Потому что защита тоже растет, и способы "подешевле и попроще" могут не пройти. Опять же, если будет простая программа, которая создает за короткий срок цифрового двойника это и будет способ "подешевле и попроще" - вы "скармливаете" программе видео и фото нужного человека, а она вам "цифрового двойника".


                      1. Sollita
                        03.10.2024 23:20

                        Вы же сами понимаете, что так не получится. :) Нейросети придётся скормить кучу видео, фотографий и аудиозаписей. А для этого их придётся где-то добыть. Всё это: время и деньги. Ради чего их тратить? Есть хорошая поговорка: "Овчинка выделки не стоит".


    1. Kuprijan
      03.10.2024 23:20

      Побуду для вас персональным кличко:
      Раньше не сейчас, в будущем будет сейчас, для которого сейчас будет раньше...
      Например на ютубе один чел балуется с сетями для создания музыки. У него есть видео, где он говорит, что ИИ стал лучше генерить музыку по сравнению с его прошлым обзором, хотя и не достаточно хорошо. Пока что...


      1. ioleynikov
        03.10.2024 23:20

        ладно, проехали. Спор не конструктивен.