В прошлом гайде https://habr.com/ru/articles/918226/ я уже разбирал по каким признакам палится искусственный текст и как можно очеловечить даже самый бездушный ответ нейросети. Но было интересно, правда ли люди так круто отличают своего от машинного, если убрать ярко выраженный стиль или дурацкие автозамены. Так в рамках статьи был приведен тест https://tally.so/r/w4DZoO, позволяющий проверить свои навыки распознавания.
Я собирал интерактивный тест из пары десятков парных текстов и предоставил аудитории угадывать, где писал человек, а где нейросеть. Было ожидание, что завсегдатаи хабра и айтишники разнесут LLM в сухую. Ан нет, результат вышел отрезвляющим.
Кто победил человек или алгоритм
Тест готовился на GPT-o3, без каких-то мудреных техник, разве что векторизованная выгрузка из канала автора и пары переписок + лигий тюнинг после анализа его тональности. Те ничего особенного.
В опросе поучаствовали 300 человек. В тесте - 28 вопросов (14 пар текстов). Специально миксовал бытовые зарисовки личные истории и рабочие сцены, чтобы исключить явную стилевую палку.
Средний результат - 16 правильных из 28 → 58% точности угадывания. Это на пару процентов лучше монетки - но явно не повод гордиться. Медиана - 17. Почти треть респондентов не набрала и 50 процентов верных ответов - если бы отвечали вслепую, результат был бы не хуже.
На чем спотыкались даже финалисты теста
Вопросы про бытовые детали - кто что ест, что любит делать по утрам и прочие милые пустяки - в 45% случаев путали всех. Narrow AI (LLM-ки) научились пародировать банальщину лучше любого копирайтера - описания про овсянку с бананом или лето когда можно есть вишню проходят на ура.
Гладкая аргументация и стройная структура автоматически записывались в AI даже если писал человек. Парадокс: чем правильнее формулируешь мысли, тем больше шанс быть принятым за нейросеть. Постоянно наблюдаю баталии на этот счет на LinkedIn и Threads.
Юмор, автобиография, любые признаки эмоций или призмы личного опыта, даже если GPT изображает иронию или вставляет стрёмную шутку, участниками почти всегда распознавались как признак человека . У самой GPT местами это выходит убедительнее чем у некоторых людей.
Ошибки, небрежные обороты и внезапные обрывы фраз, почему-то начинают превращаться в классику, по которой идентифицируют живого автора. И они работали, но только до того момента, пока нейросеть не начинала их копировать более раздутыми корпусами и структурным промптингом.
Самое главное: чем больше GPT добавляла небрежности, тем хуже угадывали.
Где сыпались почти все
Длинные тексты. Если текст растянут на несколько абзацев и с виду автобиографичен, угадываемость падала до 38% на этих вопросах. Нейросеть тянет за счет постоянства и связности, а люди частенько теряют нить или уходят в повтор.
Если оба автора писали максимально пресно и сухо, угадывали хуже всего. Банальные советы искать гладкость или ловить неестественные обороты сработали бы года два назад; но сейчас не катят. GPT обновляется быстрее чем появляется новый детектор.
Если в тексте была яркая эмоция или исповедь - почти всегда считали, что писал человек. Но были вопросы где это был AI и там ошибка угадывания взлетала до 60%.
Общие паттерны и ложные ориентиры
Гладкость - значит робот. Личные детали - значит человек. Сухость - AI. Всё чаще это не так. Нейросеть ловко жонглирует всеми этими признаками. Чем сильнее участник теста был уверен в себе тем чаще ловил фейл именно на стыке человеческой ошибки и машинного мимикрирования.
Особенности поведения по данным теста
Участники уверены что их не провести (я так полагаю, иначе зачем тест проходить), но проваливают бытовые и личные тексты - GPT уже спокойно имитирует скучные детали жизни;
Удивительно много промахов на тексты средней длины - то есть на простых диалогах и описаниях событий без выпендрёжа;
Самые уверенные в себе комментаторы чаще ошибаются на деталях где текст специально ломает ритм или выбрасывает мелкие личные детали. Теперь и человек и нейросеть в этом одинаково убедительны;
В части вопросов где GPT изображала неловкие эмоции или ошибалась специально угадываемость была чуть выше рандома. Даже обратный паттерн: чем нелепее GPT, тем чаще её принимали за человека;
Упор на искать гладкость или неестественные обороты и ждать стрёмных шуток → банальная стратегия которая не работает с новыми моделями;
Комментировать про — и “ “ я даже не буду, слишком приелось;
Если текст очень скучный или слишком правильный, ловили осечку почти все. Сейчас по этому палится скорее не GPT, а недостаточно подкованный автор.
Итого
LLM мимикрирует не только под стиль, но и под типичные человеческие ошибки. Человечность становится новым скиллом, как когда-то умение писать код без багов. И если ты всё ещё надеешься поймать нейросеть по старым паттернам, что ж, я полагаю, ты немного отстал от мира.
Тест открыт - проверь свою интуицию. А полный гайд по признакам тут: https://habr.com/ru/articles/918226/
Комментарии (75)
SadOcean
29.06.2025 14:43Это неизбежно
Есть замечательный рассказ
Брайан Плант "Только человек" (It's only human)
Renewal_Studio Автор
29.06.2025 14:43Спасибо, ознакомлюсь. Печально что вайбкодинг прижился, а щитлуп нет, мне пока не очень уютно в мире сгенерированных текстов
Wesha
29.06.2025 14:43Я старый пе^Hрожжённый (по)читатель фантастических (и не только) рассказов, и давно заметил одну особенность:
Сполер
Ежели аффтар из кожи вон лезет, чтобы показать, что X ну вот совершенно и совсем никак не может быть тем, кого мы пытаемся обнаружить — то именно он как раз и является тем, кого мы пытаемся обнаружить — первым рассказом с таким вотэтоповоротом для меня стали «Десять негритят» Агаты Кристи.
Jirabus
29.06.2025 14:43Помню раньше был прикол, выбери где на фото не транс. Давно это было.
Кругом обман и с годами ситуация становится все хуже
Renewal_Studio Автор
29.06.2025 14:43А как на ваш взгляд к этому стоит относиться и что делать? И стоит ли?
LavaLava
29.06.2025 14:43Цифровой апартеид : THE SITE IS FOR HUMAN ONLY
но это всем надо встать в очередь на единый ID. Половина конечно скажет что не хотят чтобьы их считали. И идея провалится.
Потом Arpanet создаст новую онлайн систему, куда уже пускать только по ID. И это будет новый интернет HumanNet ( totalitarizm edition)
Там будет тяжеловато для психики под постоянным надзором и старый интернет будет работать почти как и прежде, потихоньку утопая в жиже ИИ контента. А всем кому не нравится ИИ будут махать в строну HumanNet и они вскоре уже и перестанут бурчать и привыкнут
Renewal_Studio Автор
29.06.2025 14:43Ахахах, уже есть https://agentrxiv.github.io/ и https://ai.vixra.org/ чтобы отделять православный https://arxiv.org/ от статей которые генерируют
vital_pavlenko
29.06.2025 14:43Поражаюсь вашей упёртости использовать «-» вместо «—», лишь бы текст не походил на сгенерированный. Уже смахивает на какое-то тревожное расстройство. Бессистемная пунктуация, короткое тире и опечатки — и всё ради того, чтобы читатель подумал, что это пишет живой человек
Renewal_Studio Автор
29.06.2025 14:43Так это и писал живой человек, каюсь, я не самый грамотный автор, но я никогда не заявлял этого. К чему ваше оценка моих личностных качеств и состояния здоровья?
vital_pavlenko
29.06.2025 14:43Только один вопрос. Что плохого в том, чтобы хотя бы исправить ошибки с помощью ИИ?
Renewal_Studio Автор
29.06.2025 14:43Сейчас исправлю, я честно говоря не вижу в этом ничего жуткого, как никак не научную статью публикую, ошибки бросающиеся в глаза сразу исправляю
Renewal_Studio Автор
29.06.2025 14:43Я искренне ряд делать текст чище и если вы укажите на особенно заметные, буду очень признателен вам!
vital_pavlenko
29.06.2025 14:43Опечатка: «начниает»
Непоследовательное использование тире: короткое тире вместо длинного
Некорректная пунктуация: «до того момента пока» — нужно запятая: «до того момента, пока»
Смешение терминов без пояснений: «Narrow AI (LLM-ки)» — непонятно, почему LLM-ки названы Narrow AI, и что именно под этим подразумевается
Лучше использовать ёлочки ковычки (« »)
Излишняя разговорность: фразы вроде «я даже не буду» или «это всё» — допустимы в блогах, но выглядят небрежно в аналитическом материале
vital_pavlenko
29.06.2025 14:43Всего-то стоило спросить ChatGPT
Renewal_Studio Автор
29.06.2025 14:43Спасибо, почистим, но вот « » и — я все же пооостерегусь использовать, так как не использую обычно в своих текстах
Kerman
29.06.2025 14:43Ну вот у меня для длинного тире нет кнопки на клавиатуре, а для короткого - есть.
Renewal_Studio Автор
29.06.2025 14:43А
Alt + 0151не рабоет? Я в основном не ставлю, так как уже запамятовал в каких случаях оно нужно и иногда откровенно ленюсьKerman
29.06.2025 14:43Я сейчас поискал на клавиатуре кнопку "Alt + 0151" и не нашёл. А должна быть?
Kerman
29.06.2025 14:43Вы сами ответили на вопрос.
TL&DR: Вы - ленивая жопа. Я тоже ленивая жопа. И все человеки ленивые жопы. АИ - нет.
Чуть научнее: у человека есть механизм экономии энергии. В том числе и для работы мозга, который жрёт, прям скажем, немало. У аишки этого механизма нет. Ей не впадлу набирать длинные тире и распростёртые длиннющие водяные тексты выдумывать.
У меня нет кнопки для длинного тире - я и не набираю. Вот ещё. Это долго и муторно. А ещё попробуй запомнить на каждый случай.
Wesha
29.06.2025 14:43у человека есть механизм экономии энергии
...а потом удивляемся — откуда ожирение взялось.
Kerman
29.06.2025 14:43К сожалению - да. Организм привык накапливать запасы на чёрный день и ему не объяснишь, что последние сто лет жратвы хватает всем. Для эволюции сто лет - это вообще ничего не значит
Wesha
29.06.2025 14:43Организм привык накапливать запасы на чёрный день и ему не объяснишь, что последние сто лет жратвы хватает всем.
Совершенно верно. Но, слава Сагану, у человека есть надстройка над рептильным мозгом, которая может ему сказать «кончай экономить калории,
иди в спортзалподрыгай камбаловидным мускуломпонажимай „лишние“ клавиши!»
Wesha
29.06.2025 14:43у меня для длинного тире нет кнопки на клавиатуре,
Кто-то вырвал у Вас на клавиатуре кнопки Alt, Num-0, Num-1, Num-5, Num-1?
Kerman
29.06.2025 14:43Я хотел фотку клавиатуры своего мака в ответ скинуть. Там вообще всратая клавишница. Даже вместо ф-блока нечто убожественное
Но это было бы нечестно, я за ним не работаю )
Wesha
29.06.2025 14:43Я хотел фотку клавиатуры своего мака в ответ скинуть.
Ну так бы и сказали — Стив Джобс!
Zenitchik
29.06.2025 14:43Поражаюсь Вашей упёртости цепляться к такой мелочи. В верхней половине ASCII есть только минус. Его и нужно использовать во всех случаях, за исключением подготовки текста для издания.
Renewal_Studio Автор
29.06.2025 14:43Простите, уточню, вы это мне, или топикстартеру про — ?
Zenitchik
29.06.2025 14:43Простите уточню: мой коммент добавился в ветку, или в корень?
Ему, конечно.
Renewal_Studio Автор
29.06.2025 14:43В ветку, окей. Спасибо мимо-проходящий человек, узнал что на хабре можно ветки сворачивать и понимать откуда пошла дискуссия
Zenitchik
29.06.2025 14:43На хабре ещё можно случайно по ошибке вместо ответа в корень коммент написать. Потому я и спросил на всякий случай, как Вы это видите.
Kamil_GR
29.06.2025 14:43Набрал 22 из 29. Полагаю, на более длинных текстах результат был бы лучше. Но честно говоря, формализовать свое мнение будет сложно. Начитанность.
Впрочем я уже писал, что нет смысла искать ИИ в текстах, надо делить статьи на хорошие и плохие.
Renewal_Studio Автор
29.06.2025 14:43Пожалуй, я лишь исследую эту тему и не выдаю заключение что статьи плохие. Я вообще разработчик курса по gen ai для менеджеров и ai-энтузиаст, мне хочется погружаться и делиться мыслями/находками. Но вот пока что тексты от людей как-то поприятнее
Renewal_Studio Автор
29.06.2025 14:43А что для вас пример хорошей статьи? Статья выше хорошая? Если нет, то чего в ней не хватает?
Kamil_GR
29.06.2025 14:43Вполне себе статья, но ваш отказ от ИИ привел к тому, что глаз спотыкается об опечатки и ошибки.
Для меня главное новизна и интерес. Интерес - протестировал тексты ИИ не ИИ, и в принципе подтвердили мое мнение, что тексты ИИ будет всё сложнее определять. Мое мнение по поводу:
pnmv
29.06.2025 14:43для чего выяснять, человек писал, или машина, если на выходе "кг"?
если же текст хороший, тоже незачем выяснять, потому что авторство автоматически присваивается правообладателю или тому, кто напромптил.
только, где они, эти гладкие и хорошие тексты от ллм?
Renewal_Studio Автор
29.06.2025 14:43Я исследую из праздного интереса и ради удобства, единственное преимущество наверное которое мне это дает - развитие критического мышления и непринятие на веру иных материалов от разных авторов
Rorg
29.06.2025 14:43Мы всё чаще не отличаем AI от реального автора
А в чем смысл? Нет, я бы понял, если бы вы предлагали различать хорошие и плохие тексты.
Renewal_Studio Автор
29.06.2025 14:43Да ни в чем особо конкретном, я не берусь судить хорошие или плохие текста. Первую статью https://habr.com/ru/articles/918226/ написал ибо откровенно выбесили в какой-то момент на LinkedIn своими постами если длинное тире, это AI и комментарии под каждым постом вида "так это AI написал, а не вы". А этой статьей скорее просто делюсь некоторыми выводами, не более
DarthVictor
29.06.2025 14:43Мы всё чаще не отличаем AI от реального автора
Мы всё чаще не отличаем реального автора от AI
поправил
rybkin_kotik
29.06.2025 14:43Ну что остается... общаться вживую с людьми в оффлайне и читать старые книги. А современный креатифф потреблять, не вникая в его происхождение.
Renewal_Studio Автор
29.06.2025 14:43Старые книги весьма душевные, а живой человек может на порядок больше дать тебе впечатлений, чем запись с ним
Zenitchik
29.06.2025 14:43Некоторые. Некоторые старые книги душевные. Они прошли отбор временем и мы помним только такие. Но шлака во все времена издавалось больше, чем хороших книг.
Renewal_Studio Автор
29.06.2025 14:43Но в целом я бы не был так категоричен. Я как заметили комментаторы выше не берусь судить о самом главное качестве сгенерированного и утилитарном "хорошие ли текста" делает AI
bstan
29.06.2025 14:43Ахахаха. Та же фигня, на самом деле. Если посмотреть на наш квиз
https://mysummit.school/ai-quiz
В определенных ситуациях это явно заметно (как в статье - нет личных деталей, много общего). Но если попросить ИИ быть специфичным (последние вопросы в Квизе), то порог угадывания сильно падает. При этом, не нужно заморачиваться, чтобы дать ответ. Достаточно задач качественный промпт поведения LLM, чтобы получать подходящие ответыRenewal_Studio Автор
29.06.2025 14:43А промпт как спасет от ухода от личных деталей или отсутствия экспозиции? Нет мяса в таком тексте, он не живой
Kapsa-sa
29.06.2025 14:43Интересно было бы сравнить результат для старой версии GPT. Думаю, раньше угадывали бы точнее
burstmode
29.06.2025 14:43Прошёл щас тест, 21/29 правильно угадал. Думаю, ошибся только в очень коротких текстах, там уже человека от нейронки почти нереально отличить.
Kerman
Тесты нужно проводить на тех областях, которые актуальны. Да, возможно, ИИ напишет похоже на слабоумного графомана короткую заметку. И это сложно будет отличить.
А давайте теперь проведём эксперимент на статьях хабра? Сколько процентов целевой аудитории отличит бессмысленную графоманию ИИ от статьи, где человек вложил скрытую мысль, а может и не одну.
И привести всё в один вид, где нет длинных тире и так любимых аишкой пунктов.
Renewal_Studio Автор
Почему на ваш взгляд область коротких текстов, в которую я целился не актуальна?
Kerman
Потому что ключевое отличие человека от ИИ не в том, что он способен написать "человеческий" текст. Человек может вложить в этот текст смысл, цель, эмоции. ИИ - не может.
Renewal_Studio Автор
Ага, понял вас! Соглашусь! Я пишу статьи на энтузиазме, мне интересно разбираться в меняющимся мире и делиться находками/размышлениями. Когда тревогой, когда вдохновением, когда чем-то невнятным
В целом ваша мысль перекликается с моей, нам гораздо интереснее получить эмоции от текста или сэманировать об автора, чем просто впитать суть
Renewal_Studio Автор
Однако как быть с прям хайпожерскими текстами, которые собраны по такой структуре, чтобы триггерить читателя, провоцируя например страх упущенной выгоды или агрессию, чтобы объяснить автору что он не прав? Или ту же зависть
Zenitchik
Здорового человека они триггерят закрыть страницу. И неважно, кто их написал, человек или ИИ. Кто бы он ни был - он врёт.
Renewal_Studio Автор
Но ведь работают, нет?)
Zenitchik
А мы продаём или покупаем?
Wesha
А «вы» — кто?
OlegZH
А Вы можете быть уверены, что не разговариваете сейчас с LLM? :-)
Renewal_Studio Автор
Вы про себя или про зенитчика, или кермана?
Renewal_Studio Автор
Простите, я за что вы так с блоггерами и вообще таким форматом?
Kerman
Я не хотел обидеть слабоумных блоггеров твиттера сравнением с ИИ.
Ну правда.
Есть люди, пишущие короткие заметки, когда явно видно, что это не ии. К линкедину это не относится, да.
Я про то, что короткие заметки без смысла не имеют различимых отличий человеческих мыслей по накурке от галюнов аишки. Ну негде там искать отличия.
Renewal_Studio Автор
Тут не совсем согласен, отличий изрядное количество. Я сперва хотел как раз пойти в тему более компилятивных и длинных текстов, но откровенно не вывез. Если найду что-то похожее, но более обширное, буду рад поделиться
Renewal_Studio Автор
Честно говоря не представляю как это провести в неавтоматическом формате. А так статей навроде этой https://www.nature.com/articles/s41746-023-00819-6 навалом
Wesha
В том-то и проблема (даже в недавно предложенном на Хабре тесте с переводами): читаешь — и сильишься понять: это ИИ писал, или просто студент-недоучка?
А вы попробуйте @Milfgardправдоподобно сэемулировать!