Я потратил 6 часов на этот эксперимент и спешу обрадовать, новая модель от chatgpt не готова заменить программистов.

результаты теста
результаты теста

Я попросил ChatGPT создать 100 различных версий игры Battle City но на html + css + Js. Даже с платной подпиской весь эксперимент занял у меня почти 6 часов — на генерацию одной игры уходило примерно 3 минуты.

В результате хотя бы один полноценный уровень (без появления бонусов) нейросеть осилила меньше чем в половине случаев. А простейший звук появлялся в менее чем 20% генераций (звук выстрела).

Даже 3 в ряд - слишком сложно

Удивительно, но даже с игрой 3 в ряд у GPT 5 возникли проблемы. Выборка была меньше (всего 20 запусков) но даже из них: 20% были с багами, 10% не запустились.

Чем сложнее задача - тем больше багов

Еще один тест - визуализация пчелиного улья, формирование шестиугольных сот и сбор пыльцы. Всё на html + css + js.

Из 27 попыток 5 раз симуляция просто не стартовала, 6 были с критичными багами.

Выводы

По моим ощущениям основной прорыв GPT 5 состоит в расширении контекста и скорости ответа. Но это еще очень далеко до полной замены программистов. Просто представьте AGI/ASI, который будет сам себя переписывать с вероятностью 10% сломать всё.

Спасибо что прочитал до конца, в моем тг я делюсь такими экспериментами с соцсетями (некоторые не вписываются в формат хабра), буду рад тебя видеть: https://t.me/+zSsGy2RjmTo1MmZi

Комментарии (7)


  1. StanKra
    09.08.2025 12:35

    Нет ничего удивительного. Программы обучались на том, что есть. А 90% того есть - мусор.


  1. krote
    09.08.2025 12:35

    т.е. нехилая доля попыток оказалась рабочей и даже без критичных багов? Это намного лучше чем у среднего программиста, который попробует написать простенькую игру без отладки и итеративного подхода!


  1. PerroSalchicha
    09.08.2025 12:35

    GPT 5 сделал мне 100 игр, 13 даже не запустились

    Эй, дружище, тебе за 6 часов почти бесплатно сделали 87 работающих приложений, из них 20 более-менее нормально работающих. Если они будут совсем вообще работающими, без необходимости обработать напильником, ты станешь в профессии лишним. Чем ты ещё не доволен?


    1. ABConymous
      09.08.2025 12:35

      Приходит девушка устраиваться на работу секретаршей. Шеф спрашивает «А с какой скоростью вы можете печатать на машинке?» Девушка «Ну... 1000-1200 знаков в минуту....» Шеф: «Разве можно с такой скоростью печатать?!!» Девушка: «Печатать-то можно, но такая фигня получается


      1. n0isy
        09.08.2025 12:35

        Ну если у нее на 100 страниц выйдет 42 без единой ошибки, тогда и поговорим.


  1. KEugene
    09.08.2025 12:35

    По сути, круто. За один рабочий день 42 работающих игры. Мне интересно, автор, критикуя такую эффективность, может противопоставить что-то ChatGPT? Может ли он показать подобную производительность? Например, сколько он сможет сделать игр за тот же период с теми же исходными данными?


  1. JohnSmith_007
    09.08.2025 12:35

    Это патамучта Гпт5 создали для упровления рабами а не для того чтоб он делал работу за рабов !