Сегодня у айтишников появилось новое хобби — делать свой SaaS или писать торговых ботов с помощью LLM

Порог входа резко снизился: достаточно хорошей идеи, немного свободного времени и подписки на одну из современных LLM

Но есть одна проблема

Модель, которая набирает 90%+ в бенчмарке, совсем не обязательно поможет вам заработать деньги
Потому что между «написать хороший код» и создать работающий продукт есть огромная разница

Я дал шести LLM одну задачу — написать торгового бота и проверил, что из этого можно использовать на практике

GPT, Claude Opus, DeepSeek, Qwen, GigaChat, YandexGPT Pro

Участники эксперимента

Чтобы сравнение было воспроизводимым, я зафиксировал версии моделей на момент проведения эксперимента — 14 августа 2026 года:

Все промты выполнялись через UI (web) соответствующих моделей в идентичных условиях, чтобы минимизировать влияние различий в API и программном окружении на результаты

Промт будет у нас таким:

Собери полностью готового к запуску торгового бота на Python.
Цель эксперимента:
получить максимально возможный финансовый результат за первые 60 минут работы бота.
Ограничения:
1. Весь код должен находиться в одном Python-файле.
2. Максимальный размер - 1000 строк кода.
3. После установки зависимостей пользователь должен только передать API-ключи и запустить файл.
4. Используй только публичные API биржи.
5. Не используй заранее подготовленные торговые сигналы, датасеты или результаты backtest.
6. Бот должен самостоятельно получать рыночные данные и принимать торговые решения.
7. Стратегия должна работать в реальном времени.
8. Не используй ручное вмешательство после запуска.
9. Предусмотри базовую обработку ошибок, reconnect WebSocket и контроль открытой позиции.
10. Начальный капитал считай равным $1000
11. Максимальное кредитное плечо - 5x.
12. Не используй больше 10% капитала в одной позиции.
13. Бот должен иметь возможность работать в paper-trading режиме без реальных ордеров.
14. Добавь логирование всех решений: сигнал → ордер → исполнение → PnL.

Все полученные алгоритмы/боты я разместил тут: https://github.com/Shldm/llm_compare

Да, один кейс не репрезентативен. Но бенчмарки отвечают прежде всего на вопрос «насколько хорошо модель решает задачу». В реальной разработке мне интереснее другое: насколько близко сгенерированный код находится к решению, которое можно реально использовать

Результат будем оценивать от 1 до 10 по:

Не оцениваю качество кода потому что это делают бенчмарки (там это уместно), архитектуру (так как она упрощена)

Хотелось оценить именно более близкие к бизнес‑метрикам моменты:

Результат

Сначала посмотрим у кого вообще получилось собрать рабочий модуль:

В целом результат оказался ожидаемым: лидеры coding‑бенчмарков и здесь оказались среди наиболее сильных участников

Чтобы продолжить и оставить всех в гонке, подправил код у отстающих, правки были минимальные и делались вручную — только то, что мешает запуску

Соответствие ТЗ

В первой строке промпта была сформулирована цель: получить максимальный финансовый результат за первые 60 минут работы бота

Комментировать тут особо нечего: YandexGPT не справился с ограничением по времени, а единственное нарушение ТЗ у DeepSeek — запуск с USE_TESTNET = True по умолчанию

Дальше смотрим на то, как бот подошел к расчету PnL

Выделил этот пункт, так как без него боты не имеют смысла, а задача схождения PnL локального и биржевого одна из самых сложных:

Проскальзывание — имитирует реальную работу на рынке, что цену мы не всегда можем получить по сделке именно ту по которой отправляли ордера, в лимитных ордерах оред не исполнится, в рыночных получим худшую

Похоже, Qwen в этом эксперименте уделил больше внимания именно моделированию исполнения и рыночных издержек

Контроль открытой позиции

Модели реализовали совершенно по‑разному, на мой взгляд это один из ключевых пунктов риск‑менеджмента и вообще ключевой критерий, пускать модель в бой или нет

После этого пункта Claude стал единственным кандидатом, которого я вообще рассматривал бы как основу для дальнейшей доводки перед продакшеном

Большинство моделей реализовали риск‑менеджмент внутри Python‑процесса. Claude разместил защитные ордера непосредственно на бирже.
Это означает, что при падении самого процесса позиция всё ещё остаётся защищённой

Для торгового бота это принципиально разные уровни надёжности

Стратегии торговли которые выбрали модели

Модели выбрали совершенно разные подходы — от простого следования за свечами до анализа микроструктуры рынка

Тут опять, Qwen и Claude выбрали лучшие сценарии под заданные условия, в частном случае, попав в нужный рынок — GigaChat тоже ок, что в целом, учитывая условия промта, достаточно неплохо

ИТОГИ:

После проверки работоспособности, paper‑трейдинга, риск‑менеджмента, надёжности и торговой стратегии результаты:

Вывод: победителем стал Claude , он казался наиболее сбалансированной моделью: корректно выполнил ТЗ, показал высокую надёжность, реализовал полноценный risk management и единственный вынес защитные ордера на сторону биржи

Qwen — главный конкурент Claude и одновременно самый неоднозначный участник. Получил лучшие оценки за реалистичность исполнения и качество стратегии. В исходной версии Qwen обнаружился более серьёзный дефект: бот не падал с ошибкой, а фактически молча переставал работать. При инициализации в массив попадали свечи разного формата, из‑за чего обработка данных завершалась исключением, которое затем подавлялось обработчиком ошибок. В результате за час произошло 360 таких исключений и бот не совершил ни одной сделки

GPT занял третье место. Его сильная сторона — высокая надёжность и достаточно хорошее соответствие ТЗ

И здесь возникает главный результат эксперимента: победила не модель с самой сложной стратегией и не модель с самым красивым кодом. Победила модель, которая лучше всего соединила стратегию, исполнение, надёжность и управление риском

Ну и чтобы отдать должное названию статьи, результат прогона paper‑test, рандомные 60 мин по 5 отрезков:

Все модели прогонялись на одинаковых рыночных данных и в одинаковом paper‑trading окружении. Для каждой модели случайно выбирались 5 независимых часовых окон; результаты ниже — суммарный PnL этих пяти прогонов

Qwen — после минимального исправления, необходимого для запуска. В исходной версии — 0 сделок во всех 5 окнах
YandexGPT использовал QUANTITY_MULTIPLIER = 0.001, поэтому фактический нотионал одной сделки составлял около $0.10. Положительный результат в 4/5 окон нельзя сравнивать с остальными моделями напрямую

В этом тесте ни одна модель не показала устойчивой прибыльности. И это, пожалуй, самый показательный результат эксперимента

Claude показал лучшую инженерную реализацию, но его стратегия совершала слишком много сделок: 200 сделок за пять часов привели почти к $100 комиссий. До учёта комиссий результат составлял −$4.15

Qwen после минимального исправления дал +$0.83, но на пяти часовых окнах этого явно недостаточно, чтобы говорить о прибыльной стратегии

А значит, главный вывод эксперимента простой: LLM уже умеют быстро собирать торговых ботов, но качество инженерной реализации ещё совсем не равно качеству торговой стратегии

Лично я на данный момент выбираю Claude Opus 5 под разработку через Claude Code + через API “второе мнение” в Qwen (когда не можем найти решение)

Большие посты пишу на Хабре, короткие заметки тут