Прежде чем обосную свое несогласие с такой позицией, давайте немного коснемся теории и приемов которые применяются в трейдинге. Основой большинства графиков цены является так называемая «свеча». Это период усреднения цены, внутри периода мы игнорируем колебания котировок, а оставляем только минимальное и максимальное значения, а так же котировки начала свечи (открытия) и окончания (закрытия). Свечи могут быть от 1 минуты до 1 года. Раскрашиваем свечу зеленым если цена двинулась вверх, красным если двинулась вниз. В итоге получаем упрощенный, читабельный график, а главное, информативный.
Есть такая профессия — трейдер. Это специалист который долго учился своему ремеслу имеет большой опыт и как результат, после анализа некоего количества предыдущих свечей может предсказать движение цены на следующей свече, т.е. предсказать будущее. Он конечно не просто смотрит на график, а использует дополнительные инструменты которые называются «индикаторы». В индикаторах ничего волшебного нет, они формализуют и математически описывают все то же опыт трейдеров накопленный поколениями. Работа с индикаторами называется «техническим анализом». В отличии от других видов анализа, технический анализ работает только с графиком, никаких новостей и прочего.
Уже понятно к чему веду? Я лично знаю нескольких трейдеров которые пользуясь только техническим анализом, годами успешно торгуют на бирже и даже стабильно зарабатывают себе на хлеб. Очевидный вывод из всего этого — цена актива в будущем как то связана с историей предыдущих цен и эта связь достаточная для того, что бы живой человек мог ее видеть и использовать это знание.
Так почему нейросети не могут? Кошку от собаки отличают, а тут не могут. Вроде все очевидно, должно работать, а не работает. С этого места я дам свое объяснение почему не работает, а точнее, у большинства не работает.
Раз уж вспомнили про классический в нейросетях «Hello world» — отличить на фотографиях кошку от собаки давайте вспомним, что там происходит. Нейросети для обучения показывают, например, 10'000 картинок на которых в разных ситуациях изображена собака, потом так же с кошкой. К каждой картинке дается правильный ответ кто на ней. Нейросеть внимательно много раз все это просматривает и выстаивает у себя в голове некие правила по которым она в будущем сможет правильно ответить на вопрос «Это кошка или собака?». И эта схема работает. Успешных распознаваний 99.9%, бинго! Значит применим это в трейдинге.
Давайте показывать нейросети скрины графиков и давать правильный ответ куда потом пошла цена, она так научится и все будет ОК, с кошкой же работает. Это пример входа в тему стандартного среднестатистического исследователя. И что же он получает на выходе? Ничего… Нейросеть не обучается. Но наш исследовать не прост и сразу не сдается: «Надо подавать правильные данный на вход!» и начинаются циклы «правильных данных» ввиде бесконечных вариантов хитроумных векторов. И вот процесс пошел… Что бы понять когда же наш исследователь устанет и напишет статью про то, что нейросети невозможно обучить трейдингу, надо взять среднее значение усердия исследователя и умножить на количество часов от одного разочарования до другого.
А какой же правильный ответ, почему не обучается?
На самом деле, под «исследователем» я описал себя, но только мне повезло, хватило усердия дотянуть до первых положительных результатов. И вот мое, сугубо объективное, возможно неправильное, объяснение проблемы.
Да, котировки это хаос, но не на 100%. Примерно в 2% случаев следующая свеча с вероятностью около 70% связана с предыдущей историей. На самом деле примерно этот же принцип эксплуатируют индикаторы, только в них это называется «паттерн» который, как раз, и бывает примерно с такой вероятностью и вероятность отработки у него тоже не 100%. Значения 2% и 70% — это то, что я получил на сегодняшний день. Уверен, что при правильном обучении нейросети эта связь намного больше. А подход к обучению как с кошками и собаками не работает по очень простой причине. Показывая нейросети графики и давая правильный ответ, на самом деле, мы не показываем ей условную кошку или собаку, а показываем облака, бабочек, знаки зодиака и только в двух процентах то, что нужно, т.е. на 98% наши данные это хаос.
Остается понять как выловить эти заветные 2% и только по ним потом принимать торговые решения. Вариант «обучаем показывая только индикаторы» не работает, по крайней мере у меня не получилось. В итоге, первые результаты я получил после 100500 подборов входных параметров плюс правильный анализ того, что выдает сеть. Более подробное объяснение технически сложное и не для этой статьи, здесь я просто попытался логическими рассуждениями поспорить с утверждением, что нейросети и трейдинг несовместимы.
ChePeter
Давно собираюсь написать статью «О профессиональной деградации математиков занимающихся системами искусственного интеллекта и data science» да все как-то руки не доходят. И в этой статье центральное место займет биржевая роботорговля с помощью ИИ.
Основной тезис изложен уже вот тут habr.com/ru/company/ods/blog/416817/#comment_18897779
извиняюсь за цитату самого себя )
evgdc Автор
Не надо извиняться. Сам себя не похвалишь, никто не похвалит.
evgdc Автор
Кстати, прочитал вашу ссылочку — это полный бред, видно, что вы этим никогда не занимались. Для сведения, получение ответа от модели занимает примерно 1/2 секунды, у меня оценка 10 моделей на каждой свече занимает около 5 секунд. Такая задежка нично при прогнозе даже на 5 минут неговоря уже о больших тф. Прочие рассуждения про мгновенную смену поведения рынков вообще без комментариев.
ChePeter
Друг мой evgdc, я был директором инвестиционной компании и хорошо и удачно торговал, в т.ч., на бирже )) И пост мой — чистая математика и ничего кроме математики ))
Жаль, что непонятно, куда уж доступней.
evgdc Автор
Это безсмысленный набор слов: "За то время, пока AI получает и обрабатывает ложные ( убыточные сделки) данные и вычисляет новые веса, правила и информация на рынке меняются. Они меняются постоянно и случайным образом."
Готовая модель не вычисляет новые веса она их просто применяет, повникайте чуток в основы. Остальные тезисы такого же уровня.
ChePeter
Ой спасибо за минусы. Минус в карму за критику этой статьи, это же как плюс по жизни!
Воспользовался советом автора и заглянул в основы — я бы написал «бессмысленный». «Матан — бессмысленный и беспощадный». В природе нет тензоров, матриц и я не видел ни одного живого вектора. Эту бессмыслицу придумали яйцеголовые. Но всё таки он беспощадный, увы.
Теперь очевидно, что вопрос актуален, статью нужно писать.
Ну и немного очень простой и очевидной конкретики:
Вот крупный фонд начал покупать акции крупного банка, образовался тренд, его видят все аналитики и все свечи и фонарики светят о тренде. Но светят для всех одинаково и все про этот тренд поняли, что пару миллисекунд назад он был — но никто не может утверждать, что он останется еще на пару миллисекунд. Это знает тот, который дал отмашку на покупку. Но есть нюанс, если вдруг этот кто-то решит поделится информацией о том, что же он решил делать дальше с этим трендом, то такой поступок прописан в УК РФ и аналогичных документах всех стран. Увы.
Также бессмысленно предсказание спроса на более простом и локальном рынке:
Например на районе есть большой овощной ларек и искусственный интеллект талантливого датасаентиста этого ларька, обработав датасеты с учетом магии и алхимии, выдал формулу — завтра спрос на пиво вот этой марки, если его поставить вот на эту полку, вырастет вдвое. Ура, закупки, доставка, полка, скидка — ждем.
И искусственный интеллект не менее талантливого датасаентиста соседнего, такого же овощного ларька, применив тонкое понимание запутанности и спутанности выдал такую же гениальную идею — что другой сорт пива на нужной полке также даст завтра бешеный прирост. Закупки, доставка, полка, скидка — ждем.
Вот если они обмениваются информацией и координируют закупки — «их посодют», а если нет — но оба промажут своими гениальными предсказаниями, т.к. на районе будет избыток пива и еще и со скидками. И если на местном заводе, не зная о крутых предсказаниях местных искусственных интеллектов, задержали выплату бонусов — то консолидированный пивной бюджет района очевидно продемонстрирует спад.
Так что основы говорят — «неисповедимы флуктуации случайности и не дано нам предугадать их» если конечно чтить уголовный кодекс.
evgdc Автор
Вы агрессивно начали поэтому и случился минус в карму, добрее надо быть.
ChePeter
странную логику иногда демонстрируют авторы на компьютерном(! алгоритмы и логика) форуме.
Поясню:
1. Если статья написана для проверки своего алгоритма собственной торговли — то тут нужно радоваться любой критике. До того момента, как автор не вложил много денег в свой алгоритм, любая критика это экономия его денег. Если баг найдут тут, на форуме, а не на бирже, то автор ничего не потеряет на бирже.
2. Если статья написана для проверки алгоритма подготовленного на продажу — так еще больше нужно радоваться критике. Если все будут хвалить, а потом алгоритм принесет заказчику убытки — заказчик вряд ли будет считать плюсы к этой статье и может строго спросить и предложить отработать убытки. Тут критика не только экономия денег автора, но, возможно, и здоровья.
3. Если статья написана в качестве тезисов некоей идеи/религии и должна повести за собой заблудшие души — любая критика только добавит последователей и адептов. Все, кстати, места идолов тут заняты и они не принимают так вот просто в свой клуб новичков.
Так что я добр, исключительно добр.
0xd34df00d
5 минут — не те горизонты, с которыми я работал, но, скажем так, даже вычислять коэффициенты всякие на FPGA, в которую воткнут кабель от биржи, бывает медленно.