Это моя первая публикация, сильно не ругайтесь.

Часть 1. Можно ли им доверять ?

Вам вдруг понадобилось решить небольшую практическую техническую задачку, а школьный курс физики и/или математики не помните (не знаете или даже знать никогда не хотели) можно попросить помощи у коллеги технаря, обратиться к технически подкованным знакомым школьникам старших классов или к студентам, написать на какой-нибудь форум (какой форум в 2025 году, это надо регистрироваться, ответят непонятно когда и т.д.), но ведь сейчас эпоха нейросетей, которые, судя по рекламе, легко и просто решают школьные задачки. Давайте проверим так ли это на самом деле и стоит ли доверять решение этим техническим чудесам нашей эпохи.

Протестируем 4 нейросети: наши отечественные YandexGPT и GigaChat, новоиспечённый китайский DeepSeek о котором последнее время "трещат из всех утюгов" и американский лидер (все слышали, все знают, многие пользуются) ChatGPT. Первые трое легко работают из России, а вот для ChatGPT придётся немного подумать (на помощь придут VPN, приложения, чат-боты, и другие ухищрения), что у некоторых людей может вызвать проблемы (к "Хабровцам" это не относится).

В качестве испытания Я взял практическую рабочую задачку, которую периодически решаю используя устаревшие инструменты, которые оказались под рукой: лист бумаги (коробка, стена) и ручка (карандаш, маркер, мел). Сама задача: дана труба длиной 100 метров, внутренний диаметр трубы 4 мм, расход воды 100 литров в час, какое время транспортного запаздывания через такую трубу. Такие данные нужны при аналитике воды, например, на электростанциях, но вдруг кому-то у себя в частном доме захочется посчитать через какое время горячая вода от бойлера дойдёт до душа, особенно если труба длинная. Запросы в нейросети подавались абсолютно одинаковые, чтобы всё было честно. Никаких настроек, какую модель предложили по умолчанию ту и использовал, зашёл на сайт, ввёл вопрос, получил ответ, как будто Я вообще ничего не понимаю в моделях и даже не знаю что они разные бывают.

YandexGPT 4 Pro

Ответ от нейросети Яндекса читать неудобно, но разобрать можно:

Для расчёта времени транспортного запаздывания через трубу необходимо учесть несколько параметров, включая свойства жидкости и характеристики трубы.

1. Площадь поперечного сечения трубы:
$S = π \cdot r^2 = π \cdot (\frac{d}{2})^2$, где $r$ — радиус трубы, $d$ — диаметр трубы.
Подставляя значения:
$S = 3,14 \cdot (\frac{4}{2})^2 ≈ 12,56$ мм$^2$.

2. Скорость потока воды:
Для расчёта скорости потока используем формулу:
$V = \frac{Q}{S}$, где $Q$ — расход воды.
Переведём расход из литров в час в м$^3$/с:
$Q = 100$ л/ч $= \frac{100}{3600}$ м$^3$/c $≈ 0,0278$ м$^3$/c.
Тогда:
$V = \frac{0,0278}{0,001256} ≈ 22,2$ м/с.

3. Время транспортного запаздывания:
$t = \frac{L}{V}$, где $L$ — длина трубы.
$t = \frac{100}{22,2} ≈ 4,5$ с.

Таким образом, время транспортного запаздывания для данной трубы составляет примерно 4,5 секунды.

Ниже для оценки дизайна и удобочитаемости привожу скрин:

GigaChat MAX

Что-то похожее на YandexGPT, также не удобно читать, но можно разобрать:

Для решения задачи нам нужно найти время, за которое вода проходит по трубе длиной 100 метров.

1. Перевод единиц измерения:
   Переведем объемный расход воды из литров в час в кубические метры в секунду (м³/с):
   $$ Q = \frac{100 , \text{л/ч}}{3600 , \text{с/ч}} = \frac{100}{3600} = 0.02778 , \text{м}^3/\text{с}.$$

2. Расчет площади поперечного сечения трубы:
   Внутренний диаметр трубы составляет 4 мм, что равно 0.004 м. Площадь круга вычисляется как:
   $$ S = \pi r^2 = \pi \left(\frac{d}{2}\right)^2 = \pi \left(\frac{0.004}{2}\right)^2 = \pi \cdot 0.001^2 = 0.00000314 , \text{м}^2.$$

3. Скорость потока воды:
   Скорость можно найти, разделив объемный расход на площадь поперечного сечения:$$ v = \frac{Q}{S} = \frac{0.02778}{0.00000314} \approx 8.85 , \text{м/с}.$$

4. Время прохождения воды по трубе:
   Время транспортного запаздывания определяется как отношение длины трубы к скорости потока:
   $$ t = \frac{L}{v} = \frac{100}{8.85} \approx 11.29 , \text{секунд}.$$

   Таким образом, время транспортного запаздывания через данную трубу составит примерно 11.29 секунд.

DeepSeek-V3:

Вот тут уже красивое оформление с нормальными формулами:

Время транспортного запаздывания (или время прохождения воды через трубу) можно рассчитать по формуле:

t = L / v​

где:

• t — время транспортного запаздывания,

• L — длина трубы,

• v — скорость потока воды.

Сначала найдем скорость потока воды vv. Для этого используем формулу расхода:

Q = A ⋅ v

где:

• Q — расход воды,

• A — площадь поперечного сечения трубы.

1. Рассчитаем площадь поперечного сечения трубы:

Диаметр трубы d = 4 мм =0.004 м.

Площадь поперечного сечения:

A = πd² / 4 = π ⋅ (0.004)² / 4 ≈ 1.2566 × 10⁻⁵ м²

2. Переведем расход воды в м³/с:

Расход Q = 100 л/ч = 100 / 1000 м³/ч = 0.1 м³/ч

Переведем в м³/с:

Q = 0.1 / 3600 ≈ 2.7778×10⁻⁵ м³/с

3. Найдем скорость потока v:

v = Q / A = 2.7778×10⁻⁵ / 1.2566×10⁻⁵ ≈ 2.21 м/с

4. Рассчитаем время транспортного запаздывания:

Длина трубы L = 100 м.

t = L / v = 100 / 2.21 ≈ 45.25 с

Ответ: Время транспортного запаздывания составляет примерно 45.25 секунд.

GPT-4o-mini

Тут немного не по плану, была открыта вкладка с расширением для хрома MaxAI в ней выбрана модель GPT-4o-mini, так что сначала вопрос был задан этой модели, а не на сайте самого чата ГПТ.

С визуализацией всё хорошо как и у DeepSeek-V3, ответ 2.72 минуты.

Итоги части 1. Можно ли им доверять ?

В итоге получили 4 разных ответа от 4 разных нейросетей, вот и верь после этого "людям"...
Получается нельзя доверь решение первой попавшейся нейросети, а как же быть, кто прав, кто виноват? Какая нейросеть дала правильный ответ будет понятно дальше, кому интересно могут сами посчитать.

Часть 2. А всё ли так плохо на самом деле ?

Учитывая что с моделью от OpenAI в первой части получилось не совсем честно, иду на официальный сайт и задаю вопрос там. В лоб не увидел какая модель, пришлось пытать чат, раскололся почти сразу:

GPT-4-turbo

Тут тоже красиво и удобочитаемо:

Для того чтобы рассчитать время транспортного запаздывания воды в трубе, можно использовать следующую формулу:

t = L / v​

где:
t — время транспортного запаздывания (в секундах),
L — длина трубы (в метрах),
v — средняя скорость воды в трубе (в метрах в секунду).

Нам нужно сначала найти скорость воды v. Для этого можем использовать формулу для расхода жидкости:

Q = v ⋅ A

где:

• Q — расход воды (в кубических метрах в секунду),

• v — скорость воды (в метрах в секунду),

• A — площадь поперечного сечения трубы (в квадратных метрах).

Площадь поперечного сечения трубы с внутренним диаметром D можно вычислить по формуле площади круга:

A = π ⋅ (D/2)²

Теперь, давайте все подставим:

• Длина трубы L = 100,

• Внутренний диаметр D = 4 = 0.004 м,

• Расход воды Q = 100 литров в час = 100 / 3600​ м³/с.

Давайте рассчитаем скорость и время транспортного запаздывания.

Время транспортного запаздывания воды через трубу длиной 100 метров с внутренним диаметром 4 мм при расходе 100 литров в час составляет примерно 45.24 секунды. ​

Куда-то скушал часть расчётов:

Краткий лаконичный ответ:

GPT-4o-mini

GPT-4-turbo посчитал всё правильно, что же тогда было не так с GPT-4o-mini, задаю задачку ещё раз, ответ: примерно 45 секунд. Вот, другое дело, что за глюк был при первой попытке, остаётся вопросом, но получается что можно словить глюк на хорошей модели.
На следующий день спросил ещё раз, тут совсем интересный результат, в процессе решения сам нашёл ошибку и пересчитал:
V = 0.02778 / 1.256 × 10⁻⁵​ ≈ 2200 м/с
Это значение кажется слишком большим для воды в трубе, что указывает на необходимость проверить, правильно ли мы интерпретировали входные данные. Возможно, это получится проверить, используя другую методологию для системы жидкости.
Тем не менее, давайте продолжим:
в итоге пересчитал и получил: 45.5 секунд.

Зачёт.

А попробуем другие модели

Llama-3.2-90B - ответ: примерно 45 секунд.
Claude-3.5-Haiku - ответ: 45 секунд транспортного запаздывания.
Gemini-1.5-Flash - ответ: приблизительно 45 секунд.

Второй шанс

Моделям, не справившимся с задачей Я предоставил второй шанс, задал вопрос заново:

GigaChat MAX - оформление так же кривое, ответ был 11.29 стал 11.31 секунды;
третий шанс, говорю: "Проверь решение, точно всё правильно", нашёл ошибки, ответ стал 0.452 секунды;
четвёртый шанс, говорю: "Теперь точно всё правильно", ответ: Все расчеты выполнены корректно, и итоговый результат соответствует исходным данным.

YandexGPT 4 Pro - Ответ: транспортное запаздывание через такую трубу составляет примерно 9,99 часов. Однако этот расчёт может быть неточным из-за отсутствия некоторых данных, таких как коэффициент шероховатости стенок трубы;
третий шанс, опять поумничал, но потом пересчитал на 1,26 секунды;
четвёртый шанс, говорю: "Теперь точно всё правильно", ответ: Решение верное. При условии, что мы не учитываем шероховатости стенок трубы и другие данные, влияющие на скорость течения воды, результат получается исходя из предоставленных условий задачи.

ИТОГИ:

Получается ошиблись только наши отечественные нейросети от Яндекса и Сбера, причем даже при просьбе проверить решение, всё равно не смогли правильно посчитать.

Удивил GPT-4o-mini, как он затупил на первой попытке, непонятно, на второй попытке всё чётко, на третьей попытке тоже пытался ошибиться, но самостоятельно исправился. Все остальные модели успешно справились с задачкой

Получается современные нейросети вполне могут помочь с решением практической задачи, но не нужно слепо верить, они могут ошибиться. Вполне возможно что модели успешно справившиеся с задачкой могут ошибиться (может быть только на первой попытке) на другой задаче.

P. S.

Если данное мини исследование кого-то заинтересует помучаю нейронки другими задачами и дополню публикацию.