Доброго времени суток, «Хабр»!

Сегодня мы рассмотрим искусственный интеллект в роли переводчика. Наша цель — оценить, насколько хорошо нейросети справляются с переводом, и подвести небольшой итог: какая модель покажет лучший результат.

Приступим, расставим буквы в строчку и отправим алгоритмы в бой.

Предисловие 

Во‑первых, для тестирования способностей моделей и сервисов в переводе я использовал научную статью и вырезку из художественного произведения, чтобы понять, насколько глубоко они понимают то, что нужно перевести.

Во‑вторых, все модели, которые были использованы в тестировании, взяты с платформы‑агрегатора нейросетей BotHub. Если зарегистрироваться по специальной ссылке, вы получите 100 000 бесплатных капсов, их можно потратить на собственные эксперименты.

В‑третьих, важно учитывать техническое ограничение, которое мешает AI выдать сразу единым ответом всю большую статью. Подобное не значит, что мы не сможем, например, перевести всю статью, просто придется делать по частям.

Для небольшого сокращения из научной статьи я взял кусок с введения до ключевого исследовательского раздела, а в случае художественного текста рассмотрел интересный для себя отрывок. Благодаря этому, я сэкономил время на тестировании, сохранив объективность оценки.

Переводческая деятельность нейросетей

DeepSeek-V3

Я часто использую его в повседневных задачах, поэтому просто не мог обделить модель вниманием в данном эксперименте.

Изначально в планах было переводить статью фрагментами. Однако в предисловии я упоминал, что модель ограничена размером вывода. Этим тестом я одновременно показал не только способности нейросети в переводе, но и ее ограничения.

Нейросеть показала хороший уровень перевода, не допустив ошибок ни в одном термине. Кроме того, все коэффициенты были выведены адекватно. Обращу ваше внимание, что DeepSeek не смог перевести полностью запрошенный отрывок за раз. Хотя в конечном итоге он выдал почти на одну главу больше.

Как нейросеть справится с чем‑то, где надо не просто перевести текст, но и передать мысли и чувства автора? Для научных и стихотворных произведений я расписал более подробные промты, иначе результат был бы простым, дословным переводом.

Значительные плюсы нейросетей — это их вариативность выбора и возможность диалога с ними. Собственно, здесь, заранее в промте, кроме банальных указаний не терять смысл, не менять стиль и подобного, я указал, что в случае трудностей в переводе DeepSeek должен предложить альтернативы и объяснить, что и почему лучше подходит.

В ходе выполнения условия нейросеть предложила замену слову «рикошетить». С помощью диалога и описания мной было принято решение заменить его на один из предложенных вариантов, который лучше подходил по смыслу.

Что же в итоге с самим переводом? Здесь, безусловно, всё хорошо. Стиль и чувства автора не были потеряны. Да и если сравнивать его с оригинальным переводом, то отличия незначительны, максимум в перестановке слов или их небольшой синонимизации.

Для большего понимания (чтобы вы могли сами сравнить сейчас и в последующем) прикреплю ещё сам оригинальный перевод.

Естественно, в случае стихотворного произведения был свой промт, чтобы нейросеть смогла передать чувства автора и смысл стихотворения.

Авторство этого стихотворения часто приписывается различным источникам, но точного установить сложно. Оно широко распространилось в интернете, где его часто публикуют без указания автора или приписывают анонимному источнику.

При тесте переводческих способностей в стихах стало понятно, что поручить подобное нейросети может быть не лучшим вариантом. Здесь видно, что рифмованность в значительной мере потерялась, структура хромает. Ответ нейросети выглядит немного ужасно: перевод более дословный, местами теряются метафоры.

Отдельно можно отметить, что в некоторых местах, есть ощущения «съеденных» слов, что мешают адекватно читать переведенное стихотворение. Для понимая опять же предоставлю авторский перевод.

Думаю, еслсравнивать ответ нейросети с переводом человека, становится понятно, что где‑то было принято решение сократить и отбросить детали.

Gemini 2.5 Pro

Недавно выпущенная модель превзошла многих конкурентов в различных бенчмарках. Я решил, что для тестирования переводческих возможностей её обязательно стоит рассмотреть.

Скажу так, на примере Gemini стало понятно, что для определённых задач могут подойти разные нейронные сети. Например, для качественного перевода большого объёма текста он подойдёт лучше, так как сможет без разрывов охватить больше информации.

Однако останавливаться только на научных статьях, потому что нейросеть показала себя в них лучше, я не мог. Всё‑таки художественные и стихотворные произведения будут важнее.

В отличие от DeepSeek, Gemini допустил некоторые неточности в переводе. Яркий примером может стать замена «древесной лягушки» на «большеротую квакшу» (признаюсь, это слово меня удивило, я впервые с ним столкнулся и даже подумал, что нейросеть его выдумала). Однако при первом же указании на эту ошибку система подробно объяснила причины такого перевода и после анализа ситуации заменила подобные моменты на более подходящие под современный язык.

Случай наглядно демонстрирует еще одну способность нейросети, а именно анализ и коррекцию своих ответов. Правда, чтобы замечать подобные погрешности, необходимо хорошо знать язык оригинального текста и обладать внимательностью.

Перевод стихотворного произведения превзошел ожидания, которые оставил после себя DeepSeek. На мой взгляд, он даже приблизился к оригиналу: текст читается легче, точно передает смысл и обладает поэтической красотой. Правда, как и в случае с художественным текстом, обнаружился небольшой недочет, в строке «Разделю твои тревоги» сбивается ритм, но если перед нею выдержать длительную паузу, то можно представить, что всё в порядке. То же в последних двух строках («И когда в сердце стихнет боль, / Помогу улыбке цвести»), они как будто взяты из другого стихотворения, с отличающейся мелодикой.

ChatGPT-4o

Вслед за представлением Gemini 2.5 Pro компания OpenAI решила не отставать и начала готовить релиз модели ChatGPT-5. Пока она ещё не вышла, но это не помешало мне протестировать в переводческой деятельности ChatGPT-4o.

С этой нейросетью пришлось помучаться значительно, ведь изначально она вообще не хотела переводить статью, прикрываясь авторскими правами. После этого, несмотря на точные указания, она решила вычеркнуть вторую главу, на что я и указал.

О качестве перевода судить сложно. ChatGPT в своей основе показывает схождение с вариантами других нейросетей, но он решил не выделять коэффициенты у переменных, что будет препятствовать адекватному пониманию формул. На самом деле, потратив столько попыток на получение адекватного перевода, мне сложно рекомендовать эту модель для научных статей.

Как и в предыдущих случаях, я обратился к художественным и стихотворным произведениям.

ChatGPT повторил замену пихты на ель, хотя после объяснения Gemini сложно назвать это грубой ошибкой. Перевод, хоть и с неточностями, дотягивает до хорошего уровня.

На самом деле, у меня появился интересный вопрос: прочитав только отрывок, переведенный AI, вы бы смогли отличить его от простого человеческого перевода?

ChatGPT предложил варианты перевода, где из результата стало понятно, что значительно лучше ему даются стихотворные произведения, по моему мнению он даже смог на голову обогнать в этом своих коллег.
Следом за первым вариантом я попросил исправить ошибку и сделать стих более музыкальным. Нейросеть смогла это сделать, хотя и не на все 100%. В некоторых моментах, например, строка «и встретим ночь без руки», где слог обретает неустойчивость. Безусловно, с каждой подобной переделкой стих будет терять статус «перевода», всё больше превращаясь в что‑то новое, сохраняя лишь следы своего первоисточника.

Если обратить внимание на первую выданную версию, то здесь ChatGPT допустил ошибку в слове, хотя ниже сам же писал о правильности такого выбора. Однако даже эта версия получилась легко читаемой. Можно заметить, что все нейросети сделали упор скорее на попытку передачи чувств и легкости стиха, предлагая собственную интерпретацию в духе современной поэзии.

 Яндекс.Переводчик

Далее, я остановился на ChatGPT и решил рассмотреть способности несколько сервисов, которые специализируются на переводческой деятельности.

Первым таким стал «Яндекс.Переводчик». Многие используют его для перевода непонятных слов и предложений. Сам по себе сервис работает на базе большой языковой модели YandexGPT. Конечно, на том же мероприятии «e‑com сфера» говорили, что AI еще недостаточно развит, чтобы обходить во многих сферах своих мощных собратьев, но пройти мимо столь популярного сервиса я не смог.

Как загрузить статью? Это был первый вопрос, которым я задался. В плане, мне копировать текст, делать скриншоты, а потом их загружать. Однако, тут тоже поддерживается загрузка PDF‑файлов. После загрузки, я смог перевести его и на выходе получить полностью переведенный файл.

Несмотря на то, что переводчик справился с переводом основных слов, а благодаря формату вывода не нужно было думать, куда подставить изначальные графики и таблицы из оригинального документа, есть одно большое «но», которое портило всё. Обратите внимание на фрагмент с переменными и формулами, где можно подметить, что сервис его почти полностью вырезал, оставив лишь сами переменные.

Можно ли назвать подобное отличным результатом? Я бы так не сказал. Удовлетворительным можно, всё же статью сервис перевёл грамотно. Однако подобный хаос с формулами будет значительно портить понимание статьи.

По поводу перевода, по сравнению со статьей, здесь всё намного лучше, если подобное можно сравнить, всё же здесь не было формул, да и задание загружалось текстом, а не файлом. В своей сути он отстает от моделей, которые я рассматривал выше, хотя при этом здесь не писался подробный промт. Есть ошибки перевода, например, Тисовая улица, которая стала Бирючиновой, да и небольшие недочеты все же наблюдаются, например, пихта опять переквалифицировалась в ель, что уже стабильность.

А вот со стихом всё значительно хуже, чем хотелось бы. Когда я выбирал стихотворение для перевода, нашёл два варианта: любительский и авторский (его вы можете найти выше). Так вот, первый вариант не имел рифмы, сам по себе трудно читался, собственно, сервис показал ровно такой же результат. Не сказал бы, конечно, что это ужасно, хотя почти весь стих мне режет глаз, но и удовлетворительным подобное назвать крайне сложно.

Google Переводчик

После того, как я рассмотрел переводчик от «Яндекса», было принято решение взглянуть на его конкурента, для понимания возможностей сервиса от столь крупной компании.

Когда выбирал «Google Переводчик», то были большие ожидания, но после первого же теста они порушились. Коэффициенты при переменных были проигнорированы, кроме того стало понятно, что сервис плохо воспринимает подобную структуру статьи, хотя все его коллеги не проявляли подобного. Обратите внимание на низ скриншота, где строчки соединяются между собой, создавая что‑то не читаемое. Думаю, это наихудший результат по научной статье за все тестирование.

Результат повторяет собой предыдущий сервис, аналогично проигнорирована «Тисовая улица», которая теперь носит название «Прайвет Драйв», можно сказать, просто были заменены английские буквы на их русский аналог. Других недостатков, кроме этого найти не удалось.

После предыдущих тестов, я ожидал, что и тут все будет плохо. Оказалось, что результат почти полностью повторил ответ «Яндекс.Переводчика». Он не дотягивает до удовлетворительного уровня, если оценивать легкость чтения, рифму, красоту самого стиха и качество перевода. Просто вчитываясь в полученный текст, есть ощущения, что некоторые строчки просто не связаны между собой, либо крайне ужасно стыкуются.

DeepL Translator

При поиске сервисов для перевода, наткнулся на DeepL Translator. Описывался он как удобный и качественный сервис для перевода, который работает на собственной модели, точнее двух. Одну он использует для простых задач, а более продвинутую для более глобального и сложного. Заранее скажу, что на территории России он недоступен, следовательно для работы с ним придется использовать сторонние приложения.

Я не смог пройти мимо и не включить его в это тестирование, решив проверить все его способности в трех тестах.

Дела здесь обстоят значительно лучше, чем у «Яндекс», а об его коллеге от Google не может идти и речи. Те же формулы отображены правильно, но и тут есть свои проблемы. Наблюдаются помарки. Например, вы можете обратить внимание на «J», которая просто вылезла и не может быть отнесена ни к чему из рядом стоящего. Конечно, подобная деталь просто мозолит глаз и не мешает пониманию, всё же видно, что она не имеет никакого веса в самой статье.

По качеству в разделе научной статьи этот сервис превзошел «Яндекс.Переводчик». Однако у меня на повестке остались ещё художественные и стихотворные произведения.

А вот тут DeepL Translator показал уровень, схожий с «Яндекс.Переводчиком», но не дотянул до всех рассматриваемых нейросетей. Конечно, не сильно, но заменить «Тисовую улицу» на «Привет‑драйв», как и предыдущий сервис, надо ещё постараться. Собственно, на этом какие‑либо неточности заканчиваются, хотя тех, которые уже были допущены, вполне уже достаточно, чтобы не ставить сервис вровень с AI, рассмотренными мной ранее.

Насколько мне стало понятно в процессе этого своеобразного тестирования, если нейросети стараются сделать произведение легким, музыкальным, то сервисы же делают более дословный перевод.

Результат не назвать аналогичным «Яндекс.Переводчику». Всё же тут более правильно выбраны переводы для разных слов, из‑за чего стих менее режет глаз. Конечно, тут до сих пор не достаёт рифмы и мелодичности, но уже немного лучше.

Тестирование сервисов ещё раз показало, что каждая модель и сервис покажут хороший результат в чём‑то своём. Тот же «Яндекс.Переводчик» больше подходит для перевода текста (где требуется дословность), простых слов и фраз в повседневной жизни, DeepL Translator значительно удобнее в переводе PDF‑файлов — закинул, скачал и получил готовый текст (с возможными небольшими помарками). «Google Переводчик», к сожалению не показал ничего стоящего, как другие сервисы рассмотренные в статье.

Итог

На основании систематического анализа результатов трёх нейросетей и сервисов я смог сделать определённые выводы. Целью этой статьи было ответить на вопрос о способности AI в переводческой деятельности. Каков вердикт? Опираясь на собственное мнение и проведённые тесты с научными и художественными произведениями, мой ответ положительный, но с важными оговорками, к которым стоит быть готовым.

Прежде всего, следует учитывать, что нейросети могут пропускать фрагменты при переводе, искажать или сокращать текст. Особенно это заметно в научных статьях, где формулы не всегда отображаются корректно, поэтому этот аспект требует особого внимания и обязательного сравнения с оригиналом.

При работе с большими объемами текста необходимо заранее подготовиться к тому, что перевод придётся выполнять частями. Альтернативный вариант станет загрузка файла с поэтапным переводом по главам через отдельные запросы.

Что касается поэтического перевода, важно понимать его специфические ограничения. Современные нейросети пока не могут достичь уровня человеческого перевода в плане сохранения рифмы, мелодичности и художественной выразительности, хотя демонстрируют вполне приемлемые результаты.

Особый интерес представляет специализация разных нейросетей и сервисов. DeepSeek показал себя хорошо в переводе, но работал с текстом фрагментарно и хуже справлялся со стихами. Gemini успешно переводил научные статьи целиком и качественно обрабатывал текстовые материалы. ChatGPT, испытывавший трудности с научными текстами, напротив, отлично проявил себя в художественных переводах. Сервисы более хороши для дословного перевода.Подобное наглядно показывает, что выбор инструмента должен определяться поставленной задачей.

На этом статья подходит к своему логическому концу. Надеюсь, у меня получилось ответить на поставленный вопрос или дать вам пищу для собственных размышлений.
Спасибо за прочтение.