Привет, Хабр!

Недавно я выпустил на OZON авторскую коллекцию интеллектуальных вопросов, отобранных из базы ЧГК, квизов и тематических пабликов. Я постарался собрать не просто интересные и «красивые» задачи, а такие, которые можно решить логически — без знания редких фактов.

Со временем мне пришла в голову мысль: а как с такими задачами справятся современные большие языковые модели (LLM)? Особенно те, которые ориентированы не просто на выдачу ответов, а на рассуждение.

Решил устроить мини-эксперимент и проверить!

Условия эксперимента:

• 60 текстовых вопросов на русском языке.
  (Если вопрос представлял собой дуплет/триплет — я добавлял пояснение в промт.)

• Вопросы подавались в чат-режиме, без дополнительного контекста.

• Функция поиска в интернете была отключена, чтобы исключить подглядывание в базу.

Результаты

P.S. Значения в таблице получены в рамках одного прогона — каждый вопрос задавался модели лишь один раз. Однако стоит учитывать, что у LLM есть параметр temperature, который управляет уровнем случайности в генерации ответа: чем выше значение, тем больше вариативность и «креативность» выдачи. Это напрямую влияет на выбор слов и логику рассуждения.

В идеале, чтобы получить более объективную картину, следовало бы запускать модель несколько раз на каждый вопрос, собирать распределение ответов и уже по нему вычислять, например, среднюю долю правильных решений.

Общие впечатления

? GigaChat 2 MAX: "вспоминающая", но не "рассуждающая"

GigaChat 2 MAX — единственная в списке модель, которую нельзя отнести к классу thinking-LLM. По сути, её ответы чаще всего основаны на прямом «вспоминании» фактов из обучающей выборки, а не на логическом выводе. Это особенно заметно в тех случаях, когда вопрос содержит реальные фамилии или узнаваемые формулировки.

Пример:

"Фридрих Фрёбель называл детей "божьими растениями". Он считается создателем первого... Чего?"

Правильный ответ: Детского сада

Вопрос звучит изящно, но если вы знаете, чем известен Фрёбель, — ответ даётся «в лоб». LLM, очевидно, просто узнала фамилию и сопоставила с известным фактом.

? Thinking-LLM: гипотезы, логика и немного магии

Все остальные протестированные модели можно условно отнести к "thinking-LLM" — они не просто выдают ответ, а проводят рассуждения. Часто можно наблюдать, как модель:

• генерирует несколько гипотез;

• перебирает их;

• отвергает неверные;

• находит финальную версию.

Именно эта цепочка делает их особенно интересными: они не только «вспоминают», но и строят вывод. Хотя стоит отметить, что порой встречаются случаи, когда модель угадывает правильный ответ, но объяснение к нему — полностью некорректно. Поэтому важно анализировать не только ответ, но и ход рассуждений.

Thinking-модели хорошо проявляют себя в задачах с нестандартной логикой, «чувством юмора» или зависимыми элементами (дуплеты, триплеты и т.п.).

Пример (юмор):

"Закончите шутку тремя словами: "А наш спонсор — отель «Развитие». Счастлив только тот, кто ...""

Правильный ответ: ... остановился в «Развитии»

На пару вопросов я получил настолько хорошие версии, что это может быть поводом переосмыслить или доработать формулировку вопроса.

Пример:

"ПЕРВЫЕ играют важную роль в экономике юга Чили. В книге чилийской писательницы Исабель Альенде говорится, что множество ПЕРВЫХ на склонах Анд похожи на ВТОРЫЕ, спустившиеся с высот до самой земли. Какие слова, начинающиеся на одну и ту же букву, заменены словами «ПЕРВАЯ» и «ВТОРОЕ»?"

Правильный ответ: овцы, облака (комментарий: пасущиеся на склонах овцы напоминали облака)

Одна из красивых версий от OpenAI o3: виноградники, водопады

При этом на по-настоящему нестандартные вопросы, особенно те, что требуют выйти за рамки обычной логики — модели, в целом, справляются хуже.

Пример (все модели ошиблись):

"Согласно шутке, «Муму» и «Дедушка Мазай и зайцы» — произведения из двух противоположных литературных жанров. Назовите оба этих жанра."

Правильный ответ: утопия и антиутопия

Вопрос требует не только знания произведений, но и нестандартного взгляда на жанры — что оказалось выше порога креативности большинства моделей.

? Повторные прогоны и распределение гипотез

Меня впечатлили результаты OpenAI o3 и Gemini 2.5 Pro — они существенно выделялись по точности и качеству объяснений. Чтобы получить более стабильную картину, я написал Python-скрипт, который по API вызывает Gemini 2.5 Pro:

• каждый вопрос прогоняется по 5 раз без сохранения контекста (чтобы ответы были независимыми);

• в промте я прошу сгенерировать 5 различных версий ответа, расположенных по убыванию уверенности.

Результаты:

• Среднее количество правильных ответов по первым гипотезам: от 35 до 43 из 60.

• Если же учитывать все гипотезы (25 на вопрос) и считать вопрос решённым, если среди них есть хотя бы один правильный — общее число правильных ответов выросло до 48 из 60 (80%)!

import os
import time
import logging
from typing import List, Tuple, Set

import pandas as pd
from google import genai #python >= 3.8
from google.genai import types

# ------------------------------------------------------------------
# 1. Константы
# ------------------------------------------------------------------
GEMINI_API_KEY = '' #ваш API-key
CSV_IN       = "questions.txt" #две колонки: n- номер вопроса, question - текст вопроса
CSV_OUT      = "answers_gemini.csv"
N_REPEATS    = 5
RATE_LIMIT   = 1         # сек между вызовами

logging.basicConfig(
    level=logging.INFO,
    format="%(asctime)s  %(message)s",
    datefmt="%H:%M:%S",
)

# ------------------------------------------------------------------
# 2. Инициализация клиента
# ------------------------------------------------------------------
client = genai.Client(api_key=GEMINI_API_KEY)

# ------------------------------------------------------------------
# 3. Запрос к Gemini
# ------------------------------------------------------------------
def ask_llm(q_num: int, q_text: str) -> Tuple[str, int, float]:
    system_instruction = (
        "Вы — педантичный логик. "
        "Придумайте пять разных вариантов ответов на вопрос "
        "в порядке убывания степени уверенности в строго заданном формате:"
    )

    user_prompt = (
        f"Вопрос №{q_num}.\n{q_text}\n"
        "Формат ответа:\n"
        "Гипотеза № <номер гипотезы>.\n"
        "ОТВЕТ: <Ваш вывод>\n"
        "ОБОСНОВАНИЕ: <2–3 предложения>"
    )

    t0 = time.perf_counter()
    try:
        response = client.models.generate_content(
            model="gemini-2.5-pro",
            config=types.GenerateContentConfig(
                temperature=0.7,
                #max_output_tokens=2048,
                system_instruction=system_instruction
            ),
            contents=[{"role": "user", "parts": [{"text": user_prompt}]}]
        )
        elapsed = round(time.perf_counter() - t0, 3)

        # Извлечение текста
        answer_txt = response.candidates[0].content.parts[0].text.strip()

        return answer_txt, 0, elapsed

    except Exception as e:
        raise RuntimeError(f"Gemini error: {e}")


# ------------------------------------------------------------------
# 4. Основной цикл
# ------------------------------------------------------------------
def main() -> None:
    df_in = pd.read_csv(CSV_IN, sep="\t", encoding="cp1251").dropna()

    done: Set[Tuple[int, int]] = set()
    if os.path.isfile(CSV_OUT):
        df_done = pd.read_csv(CSV_OUT, encoding="utf-8-sig")
        done = set(zip(df_done["N"], df_done["repeat"]))
        logging.info("? Найдено %d уже сохранённых ответов → %s", len(done), CSV_OUT)
    else:
        logging.info("➕ CSV_OUT ещё не создан, начнём с нуля")

    first_write = not os.path.isfile(CSV_OUT)
    total_q = len(df_in)

    for q_idx, row in enumerate(df_in.itertuples(index=False), start=1):
        q_num, q_text = int(row.n), str(row.question)

        for rep in range(1, N_REPEATS + 1):
            if (q_num, rep) in done:
                continue

            logging.info("▶️  %d/%d | Вопрос №%s | попытка %s", q_idx, total_q, q_num, rep)
            try:
                ans, tokens, secs = ask_llm(q_num, q_text)
            except Exception as exc:
                logging.error("❌ Вопрос №%s, попытка %s: %s", q_num, rep, exc)
                ans, tokens, secs = f"ERROR: {exc}", 0, 0.0

            row_out = {
                "N": q_num,
                "repeat": rep,
                "question": q_text,
                "answer": ans,
                "out_tokens": tokens,
                "elapsed_sec": secs,
            }

            pd.DataFrame([row_out]).to_csv(
                CSV_OUT,
                mode="a",
                header=first_write,
                index=False,
                encoding="utf-8-sig",
            )
            first_write = False

            time.sleep(RATE_LIMIT)

    logging.info("✅ Готово. Все результаты зафиксированы в %s", CSV_OUT)


if __name__ == "__main__":
    main()

? Напоследок — идея: модели в связке

Мне кажется интересным следующее направление: запуск моделей в связке — одна генерирует гипотезы, другая их анализирует. Например, модель А предлагает 3 варианта, а модель B выбирает лучший или предлагает свою интерпретацию. Это своего рода имитация командной игры или брейншторма — где один игрок выдвигает идею, а другой уточняет или спорит.

Выводы

Результаты LLM на логических и «квизовых» вопросах — действительно впечатляют. Современные модели умеют не только вспоминать, но и строить рассуждения, формировать альтернативные гипотезы и порой даже предлагать более остроумные или точные формулировки, чем оригинал.

На мой взгляд, LLM уже можно использовать как ассистента при составлении интеллектуальных и логических задач. Вот несколько советов, как извлечь из этого максимум пользы:

• Используйте "thinking-LLM" — такие как OpenAI o3 и Gemini 2.5 Pro (актуальные на момент написания статьи). У них лучшие цепочки рассуждений и гибкость мышления.

• Читайте объяснения, а не только ответы. Даже если ответ правильный — путь к нему может многое сказать о качестве логики.

• Запрашивайте несколько версий ответа. Это поможет найти неожиданные, но достойные альтернативные формулировки, которые могли бы улучшить или разнообразить ваш вопрос.

• Задавайте один и тот же вопрос несколько раз. Поведение модели зависит от параметра temperature, который влияет на вариативность ответа. Повтор — это способ оценить устойчивость гипотез.