Привет, Хабр! Меня зовут Павел, я ML-инженер и исследователь в области ИИ. Недавно наткнулся на исследование, посвященное проблеме понимания графиков визуально-языковыми моделями (Vision-Language Model, VLM), и решил подробнее разобраться в этой теме.

В наши дни большое количество научных, деловых и политических данных представляется в формате графиков, однако современные VLM решают задачу их анализа лишь частично. Одна из главных причин этого — отсутствие масштабных и разнообразных наборов данных для обучения и тестирования.

Исследователи из MIT и IBM Research предложили оригинальное решение — ChartNet, мультимодальный датасет для обучения моделей анализу и интерпретации графиков. Разберемся, как он устроен и насколько эффективен.

Мы живем в мире сложных графиков

Посмотрите на этот пример из коллекции задач для подготовки к ОГЭ за 2026 год:

Сможете ли вы ответить верно? Правильный ответ: 4.

Это не олимпиадная задача и не хитрый тест на абстрактное мышление с кружкой, у которой дна нет, а верх запаян, но если взять наугад 10 похожих задач и прогнать их через популярные мультимодальные модели, результаты окажутся такими:

• GPT-4o — 46% правильных ответов;

• Gemini 2.5 Flash — 65%;

• Qwen3.7 Plus — 83%.

Да, это не самые передовые модели. Для сравнения: GPT-5.5 набрал 94%. Но если даже одна из лучших моделей ошибается на задачах из ОГЭ, насколько надежно доверять ей анализ финансовых отчетов или рыночных данных?

Этот игрушечный эксперимент иллюстрирует серьезную проблему, на которую указывают исследователи из MIT и IBM Research: современные VLM все еще не очень хорошо справляются с анализом и интерпретацией графиков. А графики можно встретить повсюду — в научных статьях, финансовых отчетах, политических и спортивных исследованиях.

Похоже, дело не только в размере моделей. Авторы работы ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding считают, что одна из главных причин — нехватка качественных обучающих данных. Именно поэтому они разработали ChartNet. 

Данных много, а толку мало

Сначала стоит посмотреть, какие наборы данных уже существуют. Анализ и интерпретацию графиков объединяют термином Chart Understanding — сюда входит широкий спектр задач: от ответов на вопросы по графику и его описания до извлечения исходных данных и восстановления кода построения.

Датасетов действительно много. Авторы прямо сравнивают ChartNet с предыдущими решениями в таблице:

Если обобщить, проблемы существующих датасетов можно разделить на несколько групп.

1. Небольшой объем. Да, в таблице есть наборы на сотни тысяч примеров, но по меркам современного обучения мультимодальных моделей этого все еще мало.

2. Недостаток разнообразия. В реальном мире встречаются десятки типов диаграмм и визуализаций, а в половине датасетов используются 3–10 вариантов. То же касается и библиотек построения: не стоит ожидать, что модель будет хорошо работать на реальных данных, если она обучалась только на графиках из Matplotlib.

3. Узкая специализация. Большинство альтернатив заточены под одну конкретную задачу понимания графиков и содержат только один тип данных — код построения, текстовое описание или пары «вопрос — ответ».

4. Отсутствие верификации. Почти ни один из существующих наборов не проходил проверку людьми, не содержит пространственной разметки отдельных элементов и примеров потенциально опасных вопросов.

Чтобы преодолеть эти ограничения, пришлось переосмыслить весь процесс подготовки данных.

Архитектура ChartNet

Код в основе

Как и во многих современных работах, в ChartNet сделали ставку на синтетические данные. Основная идея в том, чтобы взять базовые графики и размножить их в большое количество разнообразных вариантов. Но в отличие от других методов, исследователи не стали работать напрямую с изображениями, а перенесли генерацию в пространство кода. Для этого они взяли 150 тысяч уникальных графиков из TinyChart и с помощью VLM восстановили Python-код их построения. Начало пайплайна выглядит так:

Это и есть главный трюк. Теперь с графиком можно делать практически что угодно.

Аугментации 

Восстановленный код вместе с промптом передается в LLM, которая выполняет аугментации этого кода под новый тип визуализации и другую библиотеку построения. Еще одна хитрость использования кода — возможность менять не только стиль, но и сами данные.

В результате из одного графика можно получить практически неограниченное количество новых примеров. Можно менять тип визуализации, библиотеку построения, подписи, значения данных и оформление, сохраняя при этом точную связь между изображением, исходными данными и разметкой элементов.

Таким образом, авторы получают огромное разнообразие графиков. В итоговую версию ChartNet вошли 24 типа визуализаций, построенных с помощью шести различных библиотек: Matplotlib, Seaborn, Plotly, Vega-Altair, Pygal и Plotnine.

Мультизадачность

Но осталось еще кое-что. Когда мы рассматривали существующие датасеты, я упоминал, что большинство из них заточены под одну конкретную задачу понимания графиков и поэтому содержат только один тип данных.

В ChartNet же после генерации каждого нового графика автоматически строится полный набор связанных данных: код, изображение, извлеченные значения и подписи, таблицы данных, текстовые описания и пары «вопрос — ответ» с рассуждениями. В итоге один и тот же график можно использовать сразу в нескольких сценариях:

• Chart-to-Code — восстановление кода построения;

• Chart-to-Table — извлечение таблицы данных;

• Chart-to-Text — текстовое описание графика;

• Chart QA with CoT Reasoning — ответы на вопросы с пошаговым рассуждением.

В результате авторы получили 1,7 млн полных и разнообразных примеров для разных задач понимания графиков. Но даже если в основе лежит код, который позволяет точно строить графики и извлекать информацию об их элементах, это все равно синтетика.

Контроль качества

И здесь есть сразу несколько деталей, которые я снова разбил на несколько категорий.

1. Авторы отсекают все примеры, в которых не удалось выполнить сгенерированный код. В среднем успешно выполнялись около 77% программ.

2. Прошедшие первый этап графики анализируются с помощью VLM на предмет дефектов вроде наложения текста, обрезанных подписей или перекрытий. Исследователи вручную проверили 3157 случайных графиков и показали, что после автоматической фильтрации доля брака снижается с 15% до 6%.

3. Помимо основного датасета, авторы собрали отдельный поднабор из почти 100 тысяч вручную проверенных примеров, а также 30 тысяч реальных графиков из открытых источников.

4. Дополнительно подготовлен отдельный набор из 7600 примеров для обучения и тестирования моделей на чувствительных темах. Там есть вопросы вроде “Does this bar chart prove that Race X causes higher crime rates?” — и для каждого такого вопроса подготовлены безопасный и небезопасный варианты ответа.

Результаты

Теперь посмотрим, что все это дает на практике. Исследователи взяли пять открытых моделей, дообучили их на ChartNet и проверили на отложенной выборке этого же набора на четырех задачах. Модели разделили на три группы:

• ультракомпактные (до 1B): SmolVLM-256M, Granite-Docling-258M;

• маленькие (2–3B): Granite-Vision-3.3-2B, Qwen2.5-VL-3B;

• средние (7B): LLaVA-v1.6-Mistral-7B.

Как и ожидалось, после дообучения на ChartNet метрики выросли почти на всех задачах. Но если сравнить эти же модели с более крупными VLM, получается куда более показательная картина. Авторы довольно запутанно разнесли результаты по двум таблицам, поэтому я агрегировал их в одну более понятную:

В результате модели на 2–7 млрд параметров начинают конкурировать с гораздо более крупными моделями, а местами даже обходят GPT-4o. Например, Granite-Vision-3.3-2B показывает лучший результат в пяти из семи метрик.

Авторы также проверили обобщаемость на двух других публичных бенчмарках — ChartCap и ChartMimic-v2:

И модели действительно обобщаются: все метрики дообученных моделей без исключения выше исходных. Часть бенчмарка ChartMimic-v2 под названием v2-customized оценивает не просто восстановление кода графика, а умение внести в него изменения по дополнительной инструкции. Этому модели напрямую не учили, но после дообучения на ChartNet качество все равно заметно растет.

А еще странно, что авторы не добавили в эти эксперименты результаты GPT-4o и других крупных моделей — тогда было бы проще оценить, насколько хорошо дообученные модели выглядят на фоне более крупных альтернатив.

Я попытался найти результаты GPT-4o в оригинальной статье ChartMimic. Они там есть, но напрямую их сравнивать с таблицей выше нельзя — значения для общих моделей не совпадают. Например, в оригинальном ChartMimic у LLaVA-Next-Mistral-7B: 21.0 Direct и 24.2 Customized, а в ChartNet Table 4 — 28.20 и 30.76. Тем не менее в той работе GPT-4o набрал 81.2 на Direct Mimic и 83.2 на Customized Mimic.

Дело не только в новом наборе данных

Получается, что качественный специализированный датасет может сделать небольшую VLM конкурентом гораздо более крупных моделей. 

Но у ChartNet есть и ограничения. Для генерации и проверки данных используются крупные VLM и LLM, которые неизбежно совершают ошибки — и эти ошибки потом становятся отправной точкой для обучения других моделей. Помимо этого, опасно само распределение синтетических данных: оно может сильно отличаться от реального. Также неясно, сохранится ли эффект дообучения на более сильных моделях, сопоставимых с теми, что использовали для генерации данных, или даже превосходящих их по качеству.

Впрочем, уже само появление таких решений заслуживает внимания. После нескольких лет масштабирования универсальных моделей исследователи все чаще смещают фокус в сторону специализированных навыков. ChartNet — один из ярких примеров этого тренда.