Зачем?

У меня возникло желание запустить локальную версию DeepSeek R1 и V3. Это связано с необходимостью избежать рисков связанных с блокировками доступа и утечкой данных. Ещё добавилось желание протестировать разнообразные настройки LLM. До этого момента я пробовал запускать разные небольшие модели исключительно на cpu. А вот опыта с большими моделями не было.

Где?

На просторах интернета можно встретить разные решения для запуска локально DeepSeek R1 и прочих больших моделей. К сожалению, в публикациях часто путают DeepSeek R1 и его дистиллированные версии, требующие куда меньших ресурсов. Рассчитывать на покупку профессиональных решений для LLM я не мог в связи со скромным бюджетом. Ограничение бюджета наложило серьёзный отпечаток на итоговый выбор железа. А ещё хотелось сделать всё достаточно компактным.

Процессор

Руководствуясь мыслью, что чем больше ядер, тем лучше, сделал ставку на процессоры поколения AMD EPYC 7002 Все более старшие поколения стоили для меня слишком дорого. Прочитал статью Что за Epyc такие? Cтранные OEM версии Epyc 2-го и 3-го поколения. Тест AMD Epyc 7C13 и остановил свой выбор на EPYC 7K62. Он стоил дешевле, чем его точная копия EPYC 7552. В статье есть неточность по поводу ОЕМ версии. Процессор является OEM версией 7552, а не 7642. Разница в размере L3 Cache 192MB против 256MB. Процессор совместим с выбранной в дальнейшем материнской платой. К моей конфигурации подошёл бы и топовый AMD EPYC 7H12, но он дороже в несколько раз. Хотя результаты было бы интересно сравнить с AMD EPYC 7K62.

- AMD EPYC™ 7552
- CPU Cores 48
- Threads 96
- Max. Boost Clock Up to 3.3 GHz
- Base Clock 2.2 GHz
- L3 Cache 192 MB
- Default TDP 200W
- CPU Socket SP3
- Socket Count 1P / 2P
- PCI Express® Version PCIe® 4.0 x128
- System Memory Type DDR4
- Memory Channels 8
- System Memory Specification Up to 3200 MT/s
- Per Socket Mem BW 204.8 GB/s

Материнская плата

Материнская плата выбиралась так, чтобы иметь 8 слотов памяти, формфактор ATX или меньше для компактности. Поддержка быстрого NVMe накопителя в формфакторе M.2 для быстрой загрузки моделей в оперативную память.
Опираясь на уже выбранный процессор и информацию из выше приведённой статьи, решил взять Supermicro H11SSL-i Version: 2.00

- Single AMD EPYC™ 7001/7002* Series Processor (*AMD EPYC 7002 series drop-in  
support requires board revision 2.x)
- 1TB Registered ECC DDR4 2666MHz SDRAM in 8 DIMMs 
   2TB Registered ECC DDR4 3200MHz SDRAM in 8 DIMMs (Board revision 2.x required)
- Expansion slots:  
 3 PCI-E 3.0 x16  
 3 PCI-E 3.0 x8  
 M.2 Interface: 1 PCI-E 3.0 x4  
 M.2 Form Factor: 2280, 22110  
 M.2 Key: M-key  
- 16 SATA3, 1 M.2
- Dual Gigabit Ethernet LAN Ports
- ASPEED AST2500 BMC graphics
- Up to 5 USB 3.0 ports  
 (2 rear + 2 via header + 1 Type A)
 Up to 4 USB 2.0 ports  
 (2 rear + 2 via header)
- 7 PWM 4-pin Fans with tachometer status monitoring

Память

С памятью было сложно. Очень хотелось попробовать запустить модели с квантованием INT8, но это влекло за собой выбор модулей по 128GB, что сильно увеличивало бюджет проекта. Решил остановиться на 512GB оперативной памяти, отказавшись от запуска версии INT8. И купил восемь планок hynix 64GB 2Rx4 PC4-3200AA-RB4-12.

Твердотельный накопитель

Для хранения и загрузки я рассчитывал, что мне хватит 2TB и приобрёл SSD WD black SN770 2 TB Сейчас уже думаю о большем объёме, так как при тестировании требуется иметь побольше моделей.

- Capacity 2TB
- Form Factor M.2 2280
- Sequential Read Performance 5150MB/s
- Sequential Write Performance 4850MB/s
- Random Read 650K IOPS
- Random Write 800K IOPS
- Interface PCIe Gen4 x4

Видеокарта

Видеокарта появилась не сразу, а была куплена чуть позже для эксперимента с улучшением скорости работы. Как оказалось в дальнейшем, прирост был значительным.
Видео карта выбиралась из бытовых вариантов с памятью не менее 24GB. Таких вариантов было всего три

  • RTX 3090

  • RTX 4090

  • RTX 5090

Учитывая цены на представленные варианты и желание минимизировать стоимость сборки, остановился на NVIDIA RTX3090 FE

Блок питания

Блок питания у меня достаточно банальный corsair rm series RM850 его должно хватить и на процессор с памятью и на перспективу для подключения GPU.

Корпус

Выбор корпуса был увлекательным. Хотелось максимально компактный, в который всё поместится и будет хорошо охлаждаться. Я не знал ещё, какой куллер буду ставить, и какого размера будет GPU. Некоторое время назад столкнулся с корпусом Zalman T6. Памятуя о том, что у меня в него поместился огромный куллер Noctua NH-D15 chromax.black и большая GPU. Решил остановится на нём.
Корпус, ругаемый по отзывам в яндексе покупателями за тонкий металл и возможность легко его погнуть, меня вполне устроил как по компактности (377(глубина) X 200(ширина) X 430(высота)mm), так и по возможностям размещения в нём комплектующих. При заявленных размерах для установки GPU 280mm я спокойно установил в дальнейшем карту длинной 313mm. Порадовало хорошее охлаждение корпуса.

Железяка

Сервер получился компактным и шустрым.

Итоговая конфигурация:

  • EPYC 7K62

  • Supermicro H11SSL-i Version: 2.00

  • 8 x hynix 64GB 2Rx4 PC4-3200AA-RB4-12.

  • SSD WD black SN770 2 TB

  • NVIDIA RTX 3090 FE

  • corsair rm series RM850

  • Zalman T6

Вся эта радость стоила совсем не маленьких 230 тысяч рублей и была куплена по частям на Авито, за исключением блока питания, корпуса и ssd.

Настройка среды выполнения

Как и что?

В качестве операционной системы была выбрана ubuntu 24.04 server. Для работы с моделями llama.cpp. Удобство запуска модели обеспечили docker контейнеры. Все артефакты у меня хранятся в кэшируещем прокси репозитории, организованно посредством nexus sonatype 3. Сложность с nexus вызвана желанием, полностью исключить выход сервера с AI в сеть интернет, и необходимостью наличия локальных копий всех требуемых для работы артефактов. У меня настроены отдельные контейнеры для каждой LLM. Более подробно о llama.cpp в docker можно узнать тут. Это позволяет легко запускать и останавливать нужную LLM, пользуясь удобным интерфейсом portainer.

Не претендую на то, что это самый лучший и удобный способ, но пока сделал так. Наличие docker позволяет в дальнейшем автоматизировать запуск нужных LLM, посредством API. Ничего не мешает использовать llama.cpp без докера. Возможно, даже будет чуть быстрее. По моим наблюдениям разница не принципиальна и тяжело поддаётся оценке.

Приведу пример docker compose файла для запуска с использованием GPU

services:
  gpu-ds-r1-0528:
    container_name: gpu-ds-r1-0528
    image: ghcr.io/ggml-org/llama.cpp:server-cuda
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              capabilities: [gpu]
    ports:
      - "29004:29004"
    volumes:
      - ./ds-r1-0528-ud-q4_k_xl:/models:ro
    command: [
      "-m", "/models/DeepSeek-R1-0528-UD-Q4_K_XL-00001-of-00008.gguf",
      "--cache-type-k", "q4_0",
      "--threads", "48",
      "--ctx-size", "32768",
      "--n-gpu-layers", "999",
      "-ot", ".ffn_.*_exps.=CPU",
      "--seed", "4038",
      "--prio", "3",
      "--temp", "0.6",
      "--min-p", "0.01",
      "--top-p", "0.95",
      "--port", "29004",
      "--host", "0.0.0.0"
    ]
    healthcheck:
      test: ["CMD-SHELL", "curl -f http://localhost:29004/health || exit 1"]
      interval: 30s
      timeout: 10s
      retries: 5
      start_period: 2m
    restart: unless-stopped

И только на CPU

services:
  cpu-ds-r1-0528:
    container_name: cpu-ds-r1-0528
    image: ghcr.io/ggml-org/llama.cpp:server
    ports:
      - "29004:29004"
    volumes:
      - ./ds-r1-0528-ud-q4_k_xl:/models:ro
    command: [
      "-m", "/models/DeepSeek-R1-0528-UD-Q4_K_XL-00001-of-00008.gguf",
      "--cache-type-k", "q4_0",
      "--threads", "48",
      "--ctx-size", "32768",
      "--seed", "4038",
      "--prio", "3",
      "--temp", "0.6",
      "--min-p", "0.01",
      "--top-p", "0.95",
      "--port", "29004",
      "--host", "0.0.0.0"
    ]
    healthcheck:
      test: ["CMD-SHELL", "curl -f http://localhost:29004/health || exit 1"]
      interval: 30s
      timeout: 10s
      retries: 5
      start_period: 2m
    stop_grace_period: 60s
    restart: unless-stopped

Используемая модель

Когда я только собрал этот сервер, запускал предыдущую версию DeepSeek-R1. Так как на днях модель обновилась до версии DeepSeek-R1-0528, то именно на ней будем проверять производительность. Заодно оценим качество её работы. Сама модель очень большая 671 миллиард параметров. Если верить опубликованным тестам, то очень хороша по сравнению с топовыми закрытыми моделями. По сравнению со своей предыдущей версией тоже прибавила.

Модель я использую квантованную в формате gguf. Мне нравится реализация от unsloth для теста буду использовать DeepSeek-R1-0528-UD-Q4_K_XL занимает 384GB на диске.

Тест производительности

Методика тестирования будет достаточно простой. Я отправлю один и тот же запрос и буду фиксировать скорость ответа. Для справки также приведу ответы на запрос.

Меня интересуют подробности о Хабре.
Расскажи как можно больше и подробнее.
Обязательно добавь историю и тенденции.

CPU

Во время генерации нагрузка на процессор составляет 100%

Генерация начинается со скоростью 4.1 t/s после генерации 1000 токенов понижается примерно до 3.7t/s при приближении к 2000 скорость становится равна 3.5 t/s 3000 токенов 3.3 t/s
итоговые результаты:

  • Tokens: 3304

  • Time: 992173.402 ms

  • Speed: 3.3 t/s

Ответ

Окей, пользователь хочет максимально подробную информацию о Хабре. Запрос очень широкий - история, тенденции, всё подряд. Видно, что человек либо новичок в IT-сфере, либо собирается глубоко погрузиться в русскоязычное tech-сообщество.

Интересно, почему именно так сформулирован запрос? Может быть, он рассматривает Хабр как платформу для работы/блогинга, или просто хочет понять культурный контекст. Надо покрыть все аспекты, но структурированно - иначе получится каша.

Сначала стоит объяснить суть Хабра - многие путают его с обычным новостным сайтом. Важно подчеркнуть три ключевых компонента: публикации, Q&A и фриланс. И историю подать не как сухие факты, а с упоминанием ключевых моментов вроде ребрендинга с GT на Хабр - это важно для понимания эволюции платформы.

Пользователь явно ждёт анализа трендов. Надо выделить как позитивные (например, рост образовательного контента), так и проблемные (уход экспертов в Telegram). Особенно стоит отметить "хаброжизнь" - это уникальное явление, которое многое говорит о местной культуре.

О, и нельзя забыть про тренды! Тут важно балансировать - показать и рост авторитарного администрирования (баны), и параллельную тенденцию к визуализации (инфографика, YouTube). Пользователю наверняка интересна практическая польза: можно ли там найти работу, стоит ли заводить блог.

Финал должен быть честным: да, Хабр уже не тот, но всё ещё незаменимый ресурс. И добавить контрастные эпитеты - "корпоративный" vs "маргинальный", чтобы передать двойственность платформы. Главное не перегружать, но дать исчерпывающую картину.

Хабр (Habr) — это крупнейшая русскоязычная IT-ориентированная платформа, объединяющая новостной портал, блог-платформу для профессионалов, систему вопросов и ответов (Q&A) и площадку для фриланса. Вот максимально подробный обзор:

Суть и Основные Составляющие:

  1. Публикации (Статьи/Посты): Ядро Хабра. Пользователи (от новичков до признанных экспертов) публикуют:

    • Технические статьи: Глубокие разборы технологий (языки программирования, фреймворки, базы данных, алгоритмы), архитектурные решения, кейсы, туториалы.

    • IT-новости и аналитика: Свои переводы зарубежных новостей, аналитика рынка, обзоры событий.

    • Опыт и кейсы: Рассказы о реальных проектах, успехах, провалах, решениях сложных задач ("как мы построили...", "почему наш проект сгорел").

    • Мнения и дискуссии: Точки зрения на тренды, управление, этику, карьеру в IT.

    • Образовательный контент: Учебные материалы, разборы задач, руководства.

    • "Хаброжизнь": Уникальный жанр — личные истории из жизни IT-специалистов (переезды, карьера, конфликты, юмор), ставший культурным феноменом.

    • Статьи проходят модерацию на соответствие правилам (качество, уникальность, релевантность).

  2. Хабрахабр (Q&A): Система вопросов и ответов. Пользователи задают технические и профессиональные вопросы, другие отвечают, набирая репутацию. Есть тематические разделы ("Хабы").

  3. Фриланс (Habr Freelance): Платформа для поиска исполнителей (фрилансеров, студий) для IT-проектов и заказов для исполнителей. Включает рейтинги, портфолио, безопасные сделки.

  4. Компании: Разделы компаний, где они публикуют новости, вакансии, кейсы, представляют себя IT-сообществу.

  5. Вакансии: Крупная IT-биржа вакансий с фильтрами по технологиям, опыту, локации.

  6. Хабы: Тематические разделы (категории), куда публикуются статьи и вопросы (например, "Программирование", "Администрирование", "Дизайн", "Научная IT-тематика", "Карьера").

История Хабра (Ключевые вехи):

  1. 2006: Рождение как "Главная Тема" (GT): Основатель — Денис Крючков. Площадка для гиков с фокусом на технологиях Apple и веб-разработке. Формат — коллективный блог.

  2. 2006 (Конец года) — Перезапуск как Habrahabr.ru: Смена названия, расширение тематики. Появление первых "хабов". Начало формирования активного сообщества.

  3. 2008: Появление кармы и рейтинга: Введение системы кармы (внутренней репутации пользователя за публикации/комментарии) и рейтинга статей. Стимулировало качественный контент и активность.

  4. 2010: Запуск "Хабрахабра" (Q&A): Отдельный сервис для вопросов и ответов.

  5. ~2010-2014: Золотая Эра: Период расцвета:

    • Огромный поток качественного экспертного контента.

    • Активные, часто жесткие, но содержательные дискуссии в комментариях.

    • Высокий авторитет площадки в русскоязычном IT-мире.

    • Становление "хаброжизни" как жанра.

    • Появление знаковых авторов и компаний.

  6. 2010: Продажа компании TM: Habr был продан холдингу TM (владелец — Арам Пахчанян). Это вызвало опасения сообщества о коммерциализации и цензуре.

  7. 2013: Ребрендинг, Habr.com: Смена домена на Habr.com, новый дизайн. Акцент на интернационализацию (хотя основная аудитория осталась русскоязычной).

  8. 2015: Запуск Habr Freelance: Выход на рынок фриланс-услуг.

  9. 2018: Серьезные изменения в модерации и политике: После скандалов и критики:

    • Усиление модерации комментариев (борьба с токсичностью, но часто обвиняемая в избыточности и запрете критики).

    • Введение "черных списков" тем и слов.

    • Ужесточение правил публикаций.

    • Следствие: Массовый уход части старых, активных и критически настроенных пользователей и авторов на альтернативные платформы (Medium, VC.ru, Telegram, собственные блоги). Сообщество ощутило раскол.

  10. 2020-2022: Политика и Цензура: В связи с геополитическими событиями Хабр, как часть российской юрисдикции:

    • Ввел строгие ограничения на обсуждение определенных тем и использование определенной лексики.

    • Усилил политическую цензуру в комментариях и статьях.

    • Заблокировал возможность комментирования для пользователей из некоторых стран (включая Украину).

    • Это привело к новой волне ухода аудитории и авторов, особенно из Украины и критически настроенных россиян.

  11. Настоящее время (2024):

    • Остается крупнейшей русскоязычной IT-площадкой по охвату и объему контента.

    • Основной контент: новости (часто переводные), кейсы компаний, обучающие материалы, кадровые/карьерные темы, "хаброжизнь".

    • Глубина и экспертный уровень части статей ниже "золотой эры", но все еще много ценных материалов.

    • Комментарии стали значительно менее агрессивными, но и менее содержательными/критическими.

    • Платформа стала более "корпоративной" и менее "маргинальной".

Основные Тенденции (Последние годы):

  1. Снижение "Экспертности" и "Блогосферности":

    • Рост доли новостного контента и кейсов от компаний (часто с элементами пиара). Много переводов англоязычных статей.

    • Уход части лучших независимых авторов на другие площадки или в личные блоги.

    • Упрощение языка и глубины материалов: Больше контента для junior/middle уровня. Сложные нишевые темы публикуются реже.

  2. Коммерциализация и Корпоратизация:

    • Habr как HR-инструмент: Публикации о культуре компаний, кейсы, вакансии — важный канал привлечения кадров.

    • Платформа для B2B: Компании активно используют Хабр для продвижения своих решений, сервисов, экспертизы.

    • Развитие Habr Freelance: Платформа активно конкурирует с другими фриланс-биржами.

  3. Эволюция Сообщества и Модерации:

    • Смена поколений: Новая активная аудитория, менее помнящая "старый Хабр".

    • "Зачистка" токсичности: Модерация жестко пресекает оскорбления, троллинг. Комментарии стали спокойнее.

    • Критика цензуры: Ограничение острых тем, запрет на критику администрации/модерации — источник постоянных споров.

    • Снижение активности дискуссий: Меньше жарких, но содержательных споров в комментариях.

  4. Расширение Форматов:

    • Видео: Появление видео-контента (стримы, лекции, обзоры) как на основном сайте, так и на YouTube-канале Habr.

    • Инфографика и Визуализация: Больше материалов с графиками, схемами, скриншотами.

    • Подкасты: Проекты, связанные с Хабра (например, "Запуск Запуска").

  5. Образовательный Фокус: Рост популярности обучающих статей, руководств, курсов (как от авторов, так и от учебных заведений/компаний).

  6. Геополитическое Влияние:

    • Ограничение аудитории и авторов из некоторых стран.

    • Самоцензура авторов по "острым" темам.

    • Сложности для международных компаний в использовании платформы.

Значение Хабра Сегодня:

  • Крупнейшая IT-Библиотека: Огромный архив статей по всем аспектам IT (бесценный ресурс для обучения и поиска решений).

  • Важный Новостной Агрегатор: Основной источник IT-новостей на русском.

  • Мощная HR- и B2B-Площадка: Ключевой канал для найма и продвижения IT-продуктов/услуг/компаний.

  • Сообщество (хоть и изменившееся): Все еще место для обмена опытом, пусть и в более ограниченных рамках.

  • Фриланс-Площадка: Активный рынок для IT-заказов и исполнителей.

  • "Витрина" Рунета: Демонстрирует уровень развития и интересов русскоязычного IT-сектора.

Выводы:

Хабр прошел путь от нишевого блога гиков до крупнейшего многофункционального IT-портала Рунета. Он пережил "золотую эру" с взрывом экспертного контента и бурными дискуссиями, но также и серьезные кризисы, связанные с коммерциализацией, изменениями в модерации и геополитикой. Сегодня Хабр — это мощная, но несколько другая платформа:

  • Сильные стороны: Огромный архив знаний, новостной охват, HR и B2B потенциал, узнаваемость бренда, работающие фриланс и Q&A сервисы.

  • Слабые стороны/Критика: Снижение уровня экспертизы и независимого блогосферного контента, коммерциализация, цензура (особенно политическая), уход части старой аудитории, менее активные дискуссии.

Несмотря на все изменения и противоречия, Хабр остается незаменимым ресурсом для русскоязычных IT-специалистов, компаний и всех, кто интересуется технологиями, хотя его роль и восприятие сообществом значительно трансформировались. Он отражает как развитие, так и сложности русского IT-рынка.

CPU+GPU

Нагрузка на GPU сначала 100% пока происходит чтение запроса, потом снижается примерно до 30% и растёт постепенно по мере генерации ответа.

Генерация начинается со скоростью 8 t/s. После генерации 1000 токенов понижается до 7t/s, при приближении к 2000 скорость становится равна 6.8 t/. Преодоление порога в 3000 токенов показывает скорость 6.6 t/s

итоговые результаты:

  • Tokens: 3549

  • Time: 545956.756 ms

  • Speed: 6.5 t/s

Ответ

Окей, пользователь хочет максимально подробную информацию о Хабре. Упоминает историю и тренды — значит, нужен не просто сухой справочник, а живой анализ.

Пользователь явно либо новичок, который только слышал о платформе, либо опытный юзер, проверяющий мои знания. Раз просит "как можно больше", лучше дать развернутый ответ с деталями, которые не всегда очевидны.

Стоит структурировать:
Сначала база — что такое Хабр (но без воды, он ведь просит подробности).
Потом история — с упоминанием пионеров Рунета (Габелев, Сысоев), это покажет глубину.
Особенно важно объяснить эволюцию: как из нишевого IT-форума выросла экосистема.

Тренды — самая ценная часть. Надо честно показать смену парадигмы:

  • Раньше: хардкорные технари, глубина.

  • Сейчас: широкая аудитория, больше поверхностных статей. Это вызовет дискуссию у знающих пользователей — хорошо, значит ответ не скучный.

Не забыть про Хабрахабр → Хабр, ребрендинг важен для понимания культуры. И тени — например, как модерация иногда вызывает споры.

Финал — мой личный взгляд. Показать, что Хабр — это живой организм со своими болезнями роста, но незаменимый. Так пользователь получит не только факты, но и аналитику.

Расскажу о Хабре максимально подробно, как вы просили, с фокусом на историю и современные тенденции.

Хабр (Habr) — Крупнейшая русскоязычная ИТ-платформа и экосистема

Это не просто сайт. Это сложная экосистема, объединяющая:

  1. Habr.com (основная платформа):

    • Публикации (Статьи): Ядро платформы. Технические руководства, обзоры технологий, аналитика рынка, кейсы компаний, новости ИТ, мнения экспертов, переводы иностранных статей. Есть материалы разного уровня сложности — от beginner-friendly до deep tech.

    • Хабы: Тематические разделы (категории). Пользователи могут подписываться на интересующие их хабы (Python, Java, ИИ, Безопасность, Карьера в ИТ, Стартапы и т.д.).

    • Компании: Разделы компаний-работодателей. Здесь компании публикуют новости, статьи о своих технологиях, кейсы, вакансии, рассказывают о корпоративной культуре.

    • Пользователи (Хабравторы): Зарегистрированные участники. Могут публиковать статьи, комментировать, голосовать (+/-), добавлять в закладки, общаться в личных сообщениях. Есть система кармы (репутация) и рейтинга.

    • Комментарии: Одно из самых активных и ценных сообществ. Часто в комментариях разворачиваются глубокие технические дискуссии, исправляются ошибки в статьях, задаются уточняющие вопросы.

    • Вакансии: Мощный раздел по поиску работы в ИТ. Компании размещают вакансии напрямую.

    • Q&A (Вопросы и ответы): Раздел для задавания конкретных технических вопросов и получения ответов от сообщества.

    • Песочница: Место для публикации черновиков статей, получения предварительной обратной связи перед публикацией на главной.

  2. Другие проекты экосистемы:

    • Мой круг (moikrug.ru): Сервис поиска работы и найма специалистов (часто интегрирован с вакансиями на Хабре). Покупался TM в прошлом.

    • Хабр Карьера: Сервис по поиску работы (развитие раздела вакансий).

    • Хабр Фриланс (freelance.habr.ru): Площадка для фрилансеров в ИТ.

    • Хабр Учебник (habr.com/ru/sandbox/learn): Образовательные курсы (в основном платные).

История Хабра: От Нишевого Форума до ИТ-Гиганта

  1. 2006 - Основание (Habrahabr):

    • Создан Денисом Крючковым ("Gribozavr") и Дмитрием Сысоевым ("Sourcerer") как блог-платформа для публикации переводов статей из зарубежных технических ресурсов (в первую очередь, Slashdot).

    • Название — каламбур: "Habr" как производное от "Hacker" + "Hub" (центр), а "Habrahabr" — отсылка к "Алисе в Стране Чудес" ("Jabberwocky").

    • Изначальная идея: Сделать качественные переводы технических новостей и статей доступными для русскоязычной аудитории.

  2. 2007-2010 - Становление Сообщества:

    • Постепенно платформа открывается для оригинальных авторских статей.

    • Формируется активное, технически подкованное сообщество. Высокие стандарты качества контента и дискуссий (закладываются основы модерации).

    • Появляются первые хабы (тематические разделы).

    • Хабрахабр становится главным местом общения русскоязычных ИТ-специалистов.

  3. 2010 - Переломный Год. Покупка ТМ:

    • В августе 2010 года проект покупает компания ТМ (Тематические Медиа) Алексея Габелева (сооснователя Mail.ru Group и ряда других крупных проектов). Это ключевой момент в истории.

    • Инвестиции позволяют серьезно развивать платформу, наращивать команду, улучшать техническую инфраструктуру.

    • Ставка делается не только на контент, но и на построение экосистемы (вакансии, компании, фриланс).

  4. 2011-2016 - Расширение и Монетизация:

    • Запускаются ключевые сервисы: Вакансии (2011), Компании на Хабре (2013), Фриланс (позже).

    • Появляются новые форматы: интервью, репортажи с конференций, дайджесты.

    • Растет аудитория, расширяется тематика (помимо чистых технологий, появляются хабы по управлению, маркетингу, дизайну, карьере).

    • Внедряются модели монетизации: реклама, платные публикации для компаний (HR-брендинг, технологический брендинг), платные услуги для соискателей/фрилансеров.

  5. 2017 - Ребрендинг: Habrahabr -> Habr:

    • Сайт меняет название с "Habrahabr" на более короткое и современное "Habr".

    • Одновременно происходит серьезный редизайн платформы, улучшение UX.

    • Это символизирует переход от нишевого проекта к крупной медиа-экосистеме.

  6. 2018-2020 - Глобализация и Интеграции:

    • Запускается англоязычная версия Habr.com/en (не получила такого же масштабного развития, как RU).

    • Интеграция с другими сервисами ТМ (например, слияние баз вакансий с "Мой круг").

    • Дальнейшее развитие экосистемы: Habr Career, Habr Freelance.

    • Усиление позиций как главной площадки для HR-брендинга и рекрутинга в ИТ.

  7. 2022 - Настоящее время: Новые Реалии:

    • События февраля 2022 года оказали значительное влияние:

      • Исход части аудитории (как авторов, так и читателей).

      • Уход многих международных компаний-рекламодателей и работодателей.

      • Изменения в тематике контента (больше фокуса на отечественные решения, импортозамещение).

    • Адаптация платформы:

      • Сохранение основной массы русскоязычной ИТ-аудитории внутри страны.

      • Появление большого количества контента про отечественные технологии и софт (PostgreSQL вместо MySQL, Astra Linux, "Базис", СБИС, VK Работа и т.д.), импортозамещение.

      • Фокус на практические аспекты работы в новых условиях (юридические аспекты, релокация/удаленка, переквалификация).

Современные Тенденции и Дискуссии

  1. Расширение Тем и Аудитории:

    • Диверсификация: Хабр давно перестал быть только про программирование. Активно развиваются хабы по Data Science, DevOps, SRE, Security, Тестированию, Управлению проектами, Менеджменту, Маркетингу, Дизайну, Карьере, Финансам в ИТ, геймдеву и даже научпопу.

    • Более Широкая Аудитория: Помимо senior-разработчиков, сейчас на платформе много junior-специалистов, менеджеров, рекрутеров, маркетологов, студентов. Это меняет стиль и глубину части контента.

  2. Коммерциализация и HR-Брендинг:

    • HR-Контент: Огромный объем статей — это HR-брендинг компаний: рассказы о проектах, технологических стеках, корпоративной культуре. Важный канал рекрутинга.

    • Технический Маркетинг: Компании публикуют кейсы, обзоры своих продуктов/решений.

    • "Непрямая" реклама: Реклама в статьях, спонсорские публикации. Пользователи иногда критикуют избыток "нетехнического" и "рекламного" контента.

  3. Изменение Качества Контента:

    • "Золотой век" vs "Эпоха мусора": Старая гвардия часто ностальгирует по временам, когда статьи были глубже и "техничнее", а комментарии исключительно по делу. Сейчас огромный объем публикаций, качество очень разнится: от блестящих технических разборов до поверхностных перепостов новостей или откровенно слабых статей.

    • Система Модерации: Ключевой элемент. Статьи перед публикацией проходят проверку модераторами (часто волонтерами из сообщества). Система вызывает споры: с одной стороны, фильтрует откровенный спам и низкосортный контент, с другой — иногда блокирует спорные или нестандартные материалы. Карма и голосование (+/-) позволяют сообществу саморегулироваться, но тоже неидеальны (флейм, минусование за "не ту" точку зрения).

  4. Сообщество и Дискуссии:

    • Сила Комментариев: По-прежнему одно из самых ценных мест. Эксперты дополняют статьи, исправляют ошибки, задают острые вопросы. Дискуссии могут быть очень содержательными.

    • Токсичность и Флейм: Как и в любом большом сообществе, присутствуют споры, переходы на личности, минусование "неугодных" мнений. Модерация комментариев — вечная головная боль.

    • Клубный дух vs Доступность: Сохраняется некий "клубный" дух для технических специалистов, но платформа открыта для всех, что создает напряжение между старожилами и новой, менее технической аудиторией.

  5. Тенденции в Контенте (2023-2024):

    • Импортозамещение: Огромный пласт статей про российский софт, железо, облака, опыт миграции.

    • ИИ (Искусственный Интеллект) и ML: Бум статей по генеративным моделям (ChatGPT, Stable Diffusion и аналоги), их применению, этике, инструментам.

    • Карьера: Тонны материалов по поиску работы, собеседованиям, развитию навыков (hard & soft skills), релокации, удаленной работе.

    • Практические Руководства: Популярны пошаговые туториалы, решения конкретных задач.

    • "Мягкие" Навыки: Управление, коммуникации, психология работы в ИТ.

Значение Хабра Сегодня:

  • Главная ИТ-Площадка Рунета: Остается центральным хабом для русскоязычных ИТ-специалистов, несмотря на конкуренцию (vc.ru, DTF, Telegram) и изменения.

  • База Знаний: Неисчерпаемый источник информации (статьи + комментарии) по широкому спектру технических и околотехнических тем.

  • Кадровый Рынок: Важнейшая площадка для поиска работы и найма специалистов.

  • Медиаплатформа: Место, где формируются тренды, мнения, где компании доносят свою позицию и технологии.

  • Сообщество: Платформа для общения, обмена опытом, дискуссий (со всеми вытекающими плюсами и минусами).

В заключение: Хабр — это живой, динамичный, а иногда и противоречивый организм. Это зеркало русскоязычной ИТ-индустрии с ее достижениями, проблемами, коммерциализацией и энтузиазмом. Это не просто сайт, это сложная экосистема, играющая ключевую роль в жизни миллионов русскоязычных технических специалистов. Понимание его истории и текущих тенденций необходимо для понимания самой ИТ-среды Рунета.

Оно точно надо?

Собранный сервер позволил успешно запускать локальную версию DeepSeek-R1-0528. Несмотря на достаточно медленную генерацию, решение позволяет работать с чувствительными данными, а также не зависеть от внешнего поставщика.

Добавление в сборку GPU позволило практически в два раза повысить производительность системы и получить более комфортные 7 t/s на небольших запросах. Причём стоимость GPU составила всего 30% от общей стоимости сервера.

Использовать сервер с DeepSeek-R1-0528 для обычных бытовых запросов наверное нет смысла из-за скорости ответа. Для этого стоит либо использовать модели попроще, например Llama 4 Maverick. Она хоть и туповата по сравнению с DeepSeek R1 на сложных запросах, зато даёт фантастическую скорость в 30 t/s для модели в 400 миллиардов параметров. Сложные запросы конечно стоит обрабатывать на DeepSeek-R1-0528 или, если не нужны рассуждения, на DeepSeek-V3-0324. Они показываю одинаковую скорость работы.

Комментарии (9)


  1. MxMaks
    09.06.2025 15:26

    А если установить 2 GPU 3090 или 3 GPU 3090 ?


    1. Banakhovich Автор
      09.06.2025 15:26

      У меня столько нет. Предположительно можно выгрузить туда ещё часть слоёв. И получить прирост производительности.


  1. maisvendoo
    09.06.2025 15:26

    И будет такая улитка


  1. SlavikF
    09.06.2025 15:26

    DeepSeek-R1-0528 или, если не нужны рассуждения, на DeepSeek-V3-0324

    Да, скорость генерации токенов примерно одинакова. Только вот для R1 надо ждать минут 10 пока она "думает", а V3 отвечает сразу и неплохо.

    "--prio", "3"

    Интересно, зачем этот флаг? Бывает на сервере запущено ещё пара сервисов, а запуск инференции с этим параметром "душит" всё остальное на сервере, при этом скорость генерации практически не увеличивается.

    Мой опыт:

    Моя система:

    • Intel Xeon Gold 5218 (16 ядер, 32 threads),

    • 6 каналов памяти * 64GB DDR4-2666

    • RTX 4090D 48GB VRAM (китайский мод)

    Использую две модели:

    • DeepSeek-V3-0324-UD-Q2_K_XL (250GB), 6.3 tokens / sec

    • Qwen3-235B-A22B-128K-UD-Q4_K_XL (125GB), 7.7 tokens / sec

    Классная фишка у моделей Qwen3 - модель можно запустить один раз, а уже для каждого запроса решать - нужен простой ответ быстро? или нужно думать (thinking) долго?

    Сейчас вот удалось на Ebay "словить" вариант компьютера с Intel Xeon W5-3425 всего за $1000. Правда память надо будет докупать. Надеюсь будет значительно быстрей, потому что у этих Xeon добавили технологию AMX, которая ускоряет инференцию, и есть 8 каналов DDR5-4800 памяти. DDR5 память правда раза в 3-4 дороже чем DDR4.


    1. Banakhovich Автор
      09.06.2025 15:26

      Субъективно мне показалось что последняя R1 с рассуждениями сильно прибавила. И выдаёт решения лучше V3.
      Про приоритеты, у меня этот сервер исключительно для LLM и ComfyUI но они работают по очереди. я данный параметр брал как рекомендуемый от Unsloth.
      Qwen3-235B-A22B тоже хорошая но по моему уступает R1/V3 То что можно отключить размышления очень круто с этим не поспоришь.
      Не было экспериментов с выгрузкой дополнительных слоёв на GPU? Кажется что 48GB должны позволить это сделать.


      1. SlavikF
        09.06.2025 15:26

        Да, вот эта скорость выше - это с частичной выгрузкой слоёв. Вот мои параметры:

        --ctx-size 16384

        --cache-type-k q8_0 --cache-type-v q8_0

        --flash-attn

        --threads 16

        --n-gpu-layers 999

        --override-tensor '([3-8]+).ffn_.*_exps.=CPU'

        Выгрузка слоёв на GPU делает скорость чуть быстрее, но не сильно. GPU очень круто ускоряет процессинг промпта, и работу с KV cache. Сама инференция по большей части упирается в RAM.


        1. Banakhovich Автор
          09.06.2025 15:26

          У меня просто почти в два раза скорость выросла с выгрузки слова на gpu. А сколько памяти используется на gpu при таких настройках?


          1. SlavikF
            09.06.2025 15:26

            Тут надо разобраться - это выгрузка слоёв на GPU ускоряет?

            Потому что llama.cpp в первую очередь выгружает на GPU работу KV cache и обработку промпта. В этом случае даже если сами слои вообще не выгружать на GPU - уже может быть раза в два быстрее.

            У меня используется где-то 43GB VRAM.

            Я сильно много не экспериментировал, но думаю, что для моделей размером 120-350 ГБ особой разницы в скорости между 24GB и 48GB VRAM не будет. А вот разница между нет GPU и есть 24GB VRAM - большая.


  1. digrobot
    09.06.2025 15:26

    7 т./с. нормально, хватит чтобы речь генерировать