Выжимаем максимум из BERT: токенизация в 50 раз быстрее +14
Публикации с тегом токенизация
Токенизация потенциала человека: что показали BitClout и Friend.tech и что нужно, чтобы это заработало
Токеномика для самых маленьких +10
Русский текст в Claude Opus 5 стоит в 3,9 раза дороже, чем в GPT-5.5, при одинаковой цене за токен +31
Как искать длинные хеши и ID с dict='keywords_32k' +5
Налог на AI‑токены: почему идея Билла Гейтса упирается в токенизацию и self‑hosting +6
Почему токенайзер реж ет сло ва не там, где нужно +80
LLM и уровень усилий (effort) в Claude Code: знать больше или стараться лучше? +8
Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту +14
Что происходит внутри LLM, когда ты отправляешь сообщение +22
Как сделать так, чтобы xt850 находил xt 850 +1
Кириллица в LLM: почему русский язык в нейросетях стоит дороже и работает медленнее +6
Что в Opus 4.7 устроили с токенизацией? +7
