Публикации с тегом токенизатор
Русский текст в Claude Opus 5 стоит в 3,9 раза дороже, чем в GPT-5.5, при одинаковой цене за токен +31
Положил http:// в строку, и ассемблер молча собрал 0 байт -2
Почему токенайзер реж ет сло ва не там, где нужно +80
Показываю, как я заменил JSON на TOON в LLM-промптах и сэкономил 40% токенов +13
MVP по «умному» поиску данных +5
Инженерный калькулятор на C++. Часть 2: Алгоритм сортировочной станции +7
Инженерный калькулятор на C++. Часть 1: Токенизатор математических выражений +23
JavaScript: разрабатываем компилятор кода -2
