Почему-то про эту «фичу» не любят распространяться опытные коллеги, а первая встреча с таким в вашем проекте гарантирует бессонные ночи и разбитые об стенку лбы и клавиатуры. Читайте и берегите нервы, говорят они не восстанавливаются.

Начнем мы внезапно с вот такого простенького стихотворения:

cоловей c лиcой в леcу, cтроят домик навеcу.

Берем эту строку и целиком вставляем в код на вашем любимом языке программирования, затем пробуем найти например слово «лес».

В этот раз в качестве любимого языка был взят Kotlin:

fun main() {
    val quote = "cоловей c лиcой в леcу, cтроят домик навеcу"
    println("найдено: ${quote.contains("лес")}")
}

Запустив код выше, получаем внезапный результат:

Но разумеется одного примера будет мало для понимания, поэтому вот еще один:

Буква B — Beрблюд двугopбый,
Он большой и очень гopдый.
У вeрблюдa двa горбa,
И у буквы B их двa.

Давайте проверим, содержит ли стих выше слово «два»:

fun main() {
    val quote = "Буква B — Beрблюд двугopбый,\n" +
                  "Он большой и очень гopдый.\n" +
                     "У вeрблюдa двa горбa,\n" +
                      "И у буквы B их двa."
    println("найдено: ${quote.contains("два")}")
}

И.. снова седая ночь облом:

Может это баг в компиляторе или.. в самом языке Kotlin (на уровне концепции ага)!? Кто знает что туда напихали эти ваши современные криворукие «погромисты»!

Я тоже так подумал (нет) и взял топор старый добрый C++:

#include <iostream>
int main(int argc, char **argv) {
    std::string quote = "Буква B — Beрблюд двугopбый,"
                        "Он большой и очень гopдый."
                        "У вeрблюдa двa горбa,"
                        "И у буквы B их двa. ";

    if (quote.find( "Верблюд") != std::string::npos) {
            std::cout << "Нашлось!" << std::endl;
    } else {
            std::cout << "неа" << std::endl;
    }
    return 0;
}

И... нет, не работает:

Ну ладно, видимо стихи — не мое, нужно что-то более научное и осмысленное.

Например вот такая цитата из википедии:

Общероссийский классификатор объектов административно-территориального деления (сокр. OKАТO — общероссийский классификатор административно-территориальных образований) — классификатор объектов административно-территориального деления Российской Федерации, входит в состав «Единой системы классификации и кодирования технико-экономической и социальной информации Российской Федерации» (ЕСКК). ОКАТО предназначен для обеспечения достоверности, сопоставимости и автоматизированной обработки информации в разрезах административно-территориального деления в таких сферах, как статистика, экономика и другие.

На этот раз уберем все среды разработки и компиляторы — «они все равно вам врут» (ц), поэтому просто открываем в любимом браузере Chrome «режим разработчика» (клавиша F12) и пишем в консоли на JavaScript:

let quote = "Общероссийский классификатор объектов административно-территориального деления (сокр. OKАТO — общероссийский классификатор административно-территориальных образований) — классификатор объектов административно-территориального деления Российской Федерации, входит в состав «Единой системы классификации и кодирования технико-экономической и социальной информации Российской Федерации» (ЕСКК).";

затем добавляем условие поиска:

quote.includes('ОКАТО')

И... оно не найдется:

Теперь пишем в этой же самой консоли вторую часть цитаты:

let quote2 = "ОКАТО предназначен для обеспечения достоверности, сопоставимости и автоматизированной обработки информации в разрезах административно-территориального деления в таких сферах, как статистика, экономика и другие.";

И еще одну проверку:

quote2.includes('ОКАТО')

И.. оно внезапно сработает:

Ну что, все еще хотите «вкатиться в ИТ» и стать программистом? Может водить трактор и рубить лес — не такая уж плохая затея?

Как же это работает

Если у вас есть маленькие дети — покажите им две картинки ниже и попросите найти схожести и отличия, справятся они очень быстро ;)

Вот первая:

И вторая:

Как только ребенок тыкнет пальцем в пару квадратов — источник проблемы до вас сразу дойдет, максимально натуральным образом. Но если детей под рукой нет — расскажу своими словами, хотя будет и не так эффектно:

Так получилось исторически, что часть символов в cовременных английском и русском визуально очень похожи, но технически являются разными.

На стандартных офисных шрифтах визуально разницы вы не увидите совсем, только если специально взять шрифт со стилизацией получится увидеть отличия:

Теперь про техническую часть.

Компьютеры как известно оперируют числами а не строками. У каждого символа в строке есть свой числовой код, любое сравнение строк и поиск по ним происходят с использованием этих самых числовых кодов.

Взгляните:

Первый символ 'c' — латиница, второй 'c' — кириллица. Визуально они близнецы-братья, но коды при этом отличаются.

Именно по этой причине сравнение в лоб не работает:

Существует очень простой способ проверки — перекодирование подозрительного текста в чистый ASCII:

Перекодировка немедленно подсветит проблему, поскольку после нее останутся только латинские символы. Но к сожалению далеко не всегда есть возможность использовать подобный подход:

большинство вводимых текстовых данных происходит в поля форм в браузере или в приложении — вставить туда подобную проверку каким‑то универсальным способом невозможно.

Насколько это серьезно

Все компьютеры используемые в РФ имеют минимум два языка ввод — русский и английский, между которыми пользователи переключаются во время работы. Поэтому взаимодействие и ввод данных во время работы постоянно происходят на двух языках.

Везде где есть заполнение каких-либо форм и ввод данных пользователем существует и описанная проблема с похожими символами.

Чаще всего ошибаются с символами 'c' и 'с', поскольку за них отвечает одна и та же клавиша на клавиатуре, сильно реже со всеми остальными.

Ошибаются не только пользователи, но и сами разработчики:

Как видите проблема массовая и серьезная, поскольку попадание текста с неправильным 'c' например в поисковый индекс сломает вам поиск — такая строка просто не будет находиться в выдаче, хотя ни технически ни визуально проблемы видно не будет.

Автозамена

Я написал небольшой класс на Kotlin для автоматической замены похожих символов — в качестве простого решения описанной проблемы. Его можно достаточно легко адаптировать под ваши реалии.

Выложен в виде gist на Github, код выглядит вот так:

package com.x0x08.yoba

/**
 Класс для поиска и автозамены визуально похожих символов латиницы на кириллицу:
 'c' -> 'с' и другие
 */
class Matcher {
    /**
     * Находит и заменяет похожие латинские буквы на кириллические
     * @param input
     *          входящая строка
     * @return
     *         строка с замененными символами
     */
    fun replaceSimilarRuEnChars(input: String): String {
        val chars = input.toCharArray()
        for (i in chars.indices) {
            val c = chars[i]
            // символ в нижнем регистре используется в качестве ключа
            val cLow = c.lowercaseChar()
            // поиск по словарю
            if (RU_EN_MATCH.containsKey(cLow)) {
                // замена
                chars[i] = RU_EN_MATCH[cLow]!!
                // если оригинальный символ был в верхнем регистре - ставим его и у замены
                if (Character.isUpperCase(c))
                    chars[i] = chars[i].uppercaseChar()
                println("найден ASCII символ: '$c' , заменен на: '${chars[i]}'")
            }
        }
        return String(chars)
    }
    companion object {
        // справочник заменяемых символов
        private val RU_EN_MATCH: MutableMap<Char, Char> = HashMap()
        init {
            RU_EN_MATCH['c'] = 'с'
            RU_EN_MATCH['b'] = 'ь'
            RU_EN_MATCH['o'] = 'о'
            RU_EN_MATCH['p'] = 'р'
            RU_EN_MATCH['x'] = 'х'
            RU_EN_MATCH['m'] = 'м'
            RU_EN_MATCH['h'] = 'н'
            RU_EN_MATCH['e'] = 'е'
            RU_EN_MATCH['t'] = 'т'
            RU_EN_MATCH['k'] = 'к'
            RU_EN_MATCH['a'] = 'а'
        }
    }
}

fun main() {
    val m = Matcher()

    println("Тест 1")

    var quote = "cоловей c лиcой в леcу, cтроят домик навеcу"
    println("найдено: ${quote.contains("лес")}")

    quote = m.replaceSimilarRuEnChars(quote)
    println("теперь найдено: ${quote.contains("лес")}")

    println("Тест 2")

    quote = "Буква B — Beрблюд двугopбый,\n" +
            "Он большой и очень гopдый.\n" +
            "У вeрблюдa двa горбa,\n" +
            "И у буквы B их двa."
    println("найдено: ${quote.contains("два")}")

    quote = m.replaceSimilarRuEnChars(quote)
    println("теперь найдено: ${quote.contains("два")}")
}

В качестве тестов как раз те самые стихи, приведенные в начале статьи

Пользуйтесь на здоровье.

Другие языки

Удивительно, но в других европейских языках подобной проблемы нет:

визуально похожие на латинские буквы французского, немецкого или испанского имеют тот же самый код, поэтому перекодирование в ASCII убивает лишь небольшую часть текста, где есть специфика языка:

Вот такая она, специфика «великого и могучего», возникшая ввиду исторических причин и обстоятельств.

P.S.

Это немного отцезурированная версия статьи, трешевый оригинал которой доступен в нашем блоге.

0x08 Software

Мы небольшая команда ветеранов ИТ‑индустрии, создаем и дорабатываем самое разнообразное программное обеспечение, наш софт автоматизирует бизнес‑процессы на трех континентах, в самых разных отраслях и условиях.

Оживляем давно умершее, чиним никогда не работавшее и создаем невозможное — затем рассказываем об этом в своих статьях.