DECLARE @FullName VARCHAR(100)
SET @FullName = 'Mortimer Snedley'
SELECT
    @FullName [Full Name],
    -- LEFT для имени
    LEFT(@FullName,
         CHARINDEX(' ', @FullName) — 1) [First Name],
    -- Подстрока для извлечения фамилии
    SUBSTRING(@FullName,
              CHARINDEX(' ', @FullName) + 1,
              PATINDEX('%, %', @FullName) -.
                CHARINDEX(' ', @FullName) — 1) [Last Name],
    -- RIGHT извлекает суффикс
    RIGHT(@FullName,
          LEN(@FullName) — 1 — PATINDEX('%, %', @FullName)) [Suffix];

Все целиком

• Сколько существующих клиентов содержится в импортируемых данных?
• И сколько потенциальных клиентов содержится в импортируемых данных?

Подход

SELECT
  CustomField3,
  CASE
    /*
       Если NULL — не беспокойтесь.
    */
    WHEN CustomField3 IS NULL THEN 'Адрес электронной почты не найден'
    /*
       Если в строке отсутствует знак @, адрес электронной почты не найден.
    */
    WHEN CHARINDEX('@', CustomField3) = 0 THEN 'Адрес электронной почты не
    найден'
    /*
       Если в строке есть знак @ и нет запятой, то строка содержит только
      адрес электронной почты.
    */
    WHEN CHARINDEX('@', CustomField3) > 0
      AND CHARINDEX(',', CustomField3) = 0
      THEN CustomField3
     /*
       Если адрес электронной почты находится слева, в начале строки,
       захватите его.
     */
     WHEN CHARINDEX('@', CustomField3) > 0
       AND CHARINDEX(',', CustomField3) > CHARINDEX('@', CustomField3)
       THEN LEFT(CustomField3, CHARINDEX(',', CustomField3) — 1)
      /*
        Если адрес электронной почты находится посередине строки,
        продолжайте!
      */
      WHEN CHARINDEX(',', CustomField3) > 0
        AND CHARINDEX('@', RIGHT(CustomField3, LEN(CustomField3) -.
                                 CHARINDEX(',', CustomField3)) >
             CHARINDEX(',', CustomField3)
         AND CHARINDEX('@', RIGHT(CustomField3, LEN(CustomField3) -.
                                  CHARINDEX(',', CustomField3)) <
             CHARINDEX(',', RIGHT(CustomField3, LEN(CustomField3) -.
                                  CHARINDEX(',', CustomField3))
         THEN SUBSTRING(CustomField3,
                        CHARINDEX(',', CustomField3) + 1,
                        CHARINDEX(',', RIGHT(CustomField3,
                                             LEN(CustomField3) -
                                             CHARINDEX(',', CustomField3))) — 1)
      /*
         Если адрес электронной почты находится справа, в конце строки,
         захватите его.
      */
      WHEN CHARINDEX(',', CustomField3) > 0
        AND CHARINDEX('@', CustomField3) > CHARINDEX(',', CustomField3)
        THEN RIGHT(CustomField3, LEN (CustomField3) — CHARINDEX(',', CustomField3))
      ELSE 'Адрес электронной почты не найден'
    END [Электронная почта?]
  FROM staging.CustomFields;

SELECT transformed-columns /* Здесь можно проводить всевозможные преобразования. */
INTO target-table /* Целевая таблица ETL */
FROM source-table /* Исходная таблица ETL */
WHERE filter-conditions /* Различные критерии отбора.         */
ORDER BY new-order /* Отличная группа! Здесь можно повеселиться!  */

/*
   Импортируйте данные в собственную рабочую область. Без условия WHERE
   из-за размера может оказаться непрактичным проводить фильтрацию даже
   на этом шаге. В данном случае имитируем ее с помощью TOP 10.
*/
SELECT TOP 10 *
INTO staging.Customers
FROM crm.NormalizedCustomer
ORDER BY LastName;

Какая оценка?

/*
   Можно обсудить — обычно я не бываю так любезен.
*/
CREATE TABLE dbo.PotentialMatches
(
        first_name   NVARCHAR(50) NULL,
        last_name    NVARCHAR(50) NULL,
        company_name NVARCHAR(50) NULL,
        address      NVARCHAR(50) NULL,
        city         NVARCHAR(50) NULL,
        county       NVARCHAR(50) NULL,
        state        NVARCHAR(50) NULL,
        zip          NVARCHAR(50) NULL,
        country      NVARCHAR(50) NULL,
        phone1       NVARCHAR(50) NULL,
        phone2       NVARCHAR(50) NULL,
        email        NVARCHAR(50) NULL,
        web_address  NVARCHAR(50) NULL
)

SELECT TOP 10
    first_name,
    last_name,
    company_name
FROM dbo.PotentialMatches
WHERE
    last_name LIKE '%Snedley%'
    OR company_name LIKE '%Snedley%'
ORDER BY last_name, first_name, company_name;

Возможно, вы не заметили ее отсутствия, но дата рождения — это еще один «золотой стандарт» сопоставления данных. Если у вас есть (почти) полное имя и дата рождения, зачастую этого достаточно. Именно поэтому вас просят указать эти два атрибута данных, чтобы идентифицировать себя, когда вы попадаете в медицинское учреждение.

Однако при сопоставлении демографических данных во входящем наборе редко бывает дата рождения. Если она есть, оценить степень соответствия может быть очень просто при условии, что вы провели обычную очистку данных (даты рождения в будущем и т. д.). Но эта книга о «нечетком» сопоставлении данных, когда дни рождения, налоговые идентификаторы и другие совершенно естественные и искусственные ключи оказываются недоступны, поскольку эта информация позволяет идентифицировать личность или содержит персональные данные и является конфиденциальной, или, если она все же есть в наборе данных, она замаскирована, вызывая дополнительную «нечеткость»!

SELECT
    COUNT(*) [Всего строк],
    COUNT(web_address) [Не-NULL-значения],
    COUNT(DISTINCT web_address) [Уникальные домены]
FROM crm.Customer;

SELECT
    COUNT(*) [Всего строк],
    COUNT(phone1) [Не-NULL-значения],
    COUNT(DISTINCT phone1) [Уникальные номера мобильных телефонов]
FROM crm.Customer;

/*
   Совпадения только в столбцах, выбранных для оценки.
*/
SELECT
    COUNT(*) [Всего совпадений]
FROM crm.Customer C
INNER JOIN dbo.PotentialMatches P ON
        C.first_name = P.first_name
    AND C.last_name = P.last_name
    AND C.company_name = P.company_name
    AND C.address = P.address
    AND C.zip = P.zip
    AND C.phone1 = P.phone1
    AND C.phone2 = P.phone2
    AND C.email = P.email;

Первый проход: наивное сопоставление

/*
    Убрать NULL.
*/
SELECT
     COUNT(*) [Всего совпадений]
 FROM crm.Customer C
 INNER JOIN dbo.PotentialMatches P ON
         COALESCE(C.first_name, '')   = COALESCE(P.first_name, '')
     AND COALESCE(C.last_name, '')    = COALESCE(P.last_name, '')
     AND COALESCE(C.company_name, '') = COALESCE(P.company_name, '')
     AND COALESCE(C.address, '')      = COALESCE(P.address, '')
     AND COALESCE(C.zip, '')          = COALESCE(P.zip, '')
     AND COALESCE(C.phone1, '')       = COALESCE(P.phone1, '')
     AND COALESCE(C.phone2, '')       = COALESCE(P.phone2, '')
     AND COALESCE(C.email, '')        = COALESCE(P.email, '');

/*
   Убрать NULL.
*/
SELECT
    COUNT(*) [Всего совпадений]
FROM crm.Customer C
INNER JOIN dbo.PotentialMatches P ON
       COALESCE(C.first_name, '')   = COALESCE(P.first_name, '')
    OR COALESCE(C.last_name, '')    = COALESCE(P.last_name, '')
    OR COALESCE(C.company_name, '') = COALESCE(P.company_name, '')
    OR COALESCE(C.address, '')      = COALESCE(P.address, '')
    OR COALESCE(C.zip, '')          = COALESCE(P.zip, '')
    OR COALESCE(C.phone1, '')       = COALESCE(P.phone1, '')
    OR COALESCE(C.phone2, '')       = COALESCE(P.phone2, '')
    OR COALESCE(C.email, '')        = COALESCE(P.email, '');

/*
   Попробуйте нормализовать.
*/
SELECT
   COUNT(*) [Всего совпадений]
FROM crm.Customer C
INNER JOIN dbo.PotentialMatches P ON
        LEFT(C.first_name, 1) = LEFT(P.first_name, 1)
    AND TRANSLATE(C.last_name, '.,', ' ') =
        TRANSLATE(P.last_name, '.,', ' ')
    AND REPLACE(C.company_name, 'L.L.C.', 'LLC') =
        REPLACE(P.company_name, 'L.L.C.', 'LLC')
    AND LEFT(C.address, 10) = LEFT(P.address, 10)
    AND LEFT(C.zip, 5) = LEFT(P.zip, 5)
    AND REPLACE(C.phone1, '-', '') =
        REPLACE(P.phone1, '-', '')
    AND REPLACE(C.phone2, '-', '') =
        REPLACE(P.phone2, '-', '')
    AND C.email = P.email;

/*
   Что же это за таинственное совпадение?
*/
SELECT
    'CRM Data' Source,
    C.first_name,
    C.last_name,
    C.company_name,
    C.address,
    C.zip,
    C.phone1,
    C.phone2,
    C.email
FROM crm.Customer C
INNER JOIN dbo.PotentialMatches P ON
        LEFT(C.first_name, 1) = LEFT(P.first_name, 1)
    AND TRANSLATE(C.last_name, '.,', ' ') =
        TRANSLATE(P.last_name, '.,', ' ')
    AND REPLACE(C.company_name, 'L.L.C.', 'LLC') =
        REPLACE(P.company_name, 'L.L.C.', 'LLC')
    AND LEFT(C.address, 10) = LEFT(P.address, 10)
    AND LEFT(C.zip, 5) = LEFT(P.zip, 5)
    AND REPLACE(C.phone1, '-', '') =
        REPLACE(P.phone1, '-', '')
    AND REPLACE(C.phone2, '-', '') =
        REPLACE(P.phone2, '-', '')
    AND C.email = P.email
UNION
/*
   А как оно выглядит в данных импорта?
*/
SELECT
    'Import Data',
    P.first_name,
    P.last_name,
    P.company_name,
    P.address,
    P.zip,
    P.phone1,
    P.phone2,
    P.email
FROM crm.Customer C
INNER JOIN dbo.PotentialMatches P ON
        LEFT(C.first_name, 1) = LEFT(P.first_name, 1)
    AND TRANSLATE(C.last_name, '.,', ' ') =
        TRANSLATE(P.last_name, '.,', ' ')
    AND REPLACE(C.company_name, 'L.L.C.', 'LLC') =
        REPLACE(P.company_name, 'L.L.C.', 'LLC')
    AND LEFT(C.address, 10) = LEFT(P.address, 10)
    AND LEFT(C.zip, 5) = LEFT(P.zip, 5)
    AND REPLACE(C.phone1, '-', '') =
        REPLACE(P.phone1, '-', '')
    AND REPLACE(C.phone2, '-', '') =
        REPLACE(P.phone2, '-', '')
    AND C.email = P.email
ORDER BY 1;

/*
   Выполним diff.
*/
SELECT
    C.address [Customer Address],
    P.address [Import Address],
    C.zip [Customer ZIP],
    P.zip [Import ZIP]
FROM crm.Customer C
INNER JOIN dbo.PotentialMatches P ON
        LEFT(C.first_name, 1) = LEFT(P.first_name, 1)
    AND TRANSLATE(C.last_name, '.,', ' ') =
        TRANSLATE(P.last_name, '.,', ' ')
    AND REPLACE(C.company_name, 'L.L.C.', 'LLC') =
        REPLACE(P.company_name, 'L.L.C.', 'LLC')
    AND LEFT(C.address, 10) = LEFT(P.address, 10)
    AND LEFT(C.zip, 5) = LEFT(P.zip, 5)
    AND REPLACE(C.phone1, '-', '') =
        REPLACE(P.phone1, '-', '')
    AND REPLACE(C.phone2, '-', '') =
        REPLACE(P.phone2, '-', '')
    AND C.email = P.email;