Изучая линейную алгебру, все так или иначе сталкиваются с Жордановой нормальной формой (ЖНФ).
Когда я изучал эту тему, доказательства, которые я читал, мне казались очень запутанными и непонятными. Многие вещи опускались и считались очевидными. Для того, чтобы у меня сложилась полная картина доказательства со всеми случаями, мне понадобилось прочитать несколько учебников, конспектов и учебных пособий.
В этой статье я попытаюсь объяснить ЖНФ так, как мне кажется, наиболее понятным. Это доказательство является сборной солянкой из различных доказательств, но, по моему мнению, оно дает ответы на многие вопросы. После прочтения статьи(я надеюсь), помимо доказательства, вы узнаете ответы на несколько вопросов:
Почему матрица выглядит именно так?
Можно ли привести матрицу к ЖНФ несколькими способами?
Важен ли порядок векторов в матрице перехода между базисами?
Пререквизиты: Векторные пространства, линейные операторы, алгебра матриц, матрицы перехода, ядро и образ оператора, собственные вектора, инвариантные подпространства.
Зачем нужно диагонализировать оператор?
Рассмотрим известный пример (Числа Фибоначчи):
Если мы обладаем возможностью вбить в компьютер, то тут можно было бы и закончить, но, допустим, что мы не имеем такой возможности.
Что же с этим можно сделать?
Вспоминая из линейной алгебры, что:
Мы можем понять, что можно перевести эту матрицу в более ''удобный'' вид, в котором возвести матрицу в степень намного проще.
Самым удобным является диагональный вид, так как:
В стандартном курсе линейной алгебры изучаются собственные вектора , в базисе из которых(если такой существует) матрица имеет диагональный вид. Подробно рассматривать эту тему в этой статье я не буду.
Что делать если оператор не диагонализируем?
В таком случае нам нужно привести оператор к какому-то другому виду, в котором матрицу возводить в степень не очень сложно.
Тут и появляется Жорданова нормальная форма(далее ЖНФ). Оказывается, что можно привести любой оператор над алгебраически замкнутым полем к ЖНФ.
Будем рассматривать векторные пространства над алгебраически замкнутым полем, частным случаем которого являются комплексные числа. Это нужно для того, чтобы собственные числа принадлежали этому полю.
Дальнейшие доказательства работают и для векторных пространств над алгебраически незамкнутыми полями, но только для операторов, у которых собственные числа принадлежать полю .
Жордановой нормальной формой(Жордановой матрицей) называют матрицу, состоящую из диагональных блоков и нулей вне этих блоков, где - это Жорданова клетка, которая будет рассмотрена дальше.
Жорданова клетка
Жордановой клеткой называют квадратную матрицу
порядка r.
Возведение Жордановой клетки в степень
Заметим, что , где N - нильпотентная матрица.
Докажем, при возведении в степень каждый столбец матрицы ''сдвигается вправо'' и что у первые столбцов нулевые.
Иными словами, докажем, что
- квадратная матрица порядка , где и от до .
(В столбце единица стоит на строчке)
Докажем по индукции
База:
Переход:
Таким образом мы получаем, что .
Доказательство закончено.
Зная, что мы получаем, что
(Так как )
Что достаточно просто считается.
К какому базису нужно тогда приводить? (Корневые подпространства и вектора)
Вектор называется корневым вектором линейного оператора , отвечающим числу , если для некоторого (где - это тождественный оператор). Наименьшее из таких называется высотой корневого вектора . Далее вектор высоты будем обозначать
Высоту вектора будем обозначать .
Примеры
Собственные вектора - вектора высоты 1.
Нулевой вектор - вектор высоты 0.
Корневые векторы соответствующие одному собственному значению образуют подпространство . Оно называется корневым подпространством и обозначается .
А как это вообще связано с ЖНФ?
Пусть . Тогда если оператор имеет вектор высоты , то , где
, так как . - вектор высоты , обозначим его за .
Это значит, что при рассмотрении пространства, в котором базисом являются корневые вектора линейного оператора линейный оператор будет выглядеть как Жорданова клетка размера .
Логично, что вектор высоты 1 должен быть первым, так как он переходит в себя, домноженного на лямбду, плюс вектор высоты 0.
А что если у нас несколько линейно независимых корневых векторов одной высоты в корневом подпространстве?
Давайте рассмотрим вместо оператора оператор .
Очевидно, что если оператор приводится к ЖНФ, то и приводится к ЖНФ, так как .
Пусть - корневой вектор оператора высоты ..
Подпространство называется циклическим подпространством.
Очевидно, что инвариантно относительно . Ограничение оператора на задается матрицей
Докажем, что существует инвариантное относительное подпространство , такое что . , где максимально.
Возьмем максимальное инвариантное подпространство , которое не имеет пересечения с . Такое всегда есть, например, нулевое.
Докажем, что от противного:
Возьмем вектор .
содержит в себе вектор максимальной высоты , поэтому .
Из этого следует, что существует такое, что , так как .
(Далее будем обозначать за ).
(так как и инвариантны относительно ) и линейно независимы
Пусть . Такой существует, так как высота меньше .
Рассмотрим .
инвариантно, так как инвариантно, а
Докажем, что , таким образом расширив "максимальное"
Возьмем .
, так как , а .
Значит , но тогда , но
Мы доказали, что .
Значит
В итоге получим, что можно расширить до , получая противоречие. (так как ).
Доказательство закончено.
Такой алгоритм мы можем применять пока (дальше смысла нет), таким образом раскладывая в прямую сумму инвариантных подпространств.
Из этого следует, что корневое подпространство раскладывается в прямую сумму циклических подпространств. Они инвариантны, поэтому представляются в виде блочно-диагональной матрицы из жордановых клеток.
Что делать, если у оператора несколько различных собственных значений?
Существует такое , начиная с которого .(Теорема о стабилизации)
Напомним, что .
Очевидно, что , а также ограничено .
Поэтому начиная с какого-то момента . Осталось доказать, что если соседние элементы равны, то так будет и дальше().
По условию
Пусть
Таким образом мы можем действовать, пока
Теорема доказана
Пусть линейный оператор (над ) имеет собственное значение . Тогда имеет место разложение в прямую сумму, , где - инвариантное подпространство, причем ограничение оператора на невырождено.
Очень похоже на доказательство с циклическими подпространствами
Воспользуемся тем же методом. Будем рассматривать . Тогда собственным значением для будет .
Положим (где начиная с последовательность стабилизируется) и докажем, что.
Инвариантность очевидна, так как .
По известной теореме(например, можно найти в Винберге 5.2.2(201 страница))\
Поэтому можно лишь доказать, что их пересечение равно нулю, из чего будет следовать разложение в прямую сумму.
Пусть .
Следовательно .
Таким образом мы можем разложить пространство в прямую сумму корневых подпространств(закончив в тот момент, когда ).
Они будут инварианты относительно . Поэтому матрицу можно представить в виде блочно-диагональной матрицы, блоки которой представляют из себя жордановы клетки.
Приведение к ЖНФ
Таким образом мы доказали и описали алгоритм нахождения ЖНФ.
Теперь посмотрим, как это использовать на практике, и ответим на некоторые вопросы, которые могут возникнуть:
Можно ли выбрать любой корневой вектор при построении базиса?(одной высоты и с одним собственным числом)
Важен ли порядок векторов?
Важен ли порядок клеток?
Ответы на эти вопросы должны быть понятны исходя из доказательства, но если отвечать коротко:
Да, можно выбрать любой корневой вектор
Да, порядок векторов важен
Нет, порядок клеток не важен
Приведем матрицу к ЖНФ и заодно проверим это
Найдем собственные числа(корни характеристического уравнения)
Таким образом получаем, что имеет 2 собственных числа: кратности 2 и кратности 2.
Найдем базис корневого подпространства
Подпространство размерности 2, поэтому существует несколько возможных базисов: 2 корневых вектора высоты 1, и один корневой вектор высоты 2 и один высоты 1.
Чтобы определить, сколько у нас векторов высоты 2, нам нужно посмотреть на решения уравнения , затем проверить, есть ли среди них вектор высоты 2.
Это можно сделать домножив каждый из них наесли какой-то из них не равен 0, то он будет являться вектором высоты 2.
Сначала найдем решения уравнения .
Для этого сначала посчитаем :
Запишем систему в матричном виде:
Упростим систему воспользовавшись эквивалентными преобразованиями матриц:
Осталось найти решения такой системы:
Ранг матрицы равен 2, поэтому нам нужно найти 2 линейно-независимых вектора, которые и будут составлять базис корневого подпространства.
Возьмем 2 любых линейно-независимых вектора:
Домножим каждый из них на . Если среди них есть вектор высоты 2, то он должен перейти в вектор высоты 1, а другой должен перейти в 0.
Оба вектора оказались векторами высоты 2, но базис должен состоять из вектора высоты 1 и высоты 2, чтобы выглядеть как жорданова клетка. Глядя на них, видно, что , и линейно зависимы.
Базис найден, но...
Мы нашли 2 различных корневых вектора высоты 2:
и . Значит с каждым из них можно составить базис, в котором матрица A жорданова(Это мы проверим позже).
Главное - чтобы векторы были в таком порядке, чтобы
вектор высоты , переходил в вектор высоты , лежащем в том же циклическом подпространстве. Тогда сужение A(в жордановом базисе) на это циклическое подпространство будет выглядеть, как жорданова клетка.
Теперь найдем базис корневого подпространства
Подпространство размерности 2, поэтому будем действовать так же, как и в предыдущем случае: сначала узнаем количество корневых векторов высоты 2.
Найдем решения уравнения :
Запишем систему в матричном виде:
Упростим систему воспользовавшись эквивалентными преобразованиями матриц:
Осталось найти решения такой системы:
Ранг матрицы равен 2, поэтому нам нужно найти 2 линейно-независимых вектора, которые и будут составлять базис корневого подпространства.
Возьмем 2 любых линейно-независимых вектора:
Домножим каждый из них на . Если среди них есть вектор высоты 2, то он должен перейти в вектор высоты 1, а другой должен перейти в 0.
Следовательно оба вектора высоты 1. Поэтому жорданова форма сужения на подпространство будет состоять из двух клеток порядка 1.
Теперь можно спокойно привести матрицу к ЖНФ
Мы знаем, что матрица состоит из 3 жордановых клеток: , и
Давайте проверим, что базисы корневых подпространств могут быть разными:
Можно вспомнить, что для мы нашли 2 различных корневых вектора высоты 2: и . Давайте приведем матрицу к двум различным жордановым базисам, но к одной форме(матрицы выглядят одинаково, а базисы разные).
Запишем матрицу в двух базисам и проверим, что эти матрицы действительно являются Жордановыми нормальными формами матрицы .
Первый базис:
Как мы знаем, порядок корневых векторов важен: если вектор высоты 2 переходит в вектор высоты 1, то вектор высоты 2 должен идти сразу после вектора высоты 1. Порядок векторов принадлежащих различным циклическим подпространствам не важен(мы можем менять жордановы клетки местами).
Проверим это кодом. Заметим, что если , то . Будем проверять последнее выражение, так как в первом нужно считать обратную матрицу, при вычислении которой появляется погрешность из-за вычислений с плавающей запятой.
Код:
import numpy as np
A = np.matrix([[0, -6, -7, -9], [1, 5, 3, 4], [0, 0, 4, 2], [0, 0, -1, 1]])
J = np.matrix([[3, 1, 0, 0], [0, 3, 0, 0], [0, 0, 2, 0], [0, 0, 0, 2]])
base_vectors = np.matrix([[-2, 1, 0, 0], [1, -1, 2, -1], [0, 1, 3, -3], [1, 0, 1, -1]])
print(A * base_vectors.T)
print(base_vectors.T * J)
print(base_vectors.T * J == A * base_vectors.T)
Вывод:
[[-6 1 0 2]
[ 3 -2 2 0]
[ 0 6 6 2]
[ 0 -3 -6 -2]]
[[-6 1 0 2]
[ 3 -2 2 0]
[ 0 6 6 2]
[ 0 -3 -6 -2]]
[[ True True True True]
[ True True True True]
[ True True True True]
[ True True True True]]
Второй базис:
Упорядочив вектора мы получаем:
Код:
import numpy as np
A = np.matrix([[0, -6, -7, -9], [1, 5, 3, 4], [0, 0, 4, 2], [0, 0, -1, 1]])
J = np.matrix([[3, 1, 0, 0], [0, 3, 0, 0], [0, 0, 2, 0], [0, 0, 0, 2]])
base_vectors = np.matrix([[2, -1, 0, 0], [1, 0, -2, 1], [0, 1, 3, -3], [1, 0, 1, -1]])
print(A * base_vectors.T)
print(base_vectors.T * J)
print(base_vectors.T * J == A * base_vectors.T)
Вывод:
[[ 6 5 0 2]
[-3 -1 2 0]
[ 0 -6 6 2]
[ 0 3 -6 -2]]
[[ 6 5 0 2]
[-3 -1 2 0]
[ 0 -6 6 2]
[ 0 3 -6 -2]]
[[ True True True True]
[ True True True True]
[ True True True True]
[ True True True True]]
Дополнительная литература
Э. Б. Винберг - Курс алгебры. (Тут можно почитать про циклические подпространства и разложение в сумму циклических подпространств. Книга по алгебре, поэтому тут многие вещи считаются очевидными и опускаются. Интересная часть про функции от линейного оператора, в которой рассматривается матричная экспонента и решение систем однородных линейных уравнений)
В. В. Прасолов - Задачи и теоремы линейной алгебры. (Интересные задачи с решениями. В доказательствах иногда опускаются некоторые ''очевидные'' вещи. Есть много всего интересного, но сложного для неподготовленного читателя. Рассматриваются другие нормальные формы)
А. А. Гайфуллин, А. В. Пенской, С. В. Смирнов - Задачи по линейной алгебре и геометрии
(Тут рассматривается ЖНФ с более прикладной точки зрения. Содержит разборы типовых задач.)В. М. Мануйлов - Линейная алгебра и геометрия(Конспект лекций Мехмата МГУ)
(Наиболее понятное объяснение ЖНФ из выше перечисленных, по моему мнению. Также можно посмотреть видеозаписи лекций на teach-in.ru
mikko_kukkanen
Есть ли какой-нибудь пример реальной задачи, в которой может пригодиться Жорданова форма?
RodNik101 Автор
Честно говоря, я не знаю никакого прикладного применения(с точки зрения решения задач на компьютере). Мне кажется, что это не очень хороший способ решения ЛНДУ(да и каких-либо задач), так как вычислительная устойчивость в любом случае будет плохая, так как проблемы могут быть везде: от собственных чисел и координат корневых векторов, до вычисления обратной матрицы(как в примере). Если с обратной матрицей и с базисными векторами еще можно что-то придумать, то с собственными числами уже ничего не сделать.
Но я не могу сказать, что я эксперт по численным методам, поэтому если я не прав, и применения есть, то я буду очень рад об этом узнать))
mikko_kukkanen
Тут и возникает вопрос, озвученный одним уважаемым человеком. В универе преподают множество "фишек", которые потом оказываются бесполезными. А вещи полезные (типа работы с разреженными матрицами) не преподаются. К сожалению, Жорданова форма пока не находит широкого применения, и это снижает интерес к теме Вашей публикации. Возможно, я ошибаюсь.
У Вас в статье есть "косяки" типа
Непонятно, что такое id. Похоже, единичная матрица? Обозначение неожиданно образовалось.
RodNik101 Автор
Это довольно распространенное обозначение тождественного линейного оператора. "Красивыми" буквами обозначаются операторы, а обычными их матрицы, поэтому писать тут матрицу - это не очень хорошая идея
mikko_kukkanen
Просто этот символ заранее не описан, просто неожиданно возникает. И к чему здесь операторы? Можно остаться в рамках матриц и не усложнять.
RodNik101 Автор
Я добавил определение, спасибо, что указали. Надеюсь кому-то от этого станет понятнее)
Мне кажется, что писать в матрицах - это плохая идея, так как смысл ЖНФ заключается в том, чтобы перевести оператор из одного базиса в другой. Это позволяет нам говорить о подобии матриц(принадлежности одному оператору).
Операторы все-таки более общая вещь, которая не зависит от базиса. И уже ее матрица имеет определенный вид в конкретном базисе.
Так можно сделать, и это не нарушит верности утверждений, но мне кажется, что нужно уметь писать в операторах, чтобы понимать, что матрица - это лишь способ записать оператор.
RodNik101 Автор
Если говорить про применение, то так можно сказать про большинство математики(да и про всю математику целиком, так как она появилась раньше компьютеров), но это не значит, что она не имеет смысла.
RodNik101 Автор
Но если смотреть с точки зрения программирования, то ЖНФ и правда не очень полезная вещь. Поэтому я и поставил только "Математика" в хабах.
mikko_kukkanen
Это, конечно, правильно. Возможно, время наступит.
akakoychenko
В мою бытность жорданова форма была ещё как полезна) Как-то раз было объявлено негласное правило, что, если на экзамене запахло перездачей, согласно ответам на вопросы билета, то можно было попросить матрицу на жорданизацию, и, в случае успеха, получить 3. Много двоечников тогда спаслись...
MasterMentor
ЖНФ - лишь инструмент, как и другие инструменты. Для решения одних задач на компьютере нужна, для других - нет:
PS Рекомендую заглянуть в материал по ссылке, там тоже коротенькие и простые объяснения по теме ЖНФ.