Рассмотрим уравнение кривой второго порядка: $$a_{11}x^{2}+2a_{12}xy+a_{22}y^{2}+2a_{1}x+2a_{2}y+a=0.$$ Запишем её в виде: $$\left(\begin{array}{ccc} x & y & 1\end{array}\right)\left(\begin{array}{ccc} a_{11} & a_{12} & a_{1}\\ a_{12} & a_{22} & a_{2}\\ a_{1} & a_{2} & a \end{array}\right)\left(\begin{array}{c} x\\ y\\ 1 \end{array}\right)=\left(\begin{array}{ccc} x & y & 1\end{array}\right)A_{3}\left(\begin{array}{c} x\\ y\\ 1 \end{array}\right)=0.$$
В данном уравнении можно выделить слагаемые второй степени по переменным — $a_{11}x^{2}+2a_{12}xy+a_{22}y^{2}$ и при помощи матрицы $$A_{2}=\left(\begin{array}{cc} a_{11} & a_{12}\\ a_{12} & a_{22} \end{array}\right)$$ записать уравнение в виде $$a_{11}x^{2}+2a_{12}xy+a_{22}y^{2}=\left(\begin{array}{cc} x & y\end{array}\right)A\left(\begin{array}{c} x\\ y \end{array}\right).$$
Рассматривая матрицу поворотов $$S=\left(\begin{array}{cc} \cos\alpha & -\sin\alpha\\ \sin\alpha & \cos\alpha \end{array}\right),$$ то при соответствующем угле $\alpha$ и в случае, когда $$\det\left(\begin{array}{cc} a_{11} & a_{12}\\ a_{12} & a_{22} \end{array}\right)=\delta\neq0$$ можно привести матрицу $A$ к диагональному виду: $$S^{-1}A_{2}S=A_{2}'=\left(\begin{array}{cc} a'_{11} & 0\\ 0 & a'_{22} \end{array}\right),$$ а если $\delta=0,$ то к виду $$A_{2}'=\left(\begin{array}{cc} 0 & 0\\ 0 & a'_{22} \end{array}\right).$$
Так как для матрицы поворотов выполнены тождества $S^{-1}=S^{T}$ и $\det S=1,$ а для следа $tr\left(AB\right)=tr\left(BA\right)$, то выполняются тождества для соответствующего определителя
$$\det A'=\det\left(S^{-1}AS\right)=\det A$$ следа матрицы $$trA'=tr\left(S^{-1}\left(AS\right)\right)=tr\left(\left(AS\right)S^{-1}\right)=tr\left(A\right).$$
Если рассматривать не только повороты, но и трансляции, то преобразования вектора $$\left(\begin{array}{c} x\\ y\\ 1 \end{array}\right)$$ будет задаваться матрицей:
$$T=\left(\begin{array}{ccc} \cos\alpha & -\sin\alpha & x_{0}\\ \sin\alpha & \cos\alpha & y_{0}\\ 0 & 0 & 1 \end{array}\right)$$ — его определитель так же единичный.
Таким образом, зная, что при помощи поворотов и трансляций кривая второго порядка сводится к одному из каноническому виду, следовательно, подбором соответствующей матрицы $T$ мы перейдём от кривой, задаваемой матрицей $A_{3}$ к каноническому виду, задаваемой матрицей $A'_3$. При этом у матрицы $$A_{3}=\left(\begin{array}{ccc} a_{11} & a_{12} & a_{1}\\ a_{12} & a_{22} & a_{2}\\ a_{1} & a_{2} & a \end{array}\right)$$ и $A'_3$ имеются следующие инварианты:
$$I=trA_{2}=a_{11}+a_{22},$$
$$\delta=\det A_{2}=a_{11}a_{22}-a_{12}^{2},$$
$$\Delta=\det A_{3}=\det=a_{11}a_{22}a+2a_{12}a_{1}a_{2}-a_{22}a_{1}^{2}-a_{11}a_{2}^{2}-a_{12}^{2}a.$$
Переход к каноническому виду.
1. Если $\delta\neq0,$ то по двум уравнениям $I=trA_{2}=a'_{11}+a'_{22},$
$\delta=\det A_{2}=a'_{11}a'_{22}$ построим $I=a'_{11}+a'_{22}=a'_{11}+\frac{\delta}{a'_{11}}$ квадратное уравнение
$\left(a'_{11}\right)^{2}-Ia'_{11}+\delta=0$ с решением $$a'_{11}=\frac{1}{2}\left(I\pm\sqrt{I^{2}-4\delta}\right)$$ так, что $$a'_{22}=I-a'_{11}=\frac{1}{2}\left(I\mp\sqrt{I^{2}-4\delta}\right).$$
Свободный член $a'$ найдём из отношения определителей $$a'=\frac{\Delta}{\delta}.$$ Если $a'=\frac{\Delta}{\delta}<0,$ а $I,\delta>0,$ то получается эллипс.
В качестве канонического вида для эллипса большая полуось направлена по оси $OX,$ тогда
$$a'_{11}=\frac{1}{2}\left(I-\sqrt{I^{2}-4\delta}\right),a'_{22}=\frac{1}{2}\left(I+\sqrt{I^{2}-4\delta}\right).$$
Если $a'=\frac{\Delta}{\delta}<0,$ а $I,\delta<0,$ то — гипербола.
Угол поворота найдём из $$\text{tg}\alpha=\frac{a'_{11}-a_{11}}{a_{12}}$$ и $$\cos\alpha=\pm\frac{1}{\sqrt{\text{tg}^{2}\alpha+1}}, \ \ \sin\alpha=\pm\frac{\text{tg}\alpha}{\sqrt{\text{tg}^{2}\alpha+1}},$$
а смещение координат из решения системы уравнений:
$$\left(\begin{array}{ccc} a_{11} & a_{12} & a_{1}\\ a_{12} & a_{22} & a_{2} \end{array}\right)\left(\begin{array}{c} x_{0}\\ y_{0}\\ 1 \end{array}\right)=\left(\begin{array}{c} 0\\ 0 \end{array}\right)$$
Вывод матрицы поворота
Решения $a'_{11}$ и $a'_{22}$ можно получить при помощи поиска корней характеристического уравнения $$|A-\lambda E|=0,$$ где $E$ — единичная матрица, действительно $$|A-\lambda E|=\left|\begin{array}{cc} a_{11}-\lambda & a_{12}\\ a_{12} & a_{22}-\lambda \end{array}\right|=\left(a_{11}-\lambda\right)\left(a_{22}-\lambda\right)-a_{12}^{2}=\lambda^{2}-\lambda I+\delta=0.$$
Как видим пришли к тому же квадратному уравнению, как и раньше. У квадратного уравнения имеется два корня $$\lambda_{1}=\frac{1}{2}\left(I+\sqrt{I^{2}-4\delta}\right),\lambda_{2}=\frac{1}{2}\left(I-\sqrt{I^{2}-4\delta}\right).$$
В качестве решения $a'_{11}$ стоит выбирать $\lambda_{i}$ с минимальным по модулю значением $\min\left(|\lambda_{1}|,|\lambda_{2}|\right)$.
Для корней находятся собственные вектора:
$$\left(\begin{array}{cc} a_{11} & a_{12}\\ a_{12} & a_{22} \end{array}\right)\left(\begin{array}{c} x_{i}\\ y_{i} \end{array}\right)=\lambda_{i}\left(\begin{array}{c} x_{i}\\ y_{i} \end{array}\right)$$ так, что
$$a_{11}x_{i}+a_{12}y_{i}=\lambda_{i}x_{i}$$ в итоге $$y_{i}=\frac{\lambda_{i}-a_{11}}{a_{12}}x_{i}=\frac{\frac{1}{2}\left(I\pm\sqrt{I^{2}-4\delta}\right)-a_{11}}{a_{12}}x_{i}.$$
Отношение для проекций собственного вектора $\frac{y_{i}}{x_{i}}$ определяет его тангенс наклона $$\text{tg}\alpha=\frac{\lambda_{i}-a_{11}}{a_{12}}.$$
Но мы получили даже больше чем обоснование для вычисления угла поворота для орты. Теперь, минуя промежуточное вычисление тангенса угла, можно сразу записать матрицу поворота. Для этого сначала запишем новую орту по выбранному собственному вектору $(x_i,y_i)^T$. Для него мы уже нашли, что $$x_{i}=\frac{\lambda_{i}-a_{22}}{a_{12}}y_{i}=\frac{a_{11}-a_{22}\pm\sqrt{I^{2}-4\delta}}{2a_{12}}y_{i}.$$
Нормируем вектор $$x_{i}^{2}+y_{i}^{2}=x_{i}^{2}\left(1+\left(\frac{\lambda_{i}-a_{22}}{a_{12}}\right)^{2}\right)$$ и, положив $x_{i}=a_{12}$ получим сначала первую орту: $$ \vec{e}'_1=\left(\frac{a_{12}}{\sqrt{a_{12}^{2}+\left(\lambda_{i}-a_{22}\right)^{2}}}, \ \ \frac{\lambda_{i}-a_{22}}{\sqrt{a_{12}^{2}+\left(\lambda_{i}-a_{22}\right)^{2}}}\right), $$ а затем и вторую, учитывая их ортогональность: $$ \vec{e}'_2=\left(-\frac{\lambda_{i}-a_{22}}{\sqrt{a_{12}^{2}+\left(\lambda_{i}-a_{22}\right)^{2}}}, \ \ \frac{a_{12}}{\sqrt{a_{12}^{2}+\left(\lambda_{i}-a_{22}\right)^{2}}}\right). $$ С их помощью построим матрицу поворота: $$H=\left(\begin{array}{cc} \frac{a_{12}}{\sqrt{a_{12}^{2}+\left(\lambda_{i}-a_{22}\right)^{2}}} & -\frac{\lambda_{i}-a_{22}}{\sqrt{a_{12}^{2}+\left(\lambda_{i}-a_{22}\right)^{2}}}\\ \frac{\lambda_{i}-a_{22}}{\sqrt{a_{12}^{2}+\left(\lambda_{i}-a_{22}\right)^{2}}} & \frac{a_{12}}{\sqrt{a_{12}^{2}+\left(\lambda_{i}-a_{22}\right)^{2}}} \end{array}\right).$$