Рассматривается пространство квадратных матриц порядка $n$, и каждой паре матриц сопоставлено число: 1) $F(X,Y) = \operatorname{tr} XY$; 2) $F(X,Y) = \operatorname{tr} X \operatorname{tr} Y$; 3) $F(X,Y) = \det XY$.
Может ли такая функция быть принята за скалярное произведение?
Напомним, что скалярное произведение в вещественном линейном пространстве должно удовлетворять трём аксиомам: билинейности, симметричности и положительной определённости. Проверим каждую из предложенных функций.
Симметричность: $\operatorname{tr}(XY)=\operatorname{tr}(YX)$, поэтому $F(X,Y)=F(Y,X)$. Билинейность: след линеен, а умножение матриц билинейно, следовательно, $F$ линейна по каждому аргументу. Положительная определённость: нужно, чтобы $F(X,X)=\operatorname{tr}(X^2) \ge 0$ для всех $X$ и $\operatorname{tr}(X^2)=0$ только при $X=0$. При $n\ge 2$ это не так. Например, при $n=2$ возьмём $$ X = \begin{pmatrix} 0 & 1 \\ 0 & 0 \end{pmatrix}. $$ Тогда $X^2=0$, откуда $\operatorname{tr}(X^2)=0$, но $X\neq 0$. Другой пример: $$ X = \begin{pmatrix} 0 & 1 \\ -1 & 0 \end{pmatrix}, $$ имеем $X^2 = \begin{pmatrix} -1 & 0 \\ 0 & -1 \end{pmatrix}$, $\operatorname{tr}(X^2) = -2 < 0$. Таким образом, условие положительной определённости не выполнено. Следовательно, $F(X,Y)=\operatorname{tr}(XY)$ не может быть скалярным произведением (при $n\ge 2$; при $n=1$ все три функции совпадают с обычным произведением чисел и являются скалярными произведениями).
Симметричность и билинейность очевидны, так как след линеен, а произведение чисел коммутативно. Положительная определённость: $F(X,X)=(\operatorname{tr} X)^2 \ge 0$, но равенство нулю возможно и для ненулевых матриц. Например, для $n=2$ возьмём $$ X = \begin{pmatrix} 1 & 0 \\ 0 & -1 \end{pmatrix}. $$ Тогда $\operatorname{tr} X = 0$, поэтому $F(X,X)=0$, хотя $X\neq 0$. Следовательно, аксиома положительной определённости нарушена. Таким образом, $F(X,Y)=\operatorname{tr} X \operatorname{tr} Y$ не является скалярным произведением (за исключением тривиального случая $n=1$).
Билинейность не выполняется уже для $n\ge 2$. Например, при $n=2$ возьмём $X_1 = X_2 = Y = I$ (единичная матрица). Тогда $$ F(X_1+X_2, Y) = \det(2I \cdot I) = \det(2I) = 4, $$ $$ F(X_1,Y)+F(X_2,Y) = \det I + \det I = 1+1=2, $$ и $4 \neq 2$. Нарушена линейность по первому аргументу. Кроме того, даже если бы билинейность была (чего нет), положительная определённость также отсутствует: для любой вырожденной матрицы $X$ (например, с нулевым определителем) $F(X,X)=\det(X^2)=0$, но $X\neq 0$. Таким образом, при $n\ge 2$ функция $F(X,Y)=\det(XY)$ не может служить скалярным произведением.
При $n=1$ все три функции совпадают с $F(x,y)=xy$ и являются скалярными произведениями. При $n\ge 2$ ни одна из указанных функций не удовлетворяет аксиомам скалярного произведения.