>    restart;

Исходная кривая

>    z:=x^2+2*sqrt(3)*x*y-y^2+4*sqrt(3)*x+4*y-10;

z := x^2+2*3^(1/2)*x*y-y^2+4*3^(1/2)*x+4*y-10

>    with(LinearAlgebra):

Матрица кв.формы

>    A:=Matrix([[1,sqrt(3)],[sqrt(3),-1]]);

A := Matrix(%id = 2662212)

Матрица собственных векторов

>    B:=Eigenvectors(A)[2];

B := Matrix(%id = 10826448)

>    for i to 2 do #нормализуем

>    X0:=Column(B,i):

>    A||i:=Normalize(X0,Euclidean);od:

>    C:=Matrix([A2,A1]);

C := Matrix(%id = 11316012)

Новые переменные

>    X:=Vector([x_,y_]):

>    X1:=C.X;

X1 := Vector(%id = 2870216)

>    x:=X1[1];y:=X1[2];

x := 1/2*3^(1/2)*x_-1/2*y_

y := 1/2*x_+1/2*3^(1/2)*y_

Кривая в новых осях не содержит ху  

>    simplify(z);

2*x_^2-2*y_^2+8*x_-10