Подключаешь библиотеку для работы с матрицами, векторами и всем прочим: "with(LinearAlgebra);"
Задаёшь массив, например, в ручную: "A:=<<1|2|0>,<0|2|0>,<0|0|3>>;" (Здесь "," разделяет строки, а "|" - столбцы)
Дальше проще:
Определитель берётся как просто модуль: "|A|;"
Перемножение матриц - это символ точка: "A.B;"
Транспонирование: "Transpose(A);"
Решение уравнения вида Ax=b, где А - матрица n на m, x и b - вектора размерности m и n соответственно: "LinearSolve(A,b);"