Здравствуйте.
Программа без проблем работает с матрицами, включающими в себя символы.
Вот результат работы с Вашим заданием:
[MATH]det(mat(1-x;2;3;4;3-x;5;1;2;3-x;3;3))—{((1-x)*(3-x)-8)*((1-x)*(3-x)-3)+2*x*((1-x)*5-12)}/{1-x}[/MATH]
Думаю вся проблема в том, что вместо символьного вычисления (Ctrl+. или кнопка "->") Вы попытались получить численный ответ ("=").