Найдите косинус угла между плоскостями квадрата ABCD и ...

Сергей

В условии явно не отобразилось √2 при значении диагонали. .  

Правильное условие задачи:
Найдите косинус угла между плоскостями квадрата ABCD и равностороннего треугольника ABM, если диагональ квадрата равна 4√2 см и расстояние от точки M до стороны DC равно 5 см.

Решение. (см. рисунок 1) 
Диагональ квадрата делит его на два равных прямоугольных треугольника с острым углом 45°. Поэтому сторона квадрата равна АВ=4√2•sin 45°=4 (cм).

Искомый угол - угол между высотой МН правильного треугольника АМН  и отрезком КН, проведенными перпендикулярно к середине  АВ. 
МН= АВ•sin60°=4•√3/2=2√3 

Расстояние от точки до прямой - длина отрезка, проведенного из данной точки перпендикулярно к прямой. 
По т. о трёх перпендикулярах МК ⊥ - ⇒ это расстояние от М до CD, равное 5 см. По т.косинусов  
cos∠MHK=(KM²-KN²+MH²):(-2•KH•MH)

cos∠MHK=(25- 16-12):(-2•4•2√3)=√3/16
              * * *
Решение по данному в вопросе условию: 
Если диагональ квадрата равна 4 см,  то, т.к. она делит квадрат на два равных прямоугольных равнобедренный с острым углом 45°,  его сторона равна 4•sin45°=2√2. 
Искомый угол - угол между перпендикулярами, проведенными в каждой плоскости к одной точке на стороне АВ. (на линии их пересечения), т.е. это угол между высотой МК треугольника АМВ и отрезком КН, проведенным через  середины сторон АВ и СD квадрата, т.к. МК⊥АВ, и НК⊥АВ.
  АВ - общая для квадрата и равностороннего треугольника, и 
МК=АВsin 60°=2√2•√3/2=√6
Расстояние от точки до прямой - длина отрезка, проведенного из данной точки перпендикулярно к прямой. 
Т.к. КН ⊥СD,  то по т. о трех перпендикулярах  МК⊥CD, ⇒ МК=5.
По т.косинусов из ∆ МКН 
cos ∠MKH=(MH²-MK²-KH²)² (- 2MK•KH)
cos ∠MKH=(25-8-6): (-2•2√12)
cos ∠MKH= -11/8√3= - 0,7939 Это косинус тупого угла. 
По данному решению рисунок в приложении 2.