$解：由题意，得关于x，y的方程组\begin{cases}{2x+y=-2}\\ {ax+by=-4}\end{cases}和\begin{cases}{3x-y=12}\\ {bx+ay=-8}\end{cases}的解也是方程组$
$\begin{cases}{ax+by=-4}\\ {bx+ay=-8}\end{cases}和\begin{cases}{2x+y=-2}\\ {3x-y=12}\end{cases}的解，解方程组\begin{cases}{2x+y=-2}\\ {3x-y=12}\end{cases}得\begin{cases}{x=2}\\ {y=-6}\end{cases}$
$把\begin{cases}{x=2}\\ {y=-6}\end{cases}代入方程组\begin{cases}{ax+by=-4}\\ {bx-ay=-8}\end{cases}得\begin{cases}{2a-6b=-4}\\ {2b-6a=-8}\end{cases}$
$解得，\begin{cases}{a=\frac{7}{4}}\\ {b=\frac{5}{4}}\end{cases}$
$∴(5a+b)^2=(5×\frac{7}{4}+\frac{5}{4})^2=10^2=100$
