解:$(1)$设购买一个甲种笔记本需$ x $元,购买一个乙种笔记本需$ y $元
由题意,得$ \{\begin{array}{l}x=y+5\\15x+20y=250\end{array},$解得$ \{\begin{array}{l}x=10\\y=5\end{array} $
∴购买一个甲种笔记本需$ 10 $元,购买一个乙种笔记本需$ 5 $元
$(2)$设购买$ m $个甲种笔记本,购买两种笔记本的总费用为$ n $元,则购买$ (35-m) $个乙种笔记本
由题意,得$ n=(10-2)m+5(35-m) ×0.8=4m+140,$且$ n \leqslant 250 ×90 \%,$
即$ 4m+140 \leqslant 250 ×90 \%,$解得$ m \leqslant 21 \frac {1}{4}$
∵$m $为自然数
∴$m $的最大值为$21,$且此时$n$取最大值,最大值为$4×21+140=224$
∴最多可以购买$21$个甲种笔记本,购买两种笔记本总费用的最大值为$224$元