解:$(1)$∵$a$,$b$异号
∴可分两种情况讨论:
$①$当$a>0$,$b<0$时
则$\frac {|a|}a+\frac {|b|}{b}=\frac {a}{a}+\frac {-b}{b}=1-1=0 $
$②$当$a<0$,$b>0$时
则$\frac {|a|}{a}+\frac {|b|}{b}=-1+1=0$
故$\frac {|a|}a+\frac {|b|}{b}$的值为$0$
$(2)$∵$|a|=3$,$|b|=1$,且$a>b$
∴$a=3$,$b=1$或$b=-1$
则$a+b$的值为$2$或$4$