解：$(1)$由$ρ=\frac {m}{V}$可知，桶中水的体积：$V_{水}=\frac {m_{水}}{ρ_{水}}=\frac {20\ \mathrm {kg}}{1.0×10^3\ \mathrm {kg/m^3}}=0.02\ \mathrm {m^3}；$
由于桶中装满了水，所以桶的容积$V_{桶}=V_{水}=0.02\ \mathrm {m^3}；$
$(2)$空桶装满沙石，沙石的体积$V_{沙石}=V_{桶}=0.02\ \mathrm {m^3}；$
沙石的密度：$ρ_{沙石}=\frac {m_{沙石}}{V_{沙石}}=\frac {54\ \mathrm {kg}}{0.02\ \mathrm {m^3}}=2.7×10^3\ \mathrm {kg/m^3}；$
$(3)$由$ρ=\frac {m}{V}$可知，建筑工地沙石的总质量：
$m_{总}=ρ_{沙石}\ \mathrm {V}_{总}=2.7×10^3\ \mathrm {kg/m^3}×50\ \mathrm {m^3}=1.35×10^5\ \mathrm {kg}=135\ \mathrm {t}；$
则至少要运的数量：$n=\frac {135\ \mathrm {t}}{4\ \mathrm {t}}≈34$
