总之就是Ceph没有成功把SSD识别成HDD，所以需要修改一下。
首先把这个osd给out了：

root@SH-2003:~# ceph osd out 43

marked out osd.43.

然后将原有的class信息删除：

root@SH-2003:~# ceph osd crush rm-device-class 43

done removing class of osd(s): 43

最后写入新的class信息：

root@SH-2003:~# ceph osd crush set-device-class ssd 43

set osd(s) 43 to class 'ssd'

搞定了，恢复即可