胆脂瘤的患者不一定是非要更换听小骨。但是如果听小骨出现严重的侵蚀，丧失功能时，就有必要予以更换。

胆脂瘤虽然属于一种良性的疾病，但是本身具有一定的侵蚀性。如果病情严重，且长期不治疗，就有可能会侵蚀到胆脂瘤周围的组织或软骨，使其出现结构损坏或功能丧失。

如果听小骨受到胆脂瘤的侵蚀，出现了不可逆性的损害或功能的严重丧失，就有必要进行手术将其切除并予以更换。具体的病情需要结合具体的症状来对症处理。