宝宝发烧37.5℃想要退烧，要及时采取以下物理降温措施：

1.宝宝发烧37.5℃属于低烧，此时可以给宝宝的额头上贴上冰贴，贴上冰贴能起到退烧的作用。

2.宝宝较小末梢循环功能较差，在发生低烧或者高烧的时候，小孩的手心和脚心都可能会有冰凉的现象，这时可以使用温水浸泡小孩的双脚和双手，而且可以进行局部按揉，可以增加血容量辅助退烧。

3.可以给小孩适当饮水，因为发生低烧的时候会导致小孩有出汗的现象，适当饮水可以促进身体血液循环，能辅助退烧，同时也能防止小孩有脱水的现象。

小孩出现发烧37.5℃的情况时，应采取物理降温，此时不属于高烧，不需要使用退烧药物。