小孩子体温测出来是37.5℃是否算发烧，需要看选择的哪一种测量方式。如果是对小孩子的肛门温度进行测量，此时的体温为37.5℃并不算发烧，属于正常的表现。超过了37.6℃才算发烧，但也需要随时进行监测。

但如果对小孩子的口腔温度和腋窝温度进行测量，体温达到了37.5℃就属于发烧，属于中低烧，需要采取物理降温法进行缓解。可以用沾了温水的毛巾，对小孩子的手心、脚心和腋窝等部位进行擦拭。还需要坚持少量多次饮水，并且要注意在平时避免给小孩穿得过厚。