针对新生儿低烧37.4℃的情况，可以采取物理降温的方式治疗。比如可以在额头部位贴退热贴，也可以用温热的毛巾擦拭新生儿腋下、额头、腹股沟、手心等部位，能起到快速降温的作用。

物理降温的同时要积极关注体温变化，如果温度持续性升高超过38.5℃，要适当服用退烧药物，比如乙酰氨基酚、小儿清热宁等，避免长时间高热影响大脑健康。

造成新生儿发烧也可能是病毒感染引起，可以根据具体病因适当服用抗病毒口服液，有助于完全康复。