不能喝栀子的人群如下：

首先是大便比较稀溏的人群，因为栀子含有纤维素，且性味苦寒，能够促进大小肠加速蠕动，促进大便和体内毒素的排出。

其次是血虚、血寒的人群，栀子性味苦寒，善清血中邪热，可以治疗血热妄行的病症，若血虚血寒的人群服用此药，必加重病症。

再者就是寒邪导致的咳嗽咳痰，虽然它主要成分可以抑制细菌的生长、稀释痰液，并且畅通气道，但它性味苦寒 ，有加重寒性咳嗽的危险。

总而言之，因本品苦寒，脾虚便溏者不宜用，过敏和体虚的人不能服用，肾阳不足者慎食栀子。