房屋租赁税是由出租人缴纳的。根据《中华人民共和国房产税暂行条例》的规定,房产税由产权所有人缴纳。产权属于全民所有的,由经营管理单位缴纳。产权出典的,由承典人缴纳。产权所有人、承典人不在房产所在地的,或者产权未确定及租典纠纷未解决的,由房产代管人或者使用人缴纳。因此,房屋租赁税应当由出租人(即产权所有人或使用人)在出租房屋时向房产管理部门缴纳。