建设银行不退还手续费

3月11号左右在建设银行网上银行汇款到交通银行（同为上海本地）5000元，建设银行收取手续费25元，3小时后建设银行短信告知退汇，但手续费未退，我再次汇款又发生了25元手续费。问客服人员，他们讲因为交易已经发起所以手续费不退，但我无法理解款未汇到但还要收我手续费，也不知这个费用收取是符合哪个条款，是否属于合法收费。为什么有的银行退汇时是退手续费的。