第五琦因善于理财被任命为江淮租庸使，房琯进谏道：“从前杨国忠搜刮盘剥，使天下怨恨；如今陛下登基，尚未施行德政，便又宠信第五琦。这是一个杨国忠死了，另一个杨国忠又产生了，恐怕难以让天下安心。”唐肃宗道：“我正紧急调集军队，没有钱财军队就会溃散。你可以厌恶第五琦，但哪里去弄钱财呢？”房琯无言以对。