裕王朱载垕、景王朱载圳二王结婚要修邸第，工部尚书赵文华居然叫穷，说拿不出木材来，嘉靖皇帝当时心里就很生气；过了没多久，皇宫里发生了一场大火，损失很严重，嘉靖皇帝于是提出要修缮皇宫，赵文华还是说拿不出木材，两件事情加在一起，让嘉靖皇帝深恨赵文华；说起来，也是该赵文华倒霉，有一天，嘉靖皇帝闲来无事，登高远眺，他望见西长安街新盖一座“高耸入云”、“富丽堂华”的邸第，嘉靖皇帝半是羡慕、半是嫉妒的问道：”这是那家的邸第啊，盖的居然如此壮丽！“
太监们早就恨透了赵文华，于是”添油加醋“地说道：”这是赵文华家里的，怪不得他老说没有木材，原来都留给自己家里用了。“于是，嘉靖皇帝“勃然大怒”下旨谴责赵文华，并让他辞去工部尚书一职，严嵩虽然看不起赵文华那付暴发户嘴脸，然而，两人毕竟是一党，此时的严嵩颇有些”兔死狐悲“之感，“想方设法”让赵文华继续做工部尚书，然而，嘉靖皇帝这次已经下了决心，严嵩在这件事上亦“无能为力”。