些以宣陵孝子为名被任命为太子舍人的，统统改任丞尉。但却引来了被弹劾官宦的嫉恨。
灵帝即位不久，常有雷霆疾风，伤树拔木，地震、冰雹、蝗虫为害，而鲜卑又侵犯边境。灵帝问群臣造成怪异现象的原因。群臣都守口如瓶，不肯尽心。蔡邕上奏，认为妇人、宦官干预政事，是怪异发生的原因之一，并弹劾太尉张颢、光禄勋玮璋、长水校尉赵玹、屯骑校尉盖升等人贪赃枉法，又举荐廷尉郭禧、光禄大夫桥玄、前任太尉刘宠，建议向他们咨议朝政。
灵帝看了奏章很是叹息，起身如厕时，奏章被曹节在后偷看，致使内容泄漏。被弹劾的人都非常恨他，企图打击报复，中常侍程璜使人匿名诬告蔡邕。灵帝因此下诏质问。蔡邕上疏为自己辩白，但由于得罪人过多，都在灵帝面前说他坏话，终被打入监牢，判“弃市”极刑。中常侍吕强怜悯蔡邕无辜，替他向灵帝求情，灵帝也想起了蔡邕之前奏章的话，下诏将他免死，与家属被流放至五原安阳县，不得因赦令而免罪。灵帝因蔡邕才高望重，正好次年大赦，赦免蔡邕，准许返回原籍。蔡邕自从放逐到被赦免，历时九个月。
蔡邕正准备启程回归故里时，五原太守王智为他送行。酒行数巡，王智起舞劝蔡邕，蔡邕不理。王智是中常侍王甫的弟弟，本就很骄横，丢了面子为宾客所嘲笑，就破口骂蔡邕说：“罪犯也敢轻侮我！”蔡邕甩袖而去。王智非常恨他，于是密告蔡邕心怀怨恨，诽谤朝廷。灵帝宠幸的人也都诬陷他，蔡邕害怕无法幸免，于是逃命江海，远走
十应催诏蔡邕官升三阶，讨奸贼曹操檄召诸候(5/11)