在他同僚眼中，余子俊近年來出了太多的風(fēng)頭，可謂青云直上。當(dāng)然，在對他指責(zé)的同僚中，有些人的意見的確中肯，建設(shè)長城有利有弊，利的一方面已經(jīng)得到驗證，但弊端也不可輕視，那就是征集民工和錢財上面，倘若沒有余子俊這樣高尚風(fēng)格一心為公的人以身作則親自督促，這樣的工程無疑是得不償失的。

朝廷中開始流言蜚語，有人認(rèn)為余子俊所以屢提建設(shè)長城的工程，是因為想從中獲取暴利，也有人說，余子俊是在用國家的錢為自己博得民心與名聲。

這樣的議論越來越多，最后便發(fā)展成書面材料擺在了憲宗皇帝的面前。憲宗皇帝看了所有的材料和聽了許多流言后，對余子俊突然深惡痛絕起來。就在這個時候，一個叫韋敬的宦官站了出來。他向憲宗皇帝進(jìn)讒言，說余子俊"假修邊多侵耗"，又說他"私恩怨，易將帥"。由于史料缺乏，我們不得而知韋敬的來歷和他為什么要扔石頭砸已經(jīng)落在井中的余子俊的原因。或許是他收了那些嫉恨余子俊朝臣的錢，又或許是，在皇帝身邊總要曲意逢迎，他見到憲宗皇帝已經(jīng)不喜歡余子俊，就落井下石，給憲宗懲治余子俊在心理上一個安慰與支持。

總之，他的確向余子俊扔出了一塊足以讓余子俊停止呼吸的石頭。憲宗皇帝令工部侍郎杜謙調(diào)查余子俊。杜謙的品德可圈可點，并且很有見識，他認(rèn)為余子俊不會有這么多道德瑕疵與違紀(jì)行為。在調(diào)查多日后，他交給了憲宗皇帝一份報告。報告中指出了韋敬扔的那兩塊石頭純粹就是誣陷。第一：余子俊的確有易置邊將的行為，但卻不是個人恩怨；第二：余子俊對修筑長城的費用分文未入私囊。

不過，杜謙雖然給余子俊還清白，卻不能不給余子俊以罪名，那就是他征集的工程費用和糧食都大大超出了皇帝的仁人愛物之心，所以，有罪。

憲宗皇帝雖然沒有捉到余子俊的那兩個罪名，但這個罪名就足以讓他有理由治余子俊的罪。他勒令余子俊退休?？梢姡嘧涌≈员或?qū)逐出朝廷，就是因為韋敬的那塊石頭。

如果不是韋敬的那塊石頭，憲宗皇帝不會下令追查此事。那么，余子俊征集工程費與糧食超標(biāo)的問題也不會暴露在光天化日之下。韋敬落井下石的誣陷所以能取得效果，是因為跟余子俊的工作有關(guān)。余子俊為大明帝國修筑長城，以鞏固國防，在一些人眼中，這樣的工作是大有可賺的。而余子俊在工作過程中為了完成工作難免要有些小瑕疵，這樣的小瑕疵在誣陷者的眼中就很容易被放大成為劣跡斑斑。但余子俊又不是那種避嫌而放棄為國效力的人，所以，他的被誣陷也就不可避免了。