許敬宗這時又在一旁煽風(fēng)點火道：“這樣的官員，實在是罪不容誅啊！”

這下徹底鬧翻了，本來高宗想大治他，后來武則天想到這畢竟是一位新起用的官員，而且本來也沒有什么事情，罪不至死，于是只是下令免了他的宰相一職，貶到虔（今江西贛州）做刺史罷了。而且，他的兩個兒子也被免了官。這一件莊稼引發(fā)的糾紛讓許圉師付出了不相匹配的代價。

還有一個人，武則天其實一直以來想要收拾的，是那個為她辦過許多事情的李義府。這個人本來可以穩(wěn)穩(wěn)地坐好他的地兒，可是他太不老實了，武則天知道這是個不折不扣的小人，一直到她實在不能再容忍下去了，李義府被徹底治罪。

龍朔三年（663年）的時候，李義府正做右相典選，這是一個專門選拔官員的活兒，可以說是一個肥得流油的差事，他倒也會鉆營，在其位“謀”其事，專門做些買官賣官的事兒，對于那些經(jīng)他手的官員選拔，不看政績，只看金錢，一時間弄得大臣頗為不滿，百姓怨聲載道。這之前武則天和高宗都警告過他，可是他仍不往心里去，權(quán)作左耳聽右耳出。這讓高宗頗為生氣。

李義府素來人品不怎么樣，也得罪了不少人，就在這時候，有人瞧準(zhǔn)了，整治他的時機到來了。

有一個自稱為杜元紀(jì)的方士，這一天來到李義府的府上求見，神秘兮兮地對他說：“你的府第有獄氣啊，如果想消除這災(zāi)禍，得用20萬緡來抵消。”

本來李義府對這話是將信將疑的，可是看著杜元紀(jì)自信的樣子，就寧可信其有不可信其無。這一來，他還真的想方設(shè)法四處斂財，越發(fā)的放縱無度了。