其實(shí)在這之前，高宗已經(jīng)對(duì)李義府警告過(guò)，他曾對(duì)李義府說(shuō)：“聽(tīng)說(shuō)你兒子、女婿平時(shí)做事都不謹(jǐn)慎，有很多毛病被人不齒。我也為你掩蓋過(guò)，只是沒(méi)對(duì)你說(shuō)過(guò)罷了，你回去應(yīng)該好好說(shuō)說(shuō)他們，以后再也不要這樣了。”可是李義府心里頗不以為然，不但沒(méi)有悔過(guò)，反而向高宗發(fā)問(wèn)說(shuō)：“誰(shuí)向陛下說(shuō)的這些？”高宗說(shuō)：“只要我說(shuō)得對(duì)，你干嗎要問(wèn)我怎么知道的！”李義府拒不認(rèn)錯(cuò)，緩步而去，高宗居然也都容忍了。

這一次，高宗真不想再忍下去了，索性，把這兩個(gè)人全都貶走。武則天也覺(jué)得應(yīng)該殺一殺李義府的囂張氣焰了。李治下詔，將杜正倫貶為橫州（今廣西橫縣南）刺史，李義府被貶為普州（今四川安岳縣）刺史。

人走茶涼。就在李義府前腳被貶后，馬上就有人在后腳落井下石。一個(gè)是李崇德，馬上把李義府的名字從家譜上除去了。另外一個(gè)人，是吏部尚書(shū)唐臨。

吏部尚書(shū)唐臨本是長(zhǎng)孫無(wú)忌一派的人，他見(jiàn)李義府被貶出中央了，大為興奮，以為扳回局面的時(shí)機(jī)已經(jīng)成熟。他把素與李義府有怨的張倫調(diào)為劍南道（今四川云南一帶）巡察使，準(zhǔn)備好好收拾一下這個(gè)不知恥的李義府。

唐臨還保奏與來(lái)濟(jì)關(guān)系不錯(cuò)的許煒為江南道巡察使，以保護(hù)被貶在臺(tái)州的來(lái)濟(jì)，等待將來(lái)翻身的機(jī)會(huì)。

這兩道奏章讓武則天有點(diǎn)摸不到頭腦，于是找來(lái)了許敬宗詢問(wèn)。這一聽(tīng)，大吃一驚。原來(lái)，張倫與李義府素來(lái)不和，現(xiàn)在李義府被貶為普州刺史，唐臨想保張倫為劍南道巡察使，這官職在李義府之上，很容易尋個(gè)李義府的不是，辦他個(gè)罪名打發(fā)掉。至于許煒，和來(lái)濟(jì)的關(guān)系很不錯(cuò)，現(xiàn)在請(qǐng)他來(lái)出任江南道巡察使，自然可以保護(hù)來(lái)濟(jì)，留得青山在，不怕沒(méi)柴燒。

武則天倒吸了一口冷氣，沒(méi)想到關(guān)隴勢(shì)力這百足之蟲(chóng)死而不僵，她馬上去找李治，說(shuō)唐臨玩弄權(quán)術(shù)云云，理應(yīng)查辦。

高宗相信了這話，立刻貶了唐臨的官。這一來(lái)，也斷了關(guān)隴一派最后的幻想。不久唐臨就死在了潮州刺史任上，終年六十歲。武則天接著又提議，讓許敬宗代李義府為中書(shū)令，另派大理寺卿辛茂將兼任侍中。