经过一番精心准备之后，郑清之一派买通了赵昀身边的一个贴身内侍，此人名叫谢木林，通过他暗中开始在赵昀身边说了不少高怀远的坏话，然后一帮朝臣突然难，二十多人联名弹劾高怀远，列举了高怀远数条罪状，要求赵昀惩处高怀远，以正法度。
这件事纪先成和贾奇也都没有事先预料到，被郑清之等人打了个措手不及，于是立即放飞鸽，将消息以最快的度传递给了高怀远得知，让高怀远回京处理此事，以免让郑清之等人利用高怀远不在朝中，而中了他们的暗算。
其实郑清之他们罗列的高怀远的罪证很简单，但是一旦被咬上，可是重罪！第一条就是僭越之罪，起因就是高怀远尚未得到圣旨准许他兵冀州之前，便调集大军北上，此乃大宋的一个大忌！
第二还是僭越之罪，就是高怀远这次北伐京东行程之中，多次擅自任命官员，调动非他直系管辖的兵马，出职权范围调用扬州、镇江府等地的府库军械粮秣，以资军用，又是一条重罪，顺便连高怀远的老爹高建也一起弹劾了！
第三就是告高怀远在大冶的时候，私铸兵器，豢养私兵，为祸地方！这件事起因是他们在大冶搜罗到了一个消息，说高怀远当年在这里购置矿坑，设置冶炉炼取铜铁，还雇请了一批人私铸兵器，甚至还搜罗到了一个因为劣迹而被赶出卧虎庄的一个人为证，想要通过这件事来给高怀远定罪。
其它的便是受贿，他们搜罗了不少以前给高怀远送过礼的人的罪证，说高怀远自从当上了殿前司都指挥使之后，便大肆在军中收受贿赂，排除异己，任用亲信，意图不轨。
再有就是高怀远凭借圣上的信任，骄横无度，欺压良善，强征土地充作军用，起因就是高怀远在临安郊外，设置操演校场，曾经以低价强征过几户为富不仁的地主的土地，现在找到了这几个大地主，联名一起状告高怀远。
总之罗列出来了总共八条高怀远的罪证，将高怀远说成了一个十恶不赦之徒，根本不足以在朝中担任要职，他们倒是也没有想将高怀远这就赶尽杀绝，只是要求赵昀将高怀远革职贬黜出京，削去他的兵权然后赶他到地方为官拉倒。
郑清之倒也不贪心，他虽然搜罗了高怀远这么多罪证，但是他也知道赵昀和高怀远的感情，心知不管他们如何陷害高怀远，让赵昀杀了高怀远是不可能的，所以他们也不贪多，只要求赵昀秉公处置，削去高怀远的兵权，革去他的枢密使之职足矣。
高怀远正是闻听了这个消息之后，才不得不立即轻车简从离开了济南府，朝着临安方向赶去。
像这样的情况，高怀远确实是有点出乎了预料，本来他这次北伐大获全胜，应该是他功成名就之时，没想到这边他的事情刚刚结束，郑清之便领着人朝他难了。
不过同时他也不太感到意外，因为朝廷之中的政治、斗争从来都不会缺乏，每个人都有自己的想法，政治上也没有永远的朋友，当一个共同的敌人被放倒之后，很快许多人便会选择一个新的敌人竖立起来，当作他们的斗争对象，而他就成了史弥远之后，被人觊觎的一个敌人。
郑清之他们这么做不是没有一点道理，从韩侂胄开始，继而便是史弥远，南宋朝廷数十年之中始终是权相当权，虽然高怀远并非参知政事，不算是宰相，但是他更危险，因为他执掌着京畿之地的兵权，甚至可以说执掌了南宋大部分军队的调度权，而且他又和当今圣上赵昀的关系匪浅，郑清之他们不愿看着干倒一个史弥远之后，再站起来一个高怀远当权。
所以他们处心积虑的对高怀远攻讦，其实也并没有什么不对之处，而郑清之也是有这种能力的人，毕竟朝野之中现在要仰他鼻息的官员很多，他又是帝师，正好可以充当这个急先锋来对付高怀远。
其实说白了，郑清之只是代表了一群文官的想法，不愿意看到高怀远这个武将一系的人太过张扬罢了，他们的冲突只是迟早的事情，不过是比高怀远预料的要早了一些罢了。
正是因为高怀远没有预料到郑清之他们会这么快难，所以这一次他显得很是被动，虽然有纪先成等人在朝中为他鸣冤，但是他还是必须要尽快返回临安，亲自处理这件事情，否则的话，很可能会造成他和赵昀之间的不和，对于以后他的计划展将会大为不利。