杨谅面见杨坚后，当面哭诉高颎在大军筹备时的处处掣肘，也把大军渡过辽河后后勤补给困难、缺少军粮医药的过错全部推给了高颎，说是他调度运筹不利导致的。杨谅甚至还说出了“儿臣在幽州，幸未被高颎所害”这样狠毒的言语。</p>
杨谅哭诉之后，心疼小儿子的独孤皇后马上连了一招神补刀，在杨坚面前吹枕边风：“臣妾听说当初陛下定计出征时，高颎本就不想去，想留在京中辅佐勇儿，是陛下强迫高颎去辅佐谅儿的。当时臣妾就知道他如此不甘愿，定然会无功而返。”</p>
听了独孤皇后的补刀，杨坚怒气愈盛，独孤皇后却没有收手的事情，继续说起高颎欺君的一些其他罪行。</p>
原来，高颎的正妻在七八年前就已经老病而死了，当时独孤皇后劝杨坚对臣下施恩，为已经年过五旬的高颎再赐婚续弦。当时高颎推辞说：“臣年已老迈，每日退朝之后，唯有吃斋念佛而已，并不需另娶。”于是当年杨坚试图给高颎赐婚的事情也就做罢了。</p>
如今，这桩事情已经过去七八年了，但是恰恰在开皇十八年这个当口，高颎的一个小妾却刚刚怀孕生子了。这桩事情，杨坚一开始听到时还挺为高颎高兴的，没往别处想。但是独孤皇后听闻后却深深叹息，颇为不喜。</p>
杨坚感觉奇怪，便追问独孤皇后为何不喜，独孤皇后对答说：“陛下难道不记得七年前陛下要给高颎赐婚时，高颎说他已经年老不需要女色了么如今他的爱妾却再产，这分明说明当年高颎是在欺骗陛下啊他为了一个小妾都愿意欺君，这样的臣子，如何可信”</p>
到了这一刻，杨坚对高颎的信任，终于被堆得愈来愈高的攻讦撕裂、崩塌了。</p>
年底时，杨坚宣布高颎因病不能处理政务，将其原本的尚书左仆射官职暂时撤掉，回家养病，但是齐国公的爵仍然继续保留。杨坚试图用这个冷处理给高颎一个改过自新的机会毕竟也是百足之虫死而不僵，信任了二十年的重臣，要一下子彻底问罪，还是颇让杨坚难以下决心的。只要免职能够让高颎没有继续为害的可能性，那么杨坚显然更乐于用这种方法处理。</p>
可惜，身居高位者一旦摔下来，后续的连锁反应是停不下来的，不把他彻底打到永世不得翻身，别人是不会安心享受胜利果实的。失去了左仆射的官职后，只是让更多原本就对高颎怀有恨意的朝臣想要趁机踩一脚。而朝中只有的贺若弼、柳述等人敢直言为高颎辩护，只可惜也只能是让形势不再恶化而已。</p>
为此，连柳述本身受到的信任都开始被杨坚猜忌。过了年关后，开皇十九年年初，杨坚便秘密撤掉了柳述内外侯官总管的职务，但是留下了柳述黄门侍郎的官职，并改加兼兵部尚书。外行人看来，柳述这个驸马爷的权位又高了一级，但是只有柳述等极个别圈内人知道，最重要的秘密战线权柄被彻底削夺了。</p>
眼见攻击高颎的人越来越多，自己再出手也不会引起太多不必要的注目，晋王系新拉拢的巨头杨素终于出手实施了他自己的一击。</p>
杨素从开皇十八年年终的吏部考功中动手，把齐郡地方的几名要害官吏做出了调整。而高颎此前的爵位是齐国公，在齐郡本来是有封地的。</p>
于是，开皇十九年一开年时，齐郡下属的“齐国令”这个官职上，就被换上了杨素的人。</p>
不出月余，到了二月初时，新任的齐国令便表奏告发一桩秘闻：</p>
在高颎回到封邑养病闲住的这段时间里，高颎的幼子、同时也是太子女婿的高表仁，回到封邑探望高颎。探望时，高表仁见高颎气色萎顿，精神不好，便安慰说：“当年诸葛武侯被司马懿耗死之后，司马懿也曾被投闲置散。今日父亲位极人臣，能够退下来一阵子，又何尝不是喜事呢”</p>
高表仁有没有说出这么脑残的话，外人就不好断定了。但是只要有一定的证据证明，那就够了。当听说高颎被去职之后，居然还敢以司马懿自居，杨坚的心情可想而知。</p>
朝中群情汹汹，纷纷奏请问罪处斩高颎。杨坚犹豫良久，最后批复：“前年杀虞庆则、去年斩王世积。若今年再斩高颎，岂非令天下人以为朕刻薄寡闻，如刘邦之于韩、彭、黥布”</p>
最终，高颎仅仅被问罪，一并削夺爵位，以庶人身份放归乡里。</p>