陆升当年是段家提携上来的，自然也站在守旧派这边。段无绪这般弹劾他，便给变法派打开了一个缺口。他们将段无绪提供的证词无限放大，步步紧逼着要处置陆升。陆升遭贬，守旧派实力大减，变法派乘胜追击，终一举得胜。皇上决定变法，自然在各岗都倚重变法派，架空守旧派。身为旧派的段家族人都有不同程度的贬官——除了段无绪。
段无绪被擢升为礼部尚书。如今他是公认的清正廉明了。
他白日听得的是虚虚假假的奉承和敬而远之，回家的路上能听到经说书人夸张过的“清官段无绪”的故事，在故事中段无绪深明大义且大义灭亲。围观者皆叫好。然而回府后一切都不一样。
自从扬言要剔段无绪出族谱后，父亲就再也没有对他说过一句话。虽终究没有提起分家，却将段无绪那一房的收支和全府的收支给分开算了，明摆着不认他的嫡长子身份。母亲则每每一副心疼又欲言又止的神情，让段无绪觉得心烦。从小就和他亲近的段无甚骂他卖族求荣。其他族人则纷纷侧目而视。妻子总劝他要通融些，段无绪从女儿那里知道容氏因为他的缘故几乎每日都被妯娌们言语中伤。
他忍受不了，便去找刘承。刘承往往推脱说没空。段无绪只好一个人去酒楼喝闷酒，微醉着出来，却见刘承、陆闻与其他一众段无绪不屑结交的同僚从隔壁的房间中出来。喧笑中只听得刘承边打酒嗝边对陆闻说着些“咱俩好歹也同窗一场，日后多多照拂照拂啊”之类的话。陆闻拍拍他的肩“一定一定”地应着，样子像极了好多年前他绊了段无甚一跤的那时候，嬉皮笑脸，油嘴滑舌。
段无绪回府后对此只字未提，只是忙起了会试的事。
科举归礼部管，段无绪则是今年会试的主考官。科举一事颇为水深，主考官更是吃力不讨好，每年为了子弟功名而对主考官威逼利诱的人不计其数，考官既不好接受又不好推诿，左右难办。段无绪任礼部尚书，不知道是因为皇上信任他清正，还是要借此敲打他的清正。
无论如何，段无绪决定坚持。他不接受任何暗示，该怎么评卷就怎么评，甚至还亲自阅卷，生怕有遗珠之恨。段无绪任礼部尚书的这几年，科举达到前所未有的弊绝风清。大多数投机取巧者在听到段无绪任主考官时就不得不放弃了钻空子的念头。他们说段无绪这人就是一个疯子，当年就为了弹劾一个陆升，把整个段家都给搭进去了，可见此人丝毫没有感情可言，谁知道他会不会再做出什么疯狂的事来。当然，仍来传递暗示的总是会有。对于一般的贿赂意图，段无绪婉拒后也就过了，特别过分的，他就顺便上参一本。哪怕施压者来头很大，他也照参不误。开始这让大家对他很是忌惮，然而不久后他们就注意到了段无绪与段家的疏远，渐渐地又嚣张起来。段无绪烦不胜烦，甚至有些想念陵州的日子了，他依旧我行我素。最终倒也没人真拿他怎么样。
段无绪在外头的名声越来越好，生活的潦倒却只有自己知道。