正在赵岐的人生即将步入正轨的时候，一场大祸从天而降了。当初，中常侍唐衡的兄长唐玹任京兆虎牙都尉，唐玹行为不端，清流们都看不起他。作为清流的标杆儿人物，赵岐和他的堂兄赵袭多次当众对他贬议，梁子从此结下，于是唐玹对赵大才子恨之入骨了。
延熹元年，唐玹任京兆尹，这是一个很不好的信号，赵岐是聪明人，自然觉察到了危险已经步步逼近了。于是，赵岐带着堂侄赵戬逃走，不出赵岐所料，唐玹果然逮捕了他的家属和亲戚，将他们全都诬陷杀害。
赵岐避难四方，到达过许多地方。后来隐姓埋名，在北海卖饼为生。安丘人孙嵩见到赵岐后，觉得他不一般，于是询问赵岐道“我看你不像是买饼的人，问你话你又脸色有变，你如果不是与人有深仇大恨，就是逃亡的人。我是北海的孙宾石，家中有百余口人，也许可以帮你的忙。”赵岐于是以实情相告，孙嵩将其带回家，设宴款待，把他藏在夹壁中好几年，这几年赵岐并没有白白渡过，赵岐写出了共三十二章的厄屯歌。
后来，唐玹和他的家人全都死了，赵岐得到大赦才得以重见天日。三府太尉、司徒、司空知道后，同时征辟他。延熹九年，赵岐接受司徒胡广的征辟。适逢南匈奴、乌桓、鲜卑扰边，公卿都举荐赵岐，于是拜赵岐为并州刺史。赵岐到任后想要上奏守边的策略，但还未上奏，就因为第一次党锢之祸遭罢免，赵岐于是把它整理成了御寇论。灵帝继位初年，赵岐又因为第二次党锢之祸被禁锢十多年。
光和七年，黄巾之乱爆发，灵帝下诏选用以前的刺史及二千石官员中文武双全的，于是征拜赵岐为议郎。中平二年，车骑将军张温西征关中，请赵岐补任车骑将军长史，屯驻安定郡。大将军何进又举荐赵岐任敦煌太守，他在路经襄武县时，被反贼边章等人抓获，边章想要胁迫赵岐任他们的大帅，赵岐费尽口舌才得以幸免，辗转到陈仓时，又遇到乱兵，只能裸身自救，躲在草丛中十二天不进食，历经磨难才回到了长安。
初平元年，董卓西迁献帝至长安，再拜赵岐为议郎，不久，任太仆。赵岐著有孟子章句十四卷、三辅决录七卷，在当时广为流传，他对孟子研究颇深，以大儒闻名于世。赵岐善画，曾自画四贤像于自己的墓中。
赵岐一生颠沛流离，历尽磨难，他身上原先的书生积习也随之一扫而空了。如今的赵岐年近六十，人情练达，老于世故，明哲保身，再也不强出头了。本朝两次党锢之祸，使一大批清流饱经沧桑，流连与民间数十年，因此能够体会民生艰难，这一派人被称为清流中的实干家，赵岐就是其中的代表。
赵岐和马日磾份属至亲，经常往来，再加上他人情练达，马太常脸上的得意之色溢于表，赵岐如何看不出来。“翁叔，你定是心有所得，不放开诚布公地讲一讲老夫也好提起把把关，毕竟老夫藏身民间数十年，民间疾苦比你清楚得多。”
“姑父说得是”马日磾拱手说道“如何确保凉州数十万百姓不至于饿死，我倒是有几条儿建议。其一，尽快恢复全境，立即耕种。其二，并州军发放粮食，或者借贷。其三，开设粥厂，赈济灾民。其四，号召文武百官捐出粮食”
“哈哈哈哈”还没有等马日磾说完，赵岐就笑弯了腰，笑得马太常不知所措了，好一阵儿他才止住了笑。“翁叔，咱们来一条条儿掰扯第一条，现在都五月份了，种麦已经来不及了，顶多只能种上一季豆，光靠豆能吃饱吗若想恢复凉州全境，至少还要一两个月，到那时种什么都晚了所以，这一条不可行若是长安城附近还将就。”
“第二条，发放粮食，数十万人，若想不至于饿死，总得一人五石汉朝一石约等于20公斤，你算算一共要多少粮食且不说大司马有没有，便是有，换了是你，你愿意无偿分发吗再说借贷，本朝的利息每月三分是最轻的，百姓们借得起吗即便借得起又拿什么还若是卖儿卖女，和全家饿死又有什么分别”
“第三条，开设粥厂，赈济灾民，这一条确实可行，但是只是将就着不饿死罢了，还是解决不了根本问题。第四条更是迂腐之极你号召文武百官们就能捐钱捐物吗做你的春秋大梦吧若是他们有这个心思，长安城内还能斗米万钱吗”
一听这话，马太常的双眼立刻就暗淡下去了，他沉默了半晌儿，才沮丧地说道“姑父，依你之意，这几条竟然全不可行唉百无一用是书生呀难道就这么看着数十万凉州百姓饿死吗”“怎么可能”赵岐摆摆手“大司马何等英雄他定有办法”