李靖夫妇育有二子一女。长子李德誉，食禄在朝，官居太府少卿之职。次子李德奖，出任嘉州刺史，官居五品。幼女李香香，正当花季妙龄，聪慧温柔，才貌双全，文武双修，李靖夫妇甚是宠爱，视若掌上明珠。李靖大破吐谷浑后，因怕功高震主，被朝廷所忌，遂急流勇退，携夫人幼女隐于京西八十里外的羡陂山赤霞庄，深居简出，做着清闲自在的富家翁。李靖文武全才，在隐居期间，于武艺一道，亦未曾稍怠，时常习练，兴之所至，亦与妻女同练。某日，李靖带着两名随从去往河南游玩，行至云台山下时，竟被一群强盗打劫。李靖主仆力战多时，总是不能脱困。正在危急之际，忽见一个长须大汉飞奔而至，挥起手中大宝剑，与李靖主仆联手抗敌。群盗抵挡不住，一哄而散。李靖谢过大汉相助之恩，问及姓名，大汉说复姓东方双名一剑，本是长安城外鹿鸣村人氏。东方一剑得知李靖姓名，甚是钦敬，之后两人不断往来，过从甚密，遂成莫逆之交。东方一剑世居长安，家业丰富，武艺超群。其妻周氏，知书达理，亦颇通武艺。夫妻育有二子，长子东方雷已成家室，次子东方岳年龄与李香香相仿，品貌不俗，人才出众。李靖与东方一剑交情莫逆，又见子女年貌相当，很是般配，于是互相通款，为儿女定下婚约，结成了儿女亲家。
李靖夫妇因要尽快登程，当下将老管家叫来，把家事一一嘱咐备细，又把女儿叫至面前，将欲往朔州剿匪之事说了。次日起个绝早，带足了银两应用之物，骑马径往长安而来。
半个时辰后，来至长安城外，只见城门大开，过往行人穿梭不绝。三人刚进得门来，就见一名官员急驱近前，拱手问道：“来的可是李卫公吗？”李靖道：“正是李某！”那官员道：“房大人早已吩咐下来，叫下官在此等候国公，国公且先随下官去驿馆安歇。”
三人随那官员来至驿馆，进到一间大屋之内.官员说道：“国公且请稍候，下官这就去向房大人禀报。”说罢走出门去。
过不多时，只见房玄龄身着便装，走进屋来。彼此见礼之后，房玄龄道：“卫公来得好快，圣上刚刚散朝，正在便殿等候，咱们这就前去见驾。”
二人出得门来，坐上事先预备好的马车，直奔皇城而来。工夫不大，进了皇城，二人下了马车，徒步走向皇宫内苑。不多时来至偏殿门外，执事太监接着二人，唱名引自殿内，只见太宗满面含笑，快步迎上前来。李靖忙跪倒丹墀，口中高呼：“臣李靖参见陛下。”太宗双手相搀，说道：“卫公快快平身，来呀，给卫公看座！”
落座之后，太宗说道：“多年不见，卫公风采仍不减当年，真是可喜可慰。”李靖道：“托圣上洪福，臣身体还算康健。承蒙圣上不弃，假臣以剿匪重任，臣虽不才，定当竭尽全力，以报圣恩。”太宗道：“卫公英雄盖世，大阵仗不知经过多少，朔州悍匪，实乃癣疥之患，卫公出马，可谓手到擒来，不足为虑。何况朕亦另遣王珪去少林寺聘请玄智、玄化，二位高僧料来必不负朕，这两日就可到来。卫公得少林高僧相助，断然万无一失。”李靖道：“圣上说的是。有道是天下功夫属少林，少林高僧出手帮助，事情就容易办了。”
三人又叙了会闲话，李、房二人辞出皇宫，房玄龄自回家去，李靖则回到驿馆等候王珪消息。