刘备待宋忠走后，立即与徐庶、诸葛亮商议，徐庶道:“不如引兵急攻襄阳，然后拒曹。”
刘备问道:“此乃景升兄基业，怎能攻其子嗣，夺其基业。！”
诸葛亮看刘备断然拒绝，也明白襄阳城内蔡瑁久掌兵权，经营数十载，非轻易可拿下的，何况曹操大军很快就要抵达，便道:“既然如此，不如退入江陵，再图大事。”
刘备道:“只能如此。”
于是率帐下兵马南下江陵，刘备驻扎新野七年，治理新野，百姓安居乐业，闻听刘备南撤，也都要跟随刘备南撤。
刘备不忍弃之，便和百姓一同南撤。樊城百姓一看，也要跟着。百姓拖家带口，尽数跟随。刘备带十余万南撤。
徐庶、诸葛亮急忙来找刘备劝道:“主公，我们要想取江陵，必须急攻，若带上十万百姓，恐怕会耽误我军行军速度，到时无法抵挡曹操。”
刘备道:“我知道，但百姓欲归我，我怎能弃之不顾。”
刘备令将前时准备好藏于民间的船只征集起来，由关羽水军登船，刘备下先让百姓中的老人、小孩登船，关羽训练的水军除了水手何必要的守卫外，暂不登船，将百姓送到往江夏方向后，再返回继续运送百姓。
刘备又派人往刘琦处求援，于路上接应。众人劝刘备将家眷先送走，刘备道：“我家眷中并无老人，岂能先走，百姓信我方才跟随，怎能自违誓言，不必多说。”
诸葛亮道：“虽是如此，主公家眷终究不可与百姓混杂，以免发生意外。”众人附和。
刘备道：“既然如此，子龙，备之家眷，劳你照看。”
赵云上前道：“必不负主公所托。”
关羽先引兵在汉水将木船排列，架起两座浮桥，百姓尽数过汉水，而邻长、乡长、屯长各自将老人、孩子选出，送到关羽船上，沿汉水南下。
刘备望襄阳而来。
众人抵达襄阳城下，刘备打马来到城下喊道:“请刘琮出来搭话。”
守城兵马报与刘琮，刘琮不敢回答，蔡瑁道:“不要理他，敢近城池便以箭射之。”
刘备连喊数次，无人理会，刘备叹息一声，打马离去。
张飞道:“大哥何不趁机破襄阳，宰了刘琮和蔡瑁。”
刘备道:“纵然破城，于事无补，不过是生灵涂炭，更何况刘琮乃景升兄之子，安肯害之。”
张飞道:“大哥也太好心了，便宜这些贼子了。”
刘备继续南撤，襄阳一些百姓纷纷逃出城外，弃刘琮而投靠刘备，荆州一些士族，带着自己的家倦部属，随刘备逃亡。竟然又多了数万人，如此行军，行军速度非常缓慢，一日不过行十余里。
简雍劝说刘备道:“如此行军，未到江陵，曹操必然追上，不如轻骑前进，待破江陵，再来接应。”
刘备道:“夫济大事必以人为本，今人归我，我何忍弃去！更何况，我一旦离开，百姓慌乱，兵士丧胆，如果曹操追上，必遭毒手。我在，尚可组织兵士抵挡，百姓才有生机。”
简雍又道:“如此下去非良策。”
刘备思量了一会儿道:“不去江陵了，下令转往江夏。”众人大惊。
刘备胸有成竹，想到：“既然江夏是我的兴起地，强去江陵乃就是逆天，不如早去江夏。”
当下令千人为一队，分出五队，每十里开始做饭，节约时间。
刘备又令百姓除了金银细软，没人只留一件衣服，其余尽数掩埋或丢弃，待到江夏再补偿，刘备将所属辎重除粮草外，多余的兵器、铠甲沉入水底，空出的车子载老弱民众，如此，行程稍快。