陈子昂四人告别姬斯，继续望岭南去。日子一天比一天凉，四人也愈近岭南。虽然时节愈近冬天，但南方天气暖，两下一抵，沿途景色倒没有太大变化。大约十一月初，四人已经来到衡州附近。
南岳衡山共有72峰，兀立湘江之滨。湘江九曲之水，五向五背，好似五条龙朝拜衡山，景致极其生动。这一程赶得紧，加上魏大郁郁寡欢，四人便决定游衡山稍作休息。
四人来到一个唤做南岳的村庄，约摸两里许便是集贤峰。集贤峰有个十分出名的传说故事。四人一路游逛，听陈子昂一路讲述。
传说东晋时，司徒魏舒的女儿魏华存，年二十四岁那年，嫁与南阳刘幼彦。一天，她遇到了一位“神仙”，那神仙给她一部《黄庭内景经》。后来，政局动荡，兵乱时起，丈夫死后，她就渡过长江，自己登上衡山，在此念经十六年。她虽已年老，却“颜如少女”，亨年八十三岁，据说是白日飞升，成了“神仙”。后来人们便尊称她为“南岳夫人”。
周梅儿笑道：“陈大哥，这世上哪有什么神仙呀。”魏大连连摇头道：“怎么没有，我看姬斯姑娘就是神仙下凡。”陈子昂说道：“只怕是有，但教我等凡人遇见，那倒是难于登青天了。”
不知不觉，四人来到集贤峰下，却见门额的石刻是：“山不在高”。门联的石刻是：“欲往西池谒王母，且来南岳拜夫人。”将南岳夫人与王母相提，可见她在此地的影响之大。
不远处又立有一块大石头，上圆下削，上刻“飞仙石”三个大字。石刻后面青松古木成林，掩映着红墙青瓦一道观，门楣上一幅横匾“黄庭观”，想是这道观的名字了。天色接近傍晚，四人走近道观，两个小道士正挑一担水、一担柴禾蔬菜，朝观内走去。