可在那个纷乱动荡的年代，内忧外患间又怎能让他们独享太平，他们不断受到军阀、土匪，甚至是日本人的盘剥和压榨，生意也只是惨淡经营。抗日战争后期，日本人给养不足大肆抢掠，许家未能幸免。虽然许家老父组织护乡团，奋死抵抗却也因敌强我弱，被日本人包围，许家老父只好安排管家黄炳财带着几个人护着许志豪和许志豪的母亲先逃，自己带人吸引日军断后，许志豪母子逃出城等了很久，终究没有等到人。
后来，黄炳财希望能去美国投奔大少爷，可是许志豪的母亲不同意，她只说万里烟波岂是那么容易过去的，个中原因她没有给大家解释太多，其实是许朗之在美国混得很不好，马家是经常来信的，许朗之自打去了美国根本就不思进取，却只图享乐和马家少爷马捷超肆意妄为，终于触犯美国法律被判了刑。许家遭难时，许朗之正在监狱里，况且没了许家老父，她一个继母和没见过几面的弟弟又如何能去找。没有办法，他们只好栖身广东凭着带出来的细软度日。只是坐吃山空众人也就陆续散了，只有管家黄炳财不忍离去，一直陪着孤儿寡母，等到日本战败黄炳财才敢返回杭州，却意外找到了自己的儿子。原来，许家老父让黄炳财带着夫人和小儿子先逃，他说随后就来，黄炳财出了城左等不来右等也不来，便叫自己的儿子黄万回去看一看，可儿子走后也不见回来。黄炳财问了从城里逃出来的人才得知，许家老父等人没有逃出来，被日本人抓住，一起被抓的还有黄炳财的哥哥和侄子，据说还有自己的儿子，他们被拖到街上让机枪打死了。
许家夫人听到消息痛断肝肠一心想进城一起死了，黄炳财也后悔不已，不应该让儿子送死，只是现在也没有办法，只好继续向南逃了，临走时黄炳财仍抱有一丝希望，希望儿子或是其他人能活着出来，便在城外的大石头上刻了字，希望他们能看见赶快赶上。谁知，黄万并没死，他还没到许家就看见许家老父被杀，他连忙躲了起来，只是被日本人堵在城里出不来，两天后才混了出来，看到字去追，然而追了两天也没追上，路上已经没标记，无奈黄万只好原路返回，留在附近的农村给人家打长工，后来日本人走了，他回到城里看了看，许家的房子已被烧毁，他只好留下来继续等许家人返回。
黄炳财回来杭州时，恰巧碰见了黄万，父子相见真是劫后余生感慨万千。接下来，黄炳财又把许志豪和母亲从广东接了回来，许志豪母亲带着许志豪在房子下面挖出个大洞，里面埋了不少钱财。原来许家早就预料会发生这种事情，祖上就在这房基下面埋藏很多财物，当然，这个秘密只有历代家主才知道，而且一直保守着没有外漏，也没有动用过。
许家老父在送走许志豪母子时就将秘密告诉夫人，就怕遇到不测，好将财物挖出重振家业，随后，黄炳财父子就帮着许志豪母子将许家招牌又竖了起来。一晃数年，许志豪逐渐长大，在经商方面许志豪表现出少有的天份，短短几年就已将家业恢复了五成以上。许志豪后来成亲娶了黄万当年打长工家的小女，那女孩也是个知书达理的，第二年，许志豪的儿子许文彪便出生了，只是那女孩也是个薄命的，生了孩子后不久便病死了，许家老夫人便将许文彪接回自己屋里抚养。
日子原本应该会一直过下去，只是那段岁月又给许家当头一棒，许家财产和房屋被没收，许家夫人和黄炳财经受不住世事的变故先后过世，许志豪身无分文，只好带着儿子去学校里烧锅炉，黄万进了工厂当了工人，近四十来岁才娶了亲，随后其子黄子华出生。而许志豪也遇到薛婉有了许宁。