他的第二任妻子，娶的便是那山村村长的女儿，生下次子卫子湛，三子卫子煜。
那个时候，男人都要在外面打仗，女人要在家照顾一家老小，那村长的女儿为一家子操劳，最后病死。
他的第三任妻子，便是卫子姝的母亲。
他们是在战乱中认识的，吕家一族安居一隅，家族中有些薄财，为求自保，给刘氏一族捐钱捐物，只求让女儿嫁给当时死了第二任媳妇多年的卫安昀。
卫安昀觉得他当时的确得有个妇人为他照顾家里，让他能放心，能全心全力的投入战场，就答应了下来。
婚后两人生下的第一个孩子，便是卫子姝。
卫子姝记得，小时候，她名字中的姝，其实是夙。