身边一直只有她一个女人。儿子们大了，个个都很优秀，虽不是世间少有的奇才，但因崔家男子不二色，在京城颇受未来岳母的看重。
韦衡到了边城做小吏，倒也尽心尽力。韦家上下奔走，走了门路，将他调回中原某县做了县令，后来娶了一位望门寡方氏为妻，她膝下原有两个女儿，带着巨额嫁妆嫁给韦衡，从商妇变成了官宦夫人。
韦衡膝下无子，过继了他二兄家的次子为继嗣子。
方氏见这嗣子聪明好学，方才十四岁就成了秀才，歪缠着韦衡，硬是将小女儿许给继嗣子为妇，原无血缘的兄妹，就这样成了未婚夫妻。
但因方氏的这番操作，韦衡被上司弹劾，说此举有违人伦，大概是时运不济，韦衡丢了七品县令的官职，带着妻儿回到京城养老。
他的仕途没了，又因韦家几兄弟都反对他嗣子娶方氏之女，说前途已经被毁了一个，不能再让她毁了这个，说什么也不同意。