笼络牵制住留异。留异也上表谢罪，但他心知肚明，朝廷最终不会放过自己。于是派重兵驻守下淮及建德，以备江路。
湘州一平，陈文帝立即下诏派南徐州刺史侯安都前往擒戮留异。诏云：“逆贼留异，数应亡灭。缮甲完聚，由来积年。”“置军江口，严戍下淮。显然反叛，非可容慝（tè）。”称留异是叛逆、不可宽容的邪恶坏人。留异本以为官军一定从钱塘江而上，谁知侯安都徒步突然从诸暨出永康，彻底打乱了他的阵脚，留异大惊，因芝英空虚，匆忙出奔经营多时又险要的桃枝岭，于岩口竖栅据守。
天嘉三年（562年）春夏之交，安都大破其栅，留异与第二子忠臣投奔于陈宝应，于是“虏其余党男女数千人”。同年，撤缙州。
天嘉五年（564年），陈宝应平，并擒留异送京，斩于建康，全家仅留第三子贞臣一人，因他是陈文帝的女婿。
至此，这场以留异为主角，以古芝英为中心舞台，关于缙州的历史剧落下帷幕。留异，正应了“其兴也勃焉，其亡也忽焉”这句老话。缙州，因留异之兴而置，也因留异之亡而撤，不过短短几年。芝英，却因其缙州州治的重要地位，而成为千年缙州历史古城，至今已1463年。