支系看起来与江南潘氏并无关系。因为都城潘家自在都城扎根起便都是读书人，族中无一人从商。这两个潘氏之间的渊源得追溯到百年之前，所以就是皇帝派人去查也难以查出。
潘知行自己也从来不提及江南潘氏，任谁也不会将他同江南潘氏联系在一起，直到皇帝暗中清查霍家屡屡受阻，是在潘知行的助力之下才得以真正查明，那时起，皇帝便开始怀疑潘知行的真实身份，毕竟都城潘家都是老实本分的读书人，出了一个潘行知这样的人物已是难得，又哪来的余力在江湖埋下利益关系？除了江南潘氏有那样的财力，谁还能请得动那么一大片江湖中人密不透风地办事？
在潘知行面圣辞官之时，皇帝便问：“潘太师是否是江南潘氏之人？”
潘知行毫不避讳笑答：“是。”
皇帝深知他也是个直率淡然之人，若不是他二人年纪差距过大，说不定会是莫逆之交。他没有怪罪潘行知隐藏身份的事情，也并不怀疑他有什么企图。
潘知行自己大方承认了，只经过一夜，他的身份也就在都城传开了。
潘氏，在数百年前只是江南符州小渔村中再普通不过的捕鱼为生的小渔户，可据说是武朝林氏血脉，不知如何竟落魄至此。
彼时还是邺国时期，潘氏先祖在进城替夫人求药之时偶然得了一个消息，旁人都觉着离谱没放在心上，可他却深信不疑，立刻买了大量布匹回家囤着。又因着先祖夫人善绣花，日日在家中琢磨，创下了当时人人惊叹的新绣法，从小渔村开始，妇人们口耳相传，潘氏先祖是个有头脑的人，全村就数他最精明，同夫人商量之后一家五口人从小村庄搬去了城郊。
从此，江南符州城郊便出了个小布坊，这个小布坊虽在城郊，却能引得城中妇人竞相出城来买，在城中崔氏富商夫人的扶持下，潘氏的这家小小的布坊得以进城安置，并且扩大了规模，不出几年便在符州布庄中占了半边天。
正在布庄生意如日中天的时候，潘氏先祖又将目光放到了盐和铁上，自从搬来符州城郊后，夫妻二人便在城中权贵当中得了青眼，进了城有了家底之后更是熟络起来，不过两年，潘氏先祖便搭上了贩盐的路子，可惜在刚定下一单大生意时却突发疾病辞世了。家中长子与三子继承父志，虽说丢了那单大生意，但兄弟二人花了一年时间在符州重新立足，接着发展盐业，一时成了符州有名的富商。
兄弟二人晚年之时产生了分歧，长子继续操持着家族盐业，三子将重心再次转回了布庄，在此基础上发展了陶瓷和茶叶，同二妹一起掌握了整个江南布庄、陶瓷与茶叶的经济脉络，整个潘氏家族一起便成了江南最富庶的家族之一。
后来邺国南部三方势力失衡，一时之间民不聊生，潘氏也未能自保，有式微之相。
好在家业足够大，撑到了大隗建国，自此凭借着战后之乱大肆敛财又重新发展了起来，顺势成了江南首富。
那一代的潘家长子有了做官的心思，家中便为他买了官职，用钱财供其上位，一时不知收敛竟扰乱了朝政。隗帝闻之大怒，削其官职，抄收潘氏半数家财，并责令潘氏百年内再不可入朝为官，同时以儆效尤，立下商贾本家轻易不可入朝为官之严令。
到了潘知行祖父的曾祖那一代，出了族中第一个进士。潘氏严守禁令，但潘进士一心想做官便自此分了家，带着妻、子去了都城任职，在都城另开了潘府，也就是都城的潘氏，而都城潘氏却从未提起自己商贾人家的出身，潘进士只说自己出生于江南小渔村的穷苦人家，所以世人从不知道江南潘氏出过进士，也不知道都城潘氏竟是江南潘氏分支。
说来也怪，都城潘氏自潘进士之后净是些读书人，即使再没出过进士，可整个家族中人都是一辈子的读书人，而江南潘氏都是经商之人，对于读书是提不起半点兴趣，江南潘氏之所以出名，也是有这一点原因，潘氏子弟，无不精通商业往来，甚至于江湖都有江南潘氏的地位，在商界，尤其是布庄生意上独占了百年的鳌头。
潘知行算是当年的潘进士之后江南潘氏出的第二个读书人了，他的母亲是三房长媳，娘家是书香世家。潘知行幼年时便展现了读书才学，其母视他的才学为珍宝，担心若是长于商贾人家会泯灭他的天赋，便央求家主将其送到都城潘氏求学，都城才子辈出，他在那儿定能受到熏陶，从而才能上会有更大的提升，否则曾经的潘进士也不会执意断绝同江南潘氏的关系也要进都城为官。
家主也听说了都城潘氏自出了一个潘进士之后就再也没有更出众的读书人了，担心潘知行的才学也会犹如昙花，便暂且搁置了。
好在其母亲没有就此收住念头，日日亲自督促他念书，终于，潘知行十二岁的时候作了一篇长篇大论去找了家主申辩。
于是十二岁的潘知行便如愿踏上了都城的求学路。
以他的天赋才学加上母亲十年的督促，他到了都城并非纯粹求学，而是想闯荡一番，选择进了蓝家当了门客。
他刚进都城半月而已，就掌握了都城各家族的情势。此外，长于商贾人家的他同时也密切关注着都城的商业。选择蓝家，一是因为自己资历不够，初生牛犊很难在人才济济的都城求的出路，而那时的蓝家也好不到哪去，潘知行却看出了霍家末路的趋势，霍家若倒了，必会有新的将才会被选中顶替霍家，却不会再是像霍家一样的大族了，而是蓝家这样的小门小户。
不过潘知行并不是看重了这个契机才进的蓝家，而是他的资历只够蓝家，仅此而已。
况且，霍家末路也只是他的臆断。蓝家能不能成为接替霍家的后起之秀也与他无关，他有处可去就已足够，等他尝够瘾了说不定就做别的去了。
然而在淳贵妃的生辰宴上他崭露头角受皇