咸平四年六月丁卯（1001年7月20日），
宋真宗赵恒派
户部员外郎直史馆
曾致尧、
太常博士王勖、
供备库使潘惟吉、
通事舍人焦守节分别前往巴蜀的
川州、
峡州等地巡查，掌管兵器，考察官吏能力。曾致尧误将
诏书留在家里，潘惟吉教曾致尧上书说“在渡过嘉陵江时因为舟船残破，诏书弄丢了”来解脱，曾致尧说：“做大臣的欺骗君主，我不忍心这么做。”于是上书自我审核，宋真宗赦免不过问。后来，潘惟吉进入皇宫禀报巴蜀的情况，详细叙说了曾致尧为什么要自我审核，宋真宗叹息了很久。
咸平四年闰十二月庚寅（1002年2月8日），宋真宗因为河北闹饥荒，分别派遣
知制诰梁颢、
薛映，供备库副使潘惟吉，西京左藏库副使
李汉赟等人前往打开官仓，赈济流民，可斟酌情势，不须请示，自行处理。
潘惟吉曾经与宋真宗在别殿中谈话，宋真宗对他说：“臣子立于朝堂，如果专心致力安乐，不能以功劳能力升职，不足以地位显要。”潘惟吉当即要求外任，被任命为天雄军驻泊都监，还未上任，于大中祥符二年九月甲子（1009年10月3日）被朝廷任命出任辽朝皇帝生辰副使，充当
太常博士、直史馆
乐黄目的副手，出使辽朝。潘惟吉接受任命入宫拜谢时已经患病，宋真宗察觉他很瘦弱，派遣使者询问，潘惟吉自称没有患病。进入到辽朝境内，潘惟吉疾病发作，被
肩舆送回，宋真宗派遣潘惟吉的儿子乘坐驿站的马匹前往迎接，大中祥符三年二月辛卯（1010年2月27日），潘惟吉抵达
雄州就去世了。宋真宗很怜悯他，命令潘惟吉的弟弟
潘惟清飞驰前往护理丧事，由官府操办丧事。潘惟吉虽然是外戚，能以礼法自我约束，前前后后奉命办事，朝廷内外都称道他勤勉干练。
《宋人轶事汇编》载潘惟吉为周世宗之子：赵匡胤夺取皇位后初次进入皇宫，见到宫中嫔妃抱着一个小孩子，问是谁，回答说：“这是周世宗的儿子。”当时
范质、
赵普、潘美等人随侍赵匡胤左右，赵匡胤回头询问对赵普，赵普等人说：“除掉他。”潘美与另一名元帅在赵匡胤身后不说话，赵匡胤招呼潘美询问，潘美不敢回答，赵匡胤说：“我即位于周世宗，如果杀了他的儿子，不忍心这么做。”潘美说：“臣与陛下曾都是周世宗的臣子，劝说陛下杀掉这个孩子，则辜负了周世宗，劝说陛下不杀，陛下必定对我生疑。”赵匡胤说：“送给你做侄子。周世宗的儿子不可以做你的儿子。”潘美于是带着这个孩子回家。之后赵匡胤也不问这个孩子的情况，潘美也不说。这个孩子就是潘惟吉，后来做到了刺史。潘美本来没有兄弟，潘惟吉只称潘美为父亲却不说叔父。