源于“芈”（mǐ）姓，出自春秋时楚国公族“芈潘崇”之后，属于以先祖名字为氏。公讳崇字道安，楚成王时大夫，穆王立，以其太子宫予公，使为太师，掌国事，环列之尹，楚国大治，有认楚公族后以字为氏，列公为潘姓始祖之一。
潘崇家族由于受到楚王的特别恩宠，故发展特别快，其后裔子孙的足迹几乎遍布楚国各地，在古籍中所记载春秋时代的潘氏名人，几乎都是楚国的人物。今天山东、江苏、浙江、河南等地，皆有该支潘氏的后裔。
历史名人：
季孙：中华潘姓其中一宗系的受姓始祖。季孙公，周毕公高之四子也，毕公高历相文武成康封于毕，世子袭爵，季孙公食采潘地，从而得姓，是为潘氏始祖。
潘崇：春秋楚成王时太师，助楚穆王继位有功，被穆王封为太师，兼掌上环列之尹。
潘岳：字安仁，荥阳中牟（今属河南省）人，西晋文学家、名臣。善缀辞令，长于铺陈，造句工整，充分体现了太康文学讲求形式美的倾向，所以在当时与陆机受到同样的推崇。
潘尼：潘岳之侄，官至太常卿，在文学上与潘岳齐名，世称“两潘”，其诗注重词藻，多应酬赠答之作，明人辑有《潘太常集》。
潘正夫：唐代驸马，尚懿宗长公主，拜驸马都尉，官至少傅，封和国公，历事四朝。