南康郡始设于晋太康三年（282年），其前身为三国吴庐陵南部都尉。初领赣县、雩都等六县，治所位于雩都。东晋永和五年（349年）迁治章贡二水交汇处，期间因战乱两度迁徙治所。南朝梁时期被划为江表中等级别郡。唐天宝元年（742年）复置南康郡，乾元元年（758年）改称虔州。郡名'南康'寓含北方政权对南方康宁的期许。

晋太康三年（282年），晋武帝废庐陵南部都尉，正式设立南康郡，治雩都县，初辖赣县、雩都、南野、南安、平阳、阳都六县。太康三年（282年）已将南安县更名为南康县，后续陆续调整辖县名称及建制。

东晋永和五年（349年），郡治迁至章江与贡江交汇处（今赣州老城区）。义熙七年（411年）因卢循之乱，治所暂迁贡水东南，至南朝梁承圣元年（552年）方迁回原址。

隋开皇九年（589年）改称虔州，大业三年（607年）复置南康郡。唐武德五年（622年）再改虔州，天宝元年（742年）第三次置南康郡，最终于乾元元年（758年）定名虔州。

西晋时期进行多次辖县调整：

南朝宋孝建元年（454年），划出南康郡部分辖地设南康国。隋大业年间辖县缩减为四县，至唐代恢复六县建制。

据《萧梁江表诸郡等级考论》研究：

此等级制度反映南朝'北高南低'的区域开发格局。南康郡作为边郡，其行政等级与其经济开发程度、军事地位直接相关。

。治所选址经历三次变迁：

郡域范围覆盖今赣南大部，属长江流域与珠江流域过渡地带。辖区调整反映历代中央政权对南岭地区的治理策略变化。