江都郡始置于
南朝梁天监元年（502年），初治江都县（今
扬州市江都区），
东魏武定八年（550年）被废除。
隋大业元年（605年）重新设立江都郡，治所迁至
广陵县（今扬州），统辖范围横跨长江南北，涵盖今江苏、安徽两省交界地带。
隋炀帝曾三次巡幸江都，在此营建江都宫等建筑群，使其成为东南地区政治中心。唐代虽改郡为州，但江都的行政地位仍延续至五代时期。
南朝梁天监元年（502年）改
临江郡置江都郡，辖境包括今江苏扬州、
泰州两市部分地区，东魏武定八年（550年）废郡改置
广陵郡。隋开皇七年（587年）为筹备伐陈工程，开凿
山阳渎连通
淮河与
长江水道。大业元年（605年）隋炀帝拓浚
邗沟为
通济渠，同年将扬州改制为江都郡，下辖14县，地域范围北抵淮河、南达长江、东至黄海。
唐武德三年（620年）改江都郡为
兖州，七年（624年）更名邗州，九年（626年）复称扬州。
江都郡的行政区划突破自然地理屏障，将长江南北两岸地区统一管辖。隋代江都郡最北端到达淮河南岸的
淮阴县（今
淮安），最南端延伸至长江南岸的
丹徒县（今
镇江），形成南北纵深达200公里的管辖范围。
大业三年（607年）行政区划调整中，
润州所辖丹徒县并入江都郡，进一步强化了对长江渡口的控制。至大业元年（605年），江都郡统辖县数达14个，人口密度居全国前列。
郡内设有十处官办码头，其中广陵码头可同时停泊千石级漕船两百艘。
隋代在江都周边修建了规模宏大的仓储设施。
隋炀帝在位期间（604-618年）三次巡幸
江都，每次随行人员超过十万。为满足驻跸需求，营建了包括：
大业十二年（616年），隋炀帝最后一次驻跸江都达两年之久，期间在此处理全国军政事务。武德二年（619年），
宇文化及发动
兵变后，江都一度成为多个割据势力的争夺焦点。