汉代首创此职为
州刺史属官，主要职责为陪同刺史巡视辖境，因可另乘专车区别于其他属官而得名。
魏晋南北朝时期延续设置，东晋
庾亮。
隋朝初期废除郡级建制后，改设长史替代别驾。
唐高祖武德年间恢复旧制，至
高宗永徽年间再度改制为长史，并专设亲王遥领的特殊任职形式。宋代虽未直接设置该职，但通判行使相似职能，故民间仍习称通判为别驾。
作为刺史重要僚佐，除常规文书处理与监察职责外，需全程参与年度巡行。东晋文献显示其可代行部分刺史职权，在钱粮调度、官员考核等事务中具有决策参与权。唐代规定亲王领衔的别驾需配备专属治所与属官体系。