秦置，地位仅次于丞相。

战国时各国相继设御史，为国君左右掌文书和记录诸事的官员。因日亲君侧，也起秘书监察作用。

秦统一后，设御史大夫，为御史之长官，亦为丞相之贰。职权为“掌图籍秘书，外督部刺史，内领侍御史员十五人，受公卿奏事，举劾按章”。丞相有缺，则由其递补，故有副丞相之称，并与丞相、太尉合称三公。其属官有御史中臣、侍御史等。

此外，西汉初在诸侯国内也设御史大夫，督察封国内官吏。汉成帝苏、绥和年间改御史大夫为大司空，哀帝建平年间复为御史大夫，元寿二年（公元前1年）复改称大司空。

东汉光武帝时，又改大司空为司空，与司徒、太尉仍号三公。至此御史大夫已演变成执政官之一。督察百官之职则为御史中臣所取代。御史中臣遂为御史台之主。

至隋代复置御史大夫，但此时只是御史中臣的改名而已。

唐沿隋制，于御史台设御史大夫一人，为御史台长，掌承风化，典法度，监察百官，下设台院、殿院、及察院。

但自唐以后，御史大夫名位虽重，实权则已减轻。故宋元后或阙而不补，或虚存其名。

明初御史台下设有左、右御史大夫。洪武十五年（公元1382年）朱元璋改御史台为都察院，以左右都御史、副都御史、佥都御史为长官，御史大夫遂废。

清亦未设。