Comme pour la plupart des races de chiens russes, les cynophiles ont toujours rencontré des difficultés quand ils ont essayé d’obtenir des informations sur l’origine et l’histoire des chiens de l’ex-Union Soviétique. Depuis la chute du mur de Berlin et le développement d’élevages en Europe occidentale, les contacts sont à présent plus faciles, mais les Russes eux-mêmes n’ont pas d’informations précises parce que cette race a été principalement élevée par les bergers caucasiens et qu’elle était pratiquement inconnue hors de son habitat.

Son existence remonterait à au moins 2 500 ans, voire plus : c’est une des races les plus anciennes sur terre ! Il était traditionnellement employé par les Russes et les habitants dans les régions de montagne entre la Turquie et l'Iran, entre la mer Caspienne et la mer Noire. Le Berger du Caucase avait pour rôle de guider et protéger les troupeaux contre les grands prédateurs comme le loup, l'ours ou encore le lynx. Il était alors soumis à des conditions de vie extrêmes ainsi qu’à une lutte constante contre les prédateurs.
Ces conditions ont influencé sa construction ainsi que son caractère, le rendant fort, sans crainte et lui apprenant à économiser son énergie.

Son origine est plutôt méconnue mais c'est un chien qui n'a quasiment pas changé depuis 2000 ans. Son ancêtre pourrait être le berger géorgien plus connu sous le nom de « tarti », issu du croisement entre un loup et un chien des montagnes ou des anciens Mâtins tibétains.

La sélection de la race a commencé en ex-URSS à partir des années 1920, mais elle n'apparut en Europe qu'en 1930, lors d'une exposition à Nuremberg. Ce n'est qu'à partir des années soixante que les premiers spécimens de cette race font leur entrée en Europe. Ils ont commencé à apparaître sur les rings internationaux à partir de 1979. Le standard de la race a été établi en 1985. Cependant, il reste assez rare en France.

Dans l'ex-RDA, ces chiens étaient affectés à la surveillance des frontières du pays, et notamment du mur de Berlin. Lorsque le mur est tombé en 1989, les chiens - environ 700 - ont été fusillés et quelques chanceux, souvent des chiots, ont été volés par des soldats et soigneurs qui les ont ramenés dans leur famille à travers toute l'Allemagne.

Utilisés dans les prisons de Russie pour surveiller les prisonniers, les Bergers du Caucase étaient auparavant utilisés pour la défense de l'Armée Rouge.
Aujourd’hui, les principales régions de présence des Bergers du Caucase sont les républiques fédérées de Géorgie, Arménie, Azerbaïdjan, les républiques autonomes du Kabardino-Balkarie, du Daghestan et de Kalmoukie, les régions de steppes du Caucase du Nord et des environs d’Astrakhan.