L'église de Kish est située à Kish, à quelques kilomètres de la ville de Sheki. En 550 av. J.-C., Atrobats, gouverneur mède de l'Empire perse, nomma l'endroit « Azerbaïdjan », signifiant « protégé par le feu ». Au IVe siècle apr. J.-C., une tribu se faisant appeler les Arran fonda le royaume d'Albanie, dont le territoire s'étendait sur les montagnes du Caucase. Ses habitants se convertirent progressivement du zoroastrisme perse au christianisme. À partir du VIIe siècle apr. J.-C., le royaume d'Albanie fut successivement conquis par les Arabes, les Mongols, les Timourides et l'Empire ottoman, avant de disparaître complètement de l'histoire. La fragmentation du territoire entre la Perse, l'Empire ottoman et la Russie, du XVIe au XVIIIe siècle, est une des principales raisons de la division actuelle de l'Azerbaïdjan en trois pays. Le royaume albanais du Caucase couvrait autrefois une grande partie du nord de l'Azerbaïdjan, mais les documents historiques et les sites antiques qui lui sont liés sont rares, ce qui confère à cette église une importance culturelle particulière. Les Azerbaïdjanais cherchent depuis longtemps à effacer les traces de la présence arménienne sur leur territoire, affirmant que ces régions font « partie intégrante de l'Azerbaïdjan depuis l'Antiquité ». L'église a été transformée en Musée du Caucase albanais, retraçant le passé complexe de la région caucasienne. Son intérieur expose des vestiges historiques, et les visiteurs peuvent apercevoir des vestiges antiques à travers des fenêtres percées dans le sol.