Lieu de retraite spirituelle du couple souverain espagnol Isabelle et Ferdinand, le Retiro se transforma en palais des plaisirs sous le règne de Philippe IV, moins pieux.
Construit par son valido (l'équivalent du Premier ministre), le comte-duque d'Olivares, plus de vingt bâtiments furent érigés entre 1630 et 1660 pour satisfaire les goûts du roi, amateur de bals, de théâtre et de reconstitutions de batailles navales sur le lac central du parc.
Le Palacio de Velázquez n'est pas le seul musée Reina Sofía des environs. Plus au sud, vous découvrirez le Palacio de Cristal, une immense serre construite en 1887 pour abriter des plantes importées des Philippines, alors colonie espagnole. Malheureusement, à cette époque, des Philippins furent également déportés et contraints de vivre dans leur « habitat naturel », au bord du bassin ornemental. L'histoire sombre de ce zoo humain a été justement exposée et condamnée lors d'une exposition de 2021 de l'artiste philippin Kidlat Tahimik, organisée dans cet espace.