La belleza del lugar y la abundante caza fueron decisivas a la hora de elegir el emplazamiento del futuro palacio y jardines.

Teodoro Ardemans, arquitecto formado en el estilo madrileño de los Austrias, fue el encargado de convertir el edificio conventual en un pequeño palacio adosado a un magnífico templo y flanqueado por cuatro torres con chapiteles de pizarra. Lo más significativo de este edificio es su fachada al jardín, obra de F. Juvara.

Durante el reinado de Carlos III el Real Sitio adquirió su carácter definitivo. Al "rey arquitecto" se debe, en gran parte, la ordenación de San Ildefonso, y después de él es poco y sin valor lo que se ha agregado. Durante los siglos XVIII y XIX San Ildefonso se convierte en residencia estival de los Borbones.

Actualmente en este Palacio se desarrollan determinados actos institucionales.

JARDINES DE LA GRANJA

La obra de jardinería se encomendó a un equipo francés procedente de Versalles, en el que destacan nombres como Renato Carlier, Esteban Marchand y Esteban Boutelou. Los alrededores del Palacio están dispuestos en parterres, entre los que se ven jarrones, estatuas y fuentes que rodean estanques y cascadas. Las plantaciones de tilos, castaños, fresnos, olmos y coníferas están separadas por avenidas que se cortan, en cuyas intersecciones suele haber una fuente o un pabellón.