En los comienzos de la historia, los vacceos, pueblo de estirpe celtibérica, levantaban sus poblaciones fortificadas con muros de tapial y adobe, en los leves alcores, dedicándose a la agricultura de cereales y resistiéndose férreamente al avance de los romanos. A esta época pertenecen los hallazgos encontrados aquí, entre los que se cuenta una necrópolis (Teso de los Ladrillos).

Es conocida desde el S. XII como “Villa Ardega”, que equivale a villa que está en la ribera del riachuelo cenagoso, cerca del río, o  que tiene mucho llagano.

La denominación de Villárdiga data del S. X. En 1130 era pueblo feudatario del monasterio de San Salvador de Villacet, de Belver de los Montes.

En los S. XII y XIII fueron propiedad de la Encomienda Templaria de Villalpando hasta la desaparición de la Orden, a mediados del siglo siguiente, en que pasaron a ser propiedad de Arnao de Solier, también señor de Villalpando, que donó el lugar (1371) a Bernard de Bartes, su vasallo, ambos de origen francés.