El Colegio San Ildefonso (orfanato hasta que llegó la Democracia) es uno de los más antiguos de Madrid. Ubicado al principio en el número 3 de la Carrera de San Francisco, fue también conocido como Colegio de Niños de la Doctrina y popularmente llamado de los Doctrinos.
Aunque no se sabe la fecha exacta de su fundación, gran parte de los historiadores lo han datado en el último tercio del siglo XV, coincidiendo con el reinado de los Reyes Católicos. También se desconoce a ciencia cierta por qué son sus alumnos los que cantan la lotería.
Una de las posibilidades que barajadas por los responsables del centro es que los niños, conocidos como "doctrinos", cantaban por las plazas la doctrina cristiana. Cuando tuvo lugar el primer sorteo, los responsables de la lotería, al ser un colectivo de los más favorecidos en la ciudad, decidieron que fueran estos niños los que cantaran, recibiendo a cambio una limosna.
