La villa de San Andrés fue durante el siglo XVI y parte del XVII la población más rica y floreciente después de la capital. Era el centro de una comarca dedicada a la exportación de vino y azúcar de caña que se embarcaba por el puerto de El Guindaste. Esta intensa actividad mercantil atrajo a numerosos comerciantes extranjeros, como portugueses, flamencos, catalanes y genoveses. Su preponderancia también se pone de manifiesto al ser el único pueblo de la isla, y Santa Cruz de La Palma, que tuvo Escribanos públicos.

Asimismo la primera escuela pública se crea en San Andrés por Real Provisión de la Audiencia de Canarias de 16 de febrero de 1805. En la calle principal, hoy calle de la Iglesia, y en todo el casco encontramos la parroquia de San Andrés que fue una de las primeras que se erigieron en la isla, y las casas de las familias mas pudientes de la Villa como Pinto, Álvarez de Silva, marqués de Guisla, Santa Cruz, González Sánchez (Buenamuerte), ... algunas conservan blasones en su fachada.

Estas construcciones pertenecientes a la arquitectura tradicional y popular canaria, son casas "altas y sobradadas" de las mas antiguas de la isla, construidas con gruesos muros de piedra y barro, con huecos en fachada dispuestos arbitrariamente atendiendo mas a las necesidades de ventilación e iluminación interior que a motivaciones estéticas, techumbres a cuatro aguas de madera y teja y un patio o huerta trasera y a veces un zaguán empedrado.

A los inmuebles mencionados anteriormente se suman otras construcciones con especial valor histórico y cultural como la capilla del Pilar, la ermita de San Sebastián, el cementerio antiguo y el Calvario y fuera del casco el horno de cal, el puerto de El Guindaste y los restos del antiguo convento franciscano de Nuestra Señora de la Piedad.