Un castello di Brazzacco è citato nel 983 dalla donazione fatta da Ottone II al Patriarca assieme ai castelli di Buia, Fagagna, Gruagno e Udine. Appartenne ai Brazzacco a partire dal XII secolo. Nel 1309 fu saccheggiato ed arso dalle milizie trevigiane dei da Camino. Ricostruito nel 1335, rimase ai Brazzacco fino al 1446, quando, estinto il casato, il castello passò ai Moruzzo che assunsero il cognome di Brazzà Inferiore. Nel 1443 entrambi i feudi furono assegnati ai Signori di Savorgnano-Cergneu-Brazzà. Nei famosi tumulti del giovedì grasso del 1511 il castello venne assaltato e saccheggiato dai locali. I due castelli di Brazzacco, lasciati in abbandono, caddero in rovina.
Nel Borgo di sant’Andrea sorgono l’omonima torre e la chiesetta castellana dedicata al santo, restaurate negli anni Ottanta: sono quanto rimane del castello Inferiore. Il Borgo si trova a poche centinaia di metri in linea d’aria dal castello Superiore di Brazzacco.
