Der vom natürlichen Gelände vorgegebene Bauplatz wird von einer umlaufenden Ringmauer begrenzt, an die sich verschiedene, zumeist im frühen 16. Jahrhundert ausgebaute Wohngebäude anlehnen. Die Wehranlagen um den Torturm (15. Jahrhundert) sind von burgenkundlicher Bedeutung.
Von der Innenausstattung sind in erster Linie die gotischen Fresken der Kapelle mit einer seltenen Deesis und die vielen holzvertäfelten und wohnlich ausgestatteten Räume zu nennen. Im 19. und 20. Jahrhundert wurden behutsame Restaurierungen vorgenommen.
In der Nachfolge der sogenannten “Burg Tobel” um 1100 wird um 1225 die heutige Burg Taufers zum ersten Mal erwähnt. Rund um 1315 waren die Herren von Taufers im Besitz des Schlosses, doch als die Familie ausstarb (1349), verfiel das Gebäude zusehends. Damals bestand die Burg lediglich aus einem Bergfried, dem Palas, einem Wohnturm und einem weiteren Gebäude. Erst unter den Herzögen von Österreich wurde die Burg im 15. Jahrhundert ausgebaut. Ludwig Lobmayr renovierte Schloss Taufers zum ersten Mal zu Beginn des 20. Jahrhunderts und 1945 sorgte Hieronymus Gassner dafür, dass die Anlage intakt blieb.
Der romanische Teil stammt aus der Zeit der Herren von Taufers währende der gotische Teil von den Brixner Bischöfen erbaut wurde. Bergfried, Wohnturm mit Doppelbogenfenstern und die romanische Burgkapelle stammen aus dem ersten Bau im 13. Jahrhundert. Die neue Zubauten wie z.B. das Brunnenhaus, Zugbrücken und Wehrgänge kamen nach 1500 erst dazu. 1977 entstand auf Schloss Taufers das Südtiroler Burgeninstitut.
Ein großer Teil der Anlage ist heute für die Öffentlichkeit zugänglich. Die Einrichtung ist in den 64 Räumen fast vollständig erhalten und alte Kachelöfen beheizen die Wohnräume. Zirbelholztäfelung, die “Pacher-Fresken” in der Kapelle, Schränke aus den verschiedenen Kunstepochen, Rüstungen und eine große Bibliothek bieten dem Besucher einen kleine Einblick in die Geschichte der Burg.