Das Haus wird in den Jahrhunderten oft umgebaut, Ende des 16. Jahrhunderts weicht der ursprüngliche Stufengiebel einem aus Backstein, geschmückt mit reichen, aus hellem Sandstein gemeißelten Verzierungen. Die letzten Umbauten, insbesondere am benachbarten Haus Schwabe, finden erst 1891 ihr Ende. Jetzt erhält auch dieses einen ähnlich prächtigen Giebel im Stil der Renaissance, verwächst zu einer Einheit mit dem Schwarzhäupterhaus. Mit dem Rathaus gegenüber, der Rolandsstatue auf dem Marktplatz und der mit einem herrlichen Barockturm der vollendeten gotischen Petrikirche bildet es ein unverwechselbares Ensemble Rigenser Identität.