Postavena v roce 1516 na místě stržené, dřevěné Zákostelské brány. Stavbou brány zahájena stavba kamenných městských hradeb. Bránu stavěl kameník Jan, krov svázal mistr Jakub Městecký. Do dnešní podoby upravena brána v roce 1903 stavitelem Ed. Sochorem z Prahy podle návrhu architekta L. Láblera. V současnosti umístěna v interiéru expozice o historii rakovnických ostrostřelců.
Stavba je ve zdivu nejspíše již pozdně gotického původu. Zmínka o výstavbě radnice k roku 1515 a 1534 se již podle všeho vztahuje k této budově. Koncem 16. století radnice otočena do náměstí dvěma dřevěnými štíty, zřejmě teprve roku 1608 položeny základy zděné věže. Těžké poškození za třicetileté války a požáry města v letech 1733 a 1753 podnítily další úpravy a přestavby, dovršené teprve po polovině 18. století. V roce 1801 dostala budova nový krov, další opravy zaznamenány v průběhu 19. století a v roce 1906. V průčelí radnice umístěna pamětní deska Sixta z Ottersdorfu z konce 19. století.
V domě čp. 124 (podle domovního znamení označovaného jako dům U červeného raka) se v roce 1894 narodil Bohumil Heinz, světový rytec poštovních známek a bankovek. Zemřel 1940. V domě býval obchod s výrobky továrny Františka Otty, jak dosud připomíná nápis v průčelí.
Projekt na stavbu sokolovny vypracoval v roce 1912 architekt Otakar Novotný, postavena v roce 1913. Pro obložení fasády bílými cihlami se pro sokolovnu vžilo pojmenování „Bílý dům“.
Stavba věže zahájena v roce 1517, v roce 1524 věž omítnuta. Věž stavěl pražský mistr Jan Chochola. Na stavbu použit pískovec z Hlavačova a Tuchořic, opuka z Mutějovic a vápno ze Džbánu. Cihly pálil městský cihlář a Pavel Skalník a Klatovský. V roce 1522 dokončena stavba zdí, rok nato osadil mistr Vít kamenný ochoz, do jehož podprsníku vytesal znaky městských cechů. V roce 1524 věž omítnuta mistrem Vítem, krov vázal mistr Jakub. Střecha pokryta břidlicí z Rabštejna mistrem Kunratem z Mělníka a mistrem Adamem. V následujících stoletích několikrát opravována, v roce 1849 připojen k vazbě přístřešek nad ochozem. Ten odstraněn při poslední velké opravě věže v letech 1905/6 stavitelem Ed. Sochorem z prahy podle návrhu architekta L. Láblera. Původní podprsník s cechovními znaky umístěn v lapidáriu muzea. V současnosti využívána věž jako vyhlídková, v interiéru umístěna expozice gotických deskových oltářních obrazů a fotografií starého Rakovníka.