Rabenštejnská hradební věž byla dříve místem, kam se nikdo dobrovolně nehnal. Přízemí sloužilo jako vězení pro těžší zločince. Byla tam zima a tma. Odsouzený se dolů spouštěl, stejně tak chléb a voda. Hygiena žádná. Ve 20. století se konečně stala Rabenštejnská věž významnou gotickou památkou.
V zalomení Panské ulice stojí vysoká hradební věž zvaná Rabenštejnská (do češtiny někdy překládána jako Havraní, ale spíše šlo o někdejšího majitele Rabensteina, než o havraní kámen). V 19. století se na věž zaměřili podnikatelé a usilovali o její likvidaci. V roce 1867 žádal Adalbert Lanna ml. radnici o prodej věže na stavební místo. Naštěstí městská rada jeho žádost zamítla. Není však jasné, jestli rada měla na mysli památkovou hodnotu věže, nebo měla výhrady k aktivitám Lannů, kteří v tom čase bydleli již v Praze. (Adalbert Lanna ml. převzal podnik v roce 1866.)
Roku 1880 žádal mlynář ze Zadního mlýna Josef Kožíšek zbořit věž, která je podle něho zchátralá, zdivo hrozí zřícením a věž mu brání v příjezdu ke mlýnu. Trochu nebo dost přeháněl. Věž zřícením nehrozila. Rozhodující bylo to, co uvedl jako třetí důvod. Zbořením věže se uvolní prostor před mlýnem, který by zabral. Městská rada likvidaci věže zamítla, ale dosáhl alespoň toho (mlynáři a krupaři měli ve městě značný vliv, mimo jiné si v roce 1872 na radnici vydupali zboření gotické rybářské brány), že se zbořil klenutý podjezdový oblouk u věže.
K zamítnuté zboření věže vedlo radnici i to, že ve věži byly od roku 1841 zařízeny byty pro městské policajty a obecní zaměstnance. Vedle věže těsně nad Mlýnskou stokou byl v roce 1828 postaven empírový objekt městských stájí. Do přízemí věže vede dnes normální vchod, ale po staletí bylo přízemí přístupně pouze z patra otvorem v podlaze. Přízemí sloužilo jako vězení pro těžší zločince. Byla tam zima a tma. Odsouzený se dolů spouštěl, stejně tak chléb a voda. Hygiena žádná.
Naposled bylo vězení v provozu před rokem 1801, kdy si věž pronajal mlynář ze Zadního mlýna Johann Robl. Věž měl pronajatou do roku 1841. Skladoval dole nářadí a v suchých místnostech potraviny. Ve 20. století se konečně stala Rabenštejnská věž významnou gotickou památkou. Jen překvapilo, že jiná generace radních nechala zbořit v roce 1904 hradební věž Mandu s přilehlou hradbou a ochozem v Kněžské poblíž muzea, čímž ve městě zůstaly jen dvě hradební věže – Rabenštejnská a Železná panna. Nejvyšší podle vedut byla asi hradební věž Prašná na konci Kanovnické.
Rabenštejnská věž sloužila k obydlí ještě v 50. letech 20. století. Potom karatistům, podniku Textil, ale byla pořád zamknutá. V období c. k. bydlel ve věži Václav Kříž, což by nebylo nic zvláštního, kdyby nebyl výraznou postavičkou v centru města. Běžně se mu říkalo Venca Putna. Podle vzpomínek pana Hebíka z České ulice, které uchovává paní Pavla Hojdarová, byl Václav Kříž svobodný, částečně rozumově omezen, ale velmi pracovitý a šetrný. Pomáhal zvonit Pumerinem či Pumerkou na Černé věži, štípal lidem dříví, hrál na flašinet apod.
Nejvíce roznášel na zádech v uzavřené putně vodu ze studní a z kašen po domech. Každý den odpoledne a večer. Za jednu putnu dostával jeden krejcar, později dva. Někde svačinu. Nevychovaní kluci na něj pokřikovali „Venca putna pů“, nebo „Venca putna pů, zlatý jaro pů“.To ho rozčilovalo a kluky honil mezi pilíři v podloubí. Když kluka chytil, vždy se našel někdo, kdo kluka vykoupil za krejcar. Václav Kříž však peníze neutrácel, ukládal je do záložny.
Rabenštejnská a další věže a bašty zpevňovaly hradby. Město bylo nedobytné. Později Žižkovo vojsko obléhalo města, ale neodvážilo se. Jen usedlosti v okolí důkladně vyplenilo a odtáhlo plenit dál.
