Ve sklepě kasáren byl vězněn básník Fráňa Šrámek. Vzpomínal, jak vídal jen nohy přátel

Základní kámen původně Ferdinandových kasáren byl slavnostně položen dne 30. května 1843. V následujícím roce bylo do kasáren soustředěno vojsko ve městě, které do té doby bylo ubytováno v různých upravených objektech a domech měšťanů. Právě budějovičtí právováreční měšťané nechali kasárny postavit, čímž se zbavili problematické povinnosti vojáky ubytovávat a živit ve svých domech. O vojsko však zase přijít nechtěli, poněvadž vojáci byli významní spotřebitelé piva, ze kterého měli právovárečníci podíl zisku.

Stálá vojenská posádka byla ve městě zavedena v roce 1663 a umístěna v soukromých domech v souvislosti s nebezpečím nájezdu Turků. Až v roce 1776 se měšťanům troch finančně ulevilo, když vojsko platilo alespoň roční nájemné. Polní dělostřelectvo získalo v roce 1786 zrušený areál kostela sv. Václava v Krajinské. Ferdinandovy kasárny byly v roce 1774 zestátněny a přejmenovány na Mariánské (to již poblíž stálo mariánské sousoší). Po roce 1919 tyly přejmenovány na Švecovy a po roce 1948 na Švermovy, ale stejně se používal termín Mariánské. Též pro náměstí.

Právovárečníci zadali stavbu kasáren městskému staviteli Josefu Sandnerovi. Současně požadovali, aby budova, když ji financovali, reprezentovala je i město. Vzniknul klasicistní objekt podobný normálním domům, jaké se v tom čase ve městě stavěly (ústav hluchoněmých, stará nemocnice, kamerál, Stechrův dům, okresní soud v Široké a jiné), přesněji domům jejímž autorem byl většinou Josef Sandner.

Ještě před stavbou kasáren vykoupili právovárečníci v těch místech starší domky. Vedle vpravo na Mariánském náměstí přiléhal ke kasárnám zájezdní hostinec U bílé růže, který byl zbořen v roce 1992 a poté tam postavena Strnadova akademie. Do Bílé růže chodili vojíni a nižší šarže na pivo, což bylo pro právovárečníky přínosné. Pro vojáky to bylo výhodné, že odtud vždy doběhli do kasáren do večerky. Zajímavé je, že spisovatel Jaroslav Hašek, sloužící zde v roce 1915 a jehož pohyb po budějckých hospodách je dost dobře zmapován, do Bílé růže chodil výjimečně.       

Za Jaroslava Haška sídlil v kasárnách známý 91. pěší pluk, který byl i s Jaroslavem Haškem přeložen 2. června 1915 do Brucku na Litavou. V kasárnách se pořád něco dělo. Navíc vrcholila 1. světová válka a nervozita aparátu c. k. V letech 1913 až 1930 bydlel v domě U bílé růže kapelník a hudební pedagog Antoním Hejda. Ve svých pamětech uvádí, že dvůr Bílé růže byl od kasárenského dvora oddělen vysokou zdí. V roce 1918 (neuvedl přesně kdy, asi hned po pádu c. k.) si lidi přistavěli ke zdi žebříky a dívali se na kasárenské nádvoří. Stály tam šibenice a snad tam ještě viseli nešťastníci. To však osobně Antonín Hejda zřejmě neviděl, jinak by zavzpomínal, že po žebříku také vylezl a viděl to. Režim c. k. krutě trestal vojáky Čechy za války a zejména ke konci války za každou maličkost.

V letech 1919 a 1920 se v rámci oslav nového Československa vysazovaly ve městech i na venkově lípy svobody. Naše lípa svobody byla vysazena před Mariánskými kasárnami a pod její kořeny bylo uloženo kovové pouzdro s tzv. časovou schránkou s pamětním zápisem a oslavnou ódou. Lípa před kasárnami roste dodnes a pouzdro v zemi mezi kořeny by mělo stále existovat. Jde o lípu první v řadě vlevo, pod kterou býval silniční kilometrovník (dnes stojí u přechodu z Krajinské).

Ve sklepě kasáren byl v srpnu až říjnu 1905 vězněn básník Fráňa Šrámek. Později vzpomínal, jak úzkým okénkem při stropě vídal jen nohy přátel na Husově třídě, kteří mu přišli zazpívat.