Na počátku byl brod v pustém pohraničí, kterým překonávala řeku Sázavu tzv. Haberská stezka, obchodní komunikace spojující Čechy s Moravou. Vznik města v tomto místě souvisel s objevem ložisek stříbrných rud v polovině 13. století; podle majitele půdy se mu nejprve začalo říkat Smilův Brod, potom nakrátko Křižovnický (byla tady komenda německých křižovníků) a od roku 1308 Německý Brod, protože převahu tu měli němečtí horníci. Město zažilo rychlou konjunkturu, po ní však přišel neméně rychlý úpadek, když zdejší ložiska nemohla konkurovat kutnohorským. Podle dalšího běhu událostí by se pak dal napsat dost poutavý thriller.
V roce 1340 velkou část města zničil oheň, o necelé století později Brodští vsadili na Zikmunda a domov jim pobořili husité. Potom sice následovalo století „zlatého věku“, ale po Bílé hoře přicházejí morové rány, k tomu vpád švédského vojska, a roku 1662 lehne v jeden den popelem 64 domů, 16 domků plus radnice, pivovar a kostel se špitálem. Uplyne půlstoletí a město pro změnu poničí vzdutá Sázava – „povodeň přehrozná“, jak se na ni ještě dlouho vzpomíná.
Touto pohromou by musel thriller skončit, další podobné už město nezasáhly. Ostatně ani nemohly, vždyť právě na ochranu proti nim byl v roce 1717 na hlavním náměstí vztyčen a vysvěcen nový mariánský sloup. Pojistka neměla slabinu – sv. Ondřej chránil Brodské před morem, sv. Florian před ohněm, sv. Jan Nepomucký měl na starosti povodně a sv. Václav hladomor. Kvarteto světců rozestavené na podstavci navíc ještě ze špice sloupu zajišťovala Panna Marie. Město se mohlo bez obav rozrůstat.
Co se stavebních památek týká, Havlíčkův Brod patří k těm městům, kde je téměř vše podstatné soustředěno na hlavním náměstí a v jeho nejbližším okolí. Brodské Havlíčkovo náměstí navíc náleží k nejkrásnějším u nás – má zhruba čtvercový půdorys, který ze všech stran uzavírá fronta renesančních a barokních domů, vesměs jednopatrových se štíty v průčelích. V severovýchodního rohu dává náměstí jiný rozměr vysoká robustní věž děkanského chrámu Nanebevzetí Panny Marie, na jejíž ochoz se vyplatí vystoupat kvůli mimořádnému výhledu. Ve věži si zároveň můžeme prohlédnout bezmála dvoutunový zvon Vilém. O něm se ví, že je jedním z nejstarších dochovaných zvonů v Česku, o jeho původu (do Brodu byl přenesen odjinud), stejně jako o přibližném datumu odlití, se však dosud diskutuje.
Co bohužel vidět nelze, to jsou hluboká sklepení domů, některá zasahující podzemím až ke středu náměstí. Jinak jsou ale nejzajímavější dva domy – jednak Malinův dům (čp.50), původně renesanční, s nádhernou pozdně barokní fasádou, a potom Havlíčkův dům, původně gotický z 15. století. Typický arkýř s věžičkou v nároží byl přistavěn v 17. století, později dům prošel ještě novogotickými úpravami.
Když Karel Havlíček začal v roce 1831 chodit v Německém Brodě do školy, bydlel v podnájmu, jeho otec Matěj však následující rok tento dům koupil a z Borové se do něj přestěhoval i se svou kupeckou živno…