Początki osady sięgają XI wieku. Na jednym ze wzgórz istniała osada zwana Wietrzną Górą, należąca do zakonu benedyktynów. W 1181 roku Kazimierz Sprawiedliwy przekazał osadę norbertankom z podkrakowskiego Zwierzyńca. Norbertanki zmieniły nazwę osady na Kazimierz (imię darczyńcy). Nazwa została odnotowana w kronikach po raz pierwszy w 1249 roku, a przymiotnik "Dolny" został dodany w latach późniejszych, w celu odróżnienia osady (w dolnym biegu rzeki, choć tak naprawdę jest to bieg środkowy) od Kazimierza, założonego pod Krakowem (w górnym biegu rzeki). Po około 150 latach osada i okoliczne wsie stały się dobrami korony.

Wszystkie budowle kazimierskie zostały wzniesione z miękkiego, łatwego w obróbce miejscowego wapienia. Ten materiał pozwalał na wyjątkowo bogate, pełne fantazji zdobienie fasad. Budowniczowie kamienic prześcigali się w pomysłach zdobienia, mających niewiele wspólnego z klasyczną architekturą renesansu.
Kamienice były kryte stromymi dachami pochylonymi ku środkowi i osłoniętymi od ulicy niezwykle wysokimi attykami. Powierzchnię attyk również pokrywała bogata dekoracja, a górną krawędź wieńczyły kamienne pinakle i woluty.