We weten dat de Romeinen de kunst van het bouwen met steen beheersten. Rond het begin van de jaartelling voerden zij dit ook in de Nederlanden in. Deze bouwkunst werd niet direct overgenomen. Hier werden nog lange tijd houten huizen gebouwd, zodat we tot de twaalfde eeuw niet weten hoe de mensen precies woonden. Er is niet veel bewaard gebleven.
Pas in de twaalfde eeuw is men in deze omgeving begonnen stenen te bakken. Deze werden toen alleen maar gebruikt voor het bouwen van kerken, kastelen en later (ter vervanging van de aarde wallen) de stadsmuren. Maar al snel werden ook de huizen van de zeer rijken uit steen opgetrokken. De meeste andere inwoners woonden in huizen die gebouwd waren van hout, leem en stro. Een middeleeuwse stad was door deze houten woningen zeer vatbaar voor brand. Het kleinste brandje kon al rampzalige gevolgen hebben en een halve stad in as leggen. In 1361 en in 1438, brandde bijvoorbeeld Gouda bijna helemaal af. In de middeleeuwen waren ook in Culemborg de huizen bijna allemaal van hout. Slechts een beperkt aantal huizen waren van steen. Bijvoorbeeld het kasteeltje van de Heren van Culemborg dat toen op de plaats van het Elisabeth Weeshuis stond. In 1422 werd ook Culemborg getroffen door een brand die de halve stad in as legde, waaronder het St. Pietersgasthuis en de Barbarakerk.
De stad werd na de brand weer snel opgebouwd en werden er regels uitgevaardigd om brand zoveel mogelijk te voorkomen. Zo werden de burgers bijvoorbeeld verplicht de rieten daken en de zijkanten van de huizen met leem te bestrijken. Ook mocht in de kleine huizen geen open vuur worden gestookt. De plaatselijke overheid zag nog liever, dat de mensen hun huizen van steen bouwden. Geleidelijk kwamen er ook wel meer stenen huizen maar het heeft nog een aantal eeuwen geduurd voordat alle houten behuizing uit Culemborg was verdwenen.
Doordat er meer stenen huizen kwamen nam ook de vraag naar stenen toe en moesten er een of meer steenovens komen. Hoe en waar de stenen in die periode werden gebakken is niet bekend. De meeste steenbakkerijen waren erg primitief en zullen wel dicht in de buurt van het te bouwen huis hebben gestaan. Op een meer professionelere steenoven zal Voet van Oudheusden doelen als zij in hun boek “Historische Beschryvinge Van Culemborg” (pag.501) verwijzen naar een in 1532 bestaande steenoven. Zij schrijven: “In den eersten, op een mergen landts by den steenoven, in erf-pachte gegeven Jan Splinter”.
Op de plattegrond uit 1760, die Jacob Perrenot van Culemborg heeft getekend, staat aan de oever van de Lek duidelijk een steenoven compleet met droogstellingen. Deze steenoven is door de eeuwen heen aangepast en verbouwd maar heeft tot 1974 altijd op deze plaats gestaan.
Het werken op de steenoven was vaak zwaar en werd slecht betaald. Veel werk moest met de hand worden gedaan. Zo moesten bijvoorbeeld de kolen tegen een stijle muur worden opgesjouwd. Na de tweede Wereldoorlog is er achter de eigenlijke oven een fabriekshal gebouwd om de productie te automatiseren.
De benodigde klei voor de steenoven werd aangevoerd vanaf de kleihaven. Deze lag aan de Schalkwijkse kant van de Lek. Hier werd de klei afgegraven en door lorries in de schepen gestort, die het dan naar de Culemborgse steenoven vervoerden. Daar aangekomen werd de klei gelost door twee grote kranen.
In 1974 produceerde de steenoven in Culemborg een miljoen metselstenen per jaar en werkten er 30 mensen. Het bericht van de sluiting kwam als een donderslag bij heldere hemel. De Culemborgse steenoven behoorde met zijn miljoen stenen echter tot de kleinere stenenindustrieën en kon zichzelf niet meer bedruipen.
