La maison de canal de l'Oudezijds Voorburgwal fut construite vers 1630. En 1661, le marchand catholique Jan Hartman (1619-1668), originaire d'Allemagne et enrichi à Amsterdam dans le commerce de linge et de bas, acheta le bâtiment ainsi que deux maisons adjacentes dans l'impasse Heintje Hoekssteeg.
Entre 1661 et 1663, il fit aménager les trois étages supérieurs des trois bâtiments en une seule église catholique, invisible de la rue.
À cette époque, depuis la prise du pouvoir calviniste en 1578, le culte catholique public était interdit à Amsterdam. La municipalité protestante tolérait cependant les "églises domestiques cachées" du moment qu'elles ne trahissaient aucun signe extérieur de leur existence.
Jan Hartman fit dédier son église à saint Nicolas, ancien patron de l'Oude Kerk et de la ville d'Amsterdam. L'église fut connue sous le nom du Cerf (armes de Hartman) puis sous le surnom Het Haantje.
Pendant plus de deux siècles, les fidèles catholiques montèrent discrètement ces escaliers pour assister à la messe, recevoir les sacrements et se marier.
L'orgue actuel, toujours en état de marche, fut construit par Hendrik Meyer en 1794 spécialement pour l'église. L'usage religieux prit fin en 1887 avec l'ouverture de la nouvelle église Saint-Nicolas.
Le 28 avril 1888, le bâtiment ouvrit ses portes au public sous le nom de Musée Amstelkring, devenant le deuxième plus ancien musée d'Amsterdam après le Rijksmuseum.
Il prit son nom actuel, Ons' Lieve Heer op Solder, au XIXe siècle. Le bâtiment est classé monument national (rijksmonument n°6107).