La maison du Keizersgracht 672 fut construite en 1672 sur les plans de l'architecte Adriaen Dortsman, l'un des grands noms de l'architecture classique amsterdamoise du XVIIe siècle.
Son premier habitant fut Ferdinand Bol, peintre et élève de Rembrandt, qui y vécut jusqu'en 1680. La maison passa ensuite entre les mains de plusieurs riches familles de marchands, reflet de la prospérité du Siècle d'Or.
La famille Van Loon, dont le musée porte le nom, s'y installa en 1884. Ses origines remontent au XVIIe siècle : Willem van Loon fut en 1602 l'un des cofondateurs de la VOC (Compagnie des Indes orientales néerlandaises).
Ses descendants occupèrent des fonctions de bourgmestres d'Amsterdam, de directeurs de la WIC et de la Société du Suriname. La famille fut anoblie au XIXe siècle.
Pendant près de trois siècles, la maison fut habitée sans interruption, accumulant mobilier, portraits, argenterie et porcelaine au fil des générations.
Cet héritage intact est ce qui rend la collection du musée si précieuse : elle n'a jamais été dispersée ni reconstituée artificiellement.
En 1973, Maurits van Loon ouvrit les portes de la maison familiale au public, faisant du lieu l'un des rares grachtenpanden d'Amsterdam visitable dans son état d'origine. Le jardin à la française et la remise à carrosses derrière la maison sont également conservés dans leur configuration historique, un ensemble unique sur les canaux d'Amsterdam.