Le bâtiment qui abrite le musée est l'un des monuments civils les plus impressionnants du Siècle d'Or. L'Arsenal (en néerlandais : 's Lands Zeemagazijn) fut construit entre 1656 et 1662 sur l'île artificielle de Kattenburg, conçue spécifiquement pour les chantiers navals et entrepôts de la marine.
L'architecte de la ville Daniel Stalpaert en dessina les plans : un carré massif en brique et grès de 135 mètres de côté, reposant sur environ 2 300 pieux en bois, entouré d'eau sur trois côtés pour des raisons de sécurité.
L'Arsenal servit à stocker tout ce dont la flotte de guerre néerlandaise avait besoin : canons, voiles, drapeaux, cordages, et dans ses caves voûtées jusqu'à 40 000 litres d'eau de pluie collectée pour alimenter les équipages en eau potable. Il fut utilisé comme entrepôt naval pendant plus de trois siècles, jusqu'au début des années 1970.
L'institution muséale, elle, naquit bien plus tôt. Le 10 mai 1916, dans la foulée du succès de la première Exposition néerlandaise de navigation de 1913, des armateurs et passionnés fondèrent la Vereeniging Nederlandsch Historisch Scheepvaart Museum.
Les premières acquisitions incluaient des toiles de grands peintres marins : Hendrick Vroom, Ludolf Bakhuizen, Willem van de Velde père et fils.
En 1972, l'Arsenal fut transformé en musée et le 13 avril 1973, la princesse Beatrix inaugura officiellement le Musée Maritime Néerlandais dans ses nouveaux locaux.
Entre 2007 et 2011, le musée ferma pour une rénovation majeure conduite par l'architecte Liesbeth van der Pol (Dok architects), qui couvrit la cour intérieure d'une spectaculaire verrière en étoile et remodelisa l'accueil, le restaurant et la bibliothèque.
La réouverture en 2011 marqua une nouvelle ère pour l'un des grands musées maritimes du monde.