On accède à ce musée par l'Agnietenpoort (la porte Ste-Agnès) donnant dans la chapelle qui abritait autrefois le célèbre collège d'Athenaeum Illustre (fondé en 1632). Celui-ci devint plus tard université. La chapelle et les bâtiments voisins sont d'ailleurs toujours utilisés par l'actuelle Université d'Amsterdam. L'édifice accueille régulièrement des expositions temporaires.