Cet édifice de style Louis XVI a été érigé en 1906 par l'architecte Maurice Nalet, à la demande de Victor Duhamel (l’oncle de l’écrivain Georges Duhamel) et de son épouse, pour accueillir les collections qu’ils avaient constituées au cours de leurs voyages en Europe, en Asie et en Afrique, et cédées à la ville.
A l'extérieur, les murs du pavillon présentent un appareillage en pierre de taille. Les décors sculptés à droite de l'entrée côté square figurent notamment l'architecte de l'édifice, Monsieur Nalet, et les époux Duhamel.
La porte est surmontée d'un tympan illustrant La Renommée couronnant les arts. Aujourd’hui, les collections du couple Duhamel (œuvres et objets d’art, céramiques européennes et orientales, objets mobiliers, des armures, des étoffes ou des souvenirs familiaux...) font l’objet d’expositions temporaires au musée de l’Hôtel-Dieu.
Après avoir été tour à tour un musée, une bibliothèque, puis une école de musique, ce bâtiment accueille aujourd’hui la Maison de la Mémoire, ainsi que des rencontres thématiques et des expositions temporaires.