Le Musée a été crée en 1862 par la toute jeune Société d’Etudes d’Avallon (S.E.A.). Ce sont des générations d’érudits locaux, collectionneurs et donateurs, souvent fort engagés dans la politique pour la République, qui ont rassemblé ces objets d’un grand intérêt historique et ethnographique. Ils se sont réunis dans une société d’études, symbole de la curiosité, de la vitalité intellectuelle et économique d’Avallon et ont permis la vie du musée.

D’abord situé dans la Tour de l’Horloge, il se déplacera en 1912, avec la municipalité, à l’Hôtel de Gouvenain.

C’est en 1971 que le Musée et la Bibliothèque s’installeront dans l’ancien collège, où de nombreux avallonnais ont suivi leurs études, avec une qualité d’enseignement qui semble y avoir été continue et soutenue.

Depuis 2002, le musée est labellisé :