Victor Schœlcher se fit d'abord connaître comme critique d'art. Il fréquentait les milieux artistiques de Paris au XIXe siècle. Eugène Delacroix, George Sand, Victor Hugo, les compositeurs Franz Liszt, Frédéric Chopin ou Hector Berlioz faisaient partie de son cercle d'amis. En 1883, il décide d'offrir à la Guadeloupe une partie de ses collections, amassées lors de ses nombreux voyages, dans
le but de permettre, aux pauvres comme aux riches, de pouvoir accéder à la culture et aux beaux-arts. Ces objets rapportés par Victor Schœlcher sont représentatifs des cultures et traditons populaires des pays qu'il a traversés. Sont aussi présentés des objets d'art parfois anciens, ou des objets témoins de l'esclavage. Le 21 juillet 1887, le musée Victor Schœlcher est inauguré
à Pointe-à-Pitre.