En 1887, el presidente Miguel Juárez Celman creó el Departamento Nacional de Minas y Geología, dependiente del Ministerio de Agricultura de la Nación, y designó al ingeniero inglés Henry Hoskold (1829-1904) como su director.
Hoskold, además, fue Comisionado Especial de Minas y Metalurgia de la República y vocal del Jurado Internacional en la Exposición Universal de París (1889) y la Exposición Mundial de Chicago (1893). En ambas oportunidades tuvo la responsabilidad de organizar colecciones de rocas y minerales con muestras procedentes de distintas regiones del país.

Con estas colecciones, Hoskold dio inicio al Museo del Departamento Nacional de Minas y Geología.
“Desde mayo del año 1890 se ha prestado preferente atención al aumento de las muestras, y aunque no esté tan completo como debiera ser, es el más grande e importante museo de minerales en Buenos Aires” (Hoskold, 1891, p. 26).
Hoskold continuó su labor al frente del Departamento hasta su fallecimiento en 1904.
Ese mismo año, el presidente Manuel P. Quintana creó la Dirección de Minas, Geología e Hidrología, designando al ingeniero Enrique Hermitte (1871-1955) como su director, también bajo la órbita del Ministerio de Agricultura. Hermitte continuó el desarrollo del Museo iniciado por Hoskold, organizándolo en tres secciones:

● Una “sección instructiva”, compuesta por minerales y rocas destinadas a la enseñanza primaria y secundaria, formando así “colecciones escolares”.
● Una sección de “minerales de aplicación”, orientada a la industria.
● Una tercera sección, dedicada a colecciones geológicas, mineralógicas y paleontológicas.

Bajo la dirección de Hermitte, la institución y el Museo jugaron un papel clave en la formación de nuevas generaciones de geólogos y geólogas, en sintonía con la creación de la carrera de Geología en la Universidad de Buenos Aires.

La primera sede del Museo estuvo en Maipú 1241, Ciudad de Buenos Aires, hasta 1931, cuando el edificio fue demolido debido a las obras de ampliación de la Plaza San Martín. La Dirección de Minas, Geología e Hidrología se trasladó a Perú 562, donde el Museo continuó funcionando.
Entre 1974 y 1975, ya como Servicio Geológico Minero Nacional, la institución se trasladó a Avenida Santa Fe 1548, aunque en esa nueva sede no hubo espacio para el Museo. Posteriormente, se mudó al edificio de la Secretaría de Industria (Av. Julio A. Roca 651), donde —a partir de 2004— y ya como Servicio Geológico Minero Argentino (SEGEMAR), se reactivó el Museo, inaugurando su segunda etapa.

Esta etapa se caracterizó por una orientación pedagógica hacia el público escolar, con exposiciones temáticas, interactivas e itinerantes en diversas provincias, además de talleres y eventos destinados a acercar a la comunidad a la actividad minera nacional.