Die anfangs noch bescheidene Sammlung des Historischen Vereins, die vorwiegend durch Schenkungen von Gönnern entstanden war, vermehrte sich durch die Funde der Grabungen in der Kaiserpfalz von 1909/1910. Zusätzlich bemühte sich der Verein, historisch bedeutsame regionale Gegenstände anzukaufen, um sie in Ingelheimer Besitz zu halten.
Bald war der Bestand an ausstellungswürdigen Stücken so angewachsen, dass Räumlichkeiten für ein Museum erforderlich wurden. 1913 konnte ein Heimatmuseum im ehemaligen Schulgebäude am Nieder-Ingelheimer Rathausplatz eingerichtet werden.
Im September 1917 erfuhr das Museum durch eine Schenkung Caroline von Erlangers eine Erweiterung. Sie übergab der Gemeinde Nieder-Ingelheim einen Teil der Sammlung von zoologischen Präparaten ihres Sohnes Carlo von Erlanger. Der bekannte Afrikaforscher und Ornithologe war 1904 bei einem Autounfall ums Leben gekommen.

Nach dem Ersten Weltkrieg wurde das Museum geschlossen und konnte erst Anfang der dreißiger Jahre wiedereröffnet werden – allerdings nur für kurze Zeit. 1935 beanspruchte die NSDAP das Gebäude für sich, sodass die Exponate ausgelagert werden mussten. Dabei erlitt die Sammlung, zum Teil durch unsachgemäße Aufbewahrung, etliche Verluste.

1948 stellte die Stadt anlässlich der Tausendjahrfeier der Reichssynode unter Kaiser Otto dem Großen für die Wiedereröffnung des Museums Räume im ehemaligen Gasthaus zum Löwen und in der ehemaligen Kleinkinderschule hinter dem Nieder-Ingelheimer Rathaus zur Verfügung. Es gab jedoch keine geregelten Öffnungszeiten.

In den folgenden Jahren wurde mit einer Zuwendung des Kultusministeriums eine Steinhalle für die Sammlung von Steindenkmälern errichtet. Die gesamten Be-stände der Carlo von Erlanger-Sammlung wurden katalogisiert und neu beschriftet. 1961 konnte man die Neueröffnung des Zoologischen Museums im alten Gymnasium in Ober-Ingelheim feiern.
Da die Räume von der Sonderschule beansprucht wurden, musste die Sammlung 1966 wieder umziehen. Sie kam in den Saal Wenzel hinter dem alten Rathaus in Ober-Ingelheim, wo eine sachgemäße Aufbewahrung nicht möglich war. Zum 100. Geburtstag Carlo von Erlangers 1972 befand sich die Ausstellung noch dort.
Aufgrund der Kritik an der mangelhaften Unterbringung erfolgte ein weiterer Umzug der Sammlung in einen Raum der Kurt-Schuhmacher-Schule, wo sie nur noch gelegentlich von Schulklassen besucht wurde.

Wegen Platzbedarfs der Stadt musste 1976 auch das Historische Museum aus den Räumen ausgelagert werden. Nach dem Bau des neuen Rathauses sollte zunächst das alte Nieder-Ingelheimer Rathaus als Standort für das Museum dienen. Die Planungen und Diskussionen um den neuen Museumsstandort zogen sich über mehrere Jahre hin.
Träger des Museums sind seit 1991 die Stadt Ingelheim und der Historische Verein gemeinsam. 1992 wurde die Stelle der Museumsleitung hauptamtlich besetzt und ein Museumsbeirat aus zehn städtischen und fünf Vertretern des Historischen Vereins gebildet.
Konservatorische Gründe machten es nötig, die Carlo von Erlanger-Sammlung an das Naturhistorische Museum in Mainz zu geben, um die lange vernachlässigten Präparate vor dem Verfall zu retten und instand setzen zu lassen.

Ab 1994 fanden wechselnde Ausstellungen im Alten Rathaus statt, sodass unter verschiedenen Themen nach und nach zumindest ein Teil der Exponate des Historischen Vereins der Öffentlichkeit zugänglich gemacht werden konnte.

Am 7. Mai 1999 erfolgte die Wiedereröffnung des Museums im Alten Feuerwehrgerätehaus. Mitglieder des Historischen Vereins ermöglichten als ehrenamtliche Aufsichtskräfte eine regelmäßige Öffnung am Wochenende.
Nach einem Umbau im Jahr 2003/2004 beherbergt das Gebäude heute auch das Kaiserpfalz-Besucherzentrum und eine Außenstelle der Tourist-Information. Seit der Neueröffnung am 22. April 2004 ist das Museum täglich, außer montags, für die Besucher geöffnet. Neben der ständigen Ausstellung werden nun in regelmäßiger Abfolge Sonderausstellungen zur Geschichte Ingelheims im Museumsgebäude angeboten.