Wie bei den anderen Ortschaften betreten wir gesicherten Boden, als das Kloster Amorbach, Mitte des 11. Jahrhunderts den Urwald Odenwald erwarb und den Klosterfronhof Mudau als Mittelpunktsiedlung anlegte. Rumpfen und Steinbach waren wahrscheinlich schon vorher existent. Man vermutet, dass Rumpfen wahrscheinlich im 11. Jahrhundert oder evtl. noch früher, zusammen mit Steinbach und dem dortigen Klosterfronhof, mit etwa 4 – 5 Hufen von Bödigheim her angelegt wurde. Die Klosterbrüder konnten in der Folgezeit ihren umfangreichen Besitz nicht selbständig verwalten. So wurden die Herren von Dürn Schutzvögte des Klosters und „entfremdeten“ dem Kloster Rechte und Besitz. 1271 verkauften die Herren von Dürn ihren Verwaltungssitz – Burg Wildenberg – mit Schloßau, Mudau, Donebach, Mörschenhardt, Preunschen, Kirchzell und dem unbekannten „Diz“ an das Erzstift Mainz.

Was damals mit Rumpfen passierte wissen wir nicht. Im Jahre 1318 erwarb das Erzstift Mainz auch die Obere Cent Mudau und wurde damit Landesherr, so auch in Rumpfen. Im Jahr 1513, also kurz vor dem Bauernkrieg, gab es mit der Huldigung für den Abt Schwierigkeiten. Erst auf Befehl der mainzischen Beamten erklärten sich die Mudauer Ortschaften dazu bereit. Die zum „Wildenberger Hof“ Fronpflichtigen wurden vom Abt als die Haupttäter bei der Zerstörung von Wildenberg im Bauernkrieg genannt. Eine Beteiligung ist damit aber nicht belegt. Der 30-jährige Krieg spielte unserem Raum stark mit. Im Jahr 1803 kam dann der Übergang an das Fürstentum Leiningen, 1806 an das Großherzogtum Baden. Die Feudalrechte von Leiningen blieben weiter bestehen, so dass man unter einer Doppelherrschaft lebte. Bereits zum 1.1.1936 wurde Rumpfen nach Steinbach eingemeindet, 1945 wurde es wieder selbständig. Im Jahr 1973 entschloss sich Rumpfen zum Anschluss an die Gemeinde Mudau. Zum 1.1.1975 wurde die heutige Gemeinde gebildet.

Die Gemeinde Rumpfen führte schon im 19. Jahrhundert in ihren Siegeln einen Laubbaum im Wappenschild. Eine Erklärung für das bei Landgemeinden im letzten Jahrhundert nicht seltene Siegelmotiv liegt nicht vor.