Wenn auch die erste Erwähnung eines hier angesiedelten Gastbetriebes nicht vor 1721 erfolgte, lässt sich der Kern des Gebäudes doch bis ins 15. Jahrhundert zurückverfolgen. Der Name erinnert an ein historisches Ereignis aus dem Jahr 1552, als Erzherzog Maximilian von Österreich auf seiner Aufsehen erregenden Reise nach Wien einen Elefanten im Begleittross mitführte. – Der Platz an der Donaulände galt zudem seit alters her als ideale Anlegestelle und Umschlagplatz. So ist auch ein kurzer Aufenthalt der Familie Mozart dokumentiert, die im Zuge ihrer ersten Reise auf dem Weg in die Habsburgerresidenz hier in Stein am 5. Oktober 1762 nächtigte. Wie aus einem Brief Leopold Mozarts an den befreundeten Lorenz Hagenauer hervorgeht, ergriff der Vater schon während der Anreise nach Wien jede Gelegenheit das Wunderkind Wolfgang zu präsentieren. So schreibt Leopold am 16. Oktober 1762:

„An dem Fest des hl. Francisci [= 4. Oktober] sind wir nachmittag um halbe 5 Uhr von Lintz mit der sogenannten Wasser-Ordinaire abgereiset, und selbigen Tag bey finstrer Nacht um halb 8 Uhr in Mautthausen angelangt. Den folgenden Tag Mittags kamen wir nach Ybbs, wo 2 Minoriten und ein Benedictiner die mit uns auf dem Schiff waren, hl. Messe lasen, unter welchen unser Wolferl sich auf der Orgel so herumtummelte und so gut spielte, dass die Patres Franciscaner, die eben mit einigen Gästen bei der Mittagstafel saßen, samt ihren Gästen das Essen verließen, dem Chor zuliefen und sich fast zu Tode wunderten. Nachts waren wir zu Stein, und am Mittwoch langten wir um 3 Uhr in Wien an, wo wir um 5 Uhr das Mittag-und nachtmahl zugleich einbrachten.“

Seit 2004 präsentiert hier das ‚Haus der Regionen‘ die unterschiedlichsten Volkskulturen Europas. In Veranstaltungsreihen von Konzerten bis zu gesellschaftsrelevanten Kamin gesprächen wird dabei die Idee verfolgt, „neue Zugänge zu den regionalen Kulturen der europäischen Regionen zu schaffen“, sowie „Volkskultur in ihren vielfältigen traditionellen und zeitgenössischen Ausdrucksformen zu fördern.“ In der „Galerie der Regionen“ im Erdgeschoß stehen ausgewählte Kunsthandwerksprodukte aus Niederösterreich, Österreich und den europäischen Regionen zum Verkauf.