Beim Bau der württembergischen Eisenbahn wurde direkt unter dem Schloss Rosenstein der erste Eisen-bahntunnel Würt-tembergs nach den Plänen von Carl Etzel gebaut. Dieser Tunnel verband Stuttgart mit Cannstatt. Der Tunnelbau war heftig umstritten, da Kritiker eine Schädigung des Schlosses durch die Baumaßnahmen befürchteten.

König Wilhelm I. erklärte trotz aller Bedenken sein Einverständnis. Der Tunnel wurde in bergmännischer Bauweise errichtet, Baubeginn war am 1. Juli 1844. Die Befürchtungen der Kritiker waren berechtigt. Ein gewaltiger Wasser- und Schlammeinbruch ließ die Teichanlagen des Schlossgartens in die Baustelle brechen und verzögerte die Baumaßnahmen erheblich. Man war auf eine Doline gestoßen.

Das eingebrochene Deckgebirge musste in offener Bauweise entfernt und nach erfolgtem Ausbau des Tunnelgewölbes wieder aufgeschüttet werden. Dazu wurde eine Baustelle im Schloß errichtet und von dort aufgegraben. Ein damals ungeheurer Vorgang. Der schließlich 362 m lange Tunnel wurde am 4. Juli 1846 fertig gestellt und war zweigleisig ausgebaut. Das Tunnelprofil ist rund 7 m breit und etwa gleich hoch.

Beim weiteren Ausbau des Bahnnetzes zu Beginn des 20. Jahrhunderts wurde u. a. die Strecke Stuttgart − Cannstatt viergleisig ausgebaut. Die neuen Gleisanlagen lagen auf höherem Niveau und beanspruchten mehr Platz, der im alten Tunnel nicht vorhanden war. Dazu wurden zwei weitere zweigleisige Tunnelröhren in offener Bauweise quer durch den Rosensteinpark gebaut. Die neue Konstruktion hatte eine Länge von 331 Metern. Der neue Rosensteintunnel wurde noch vor Ausbruch des Ersten Weltkriegs 1914 fertiggestellt, konnte aber aus Material- und Personalmangel erst im November 1915 in Betrieb gehen.

Schweren Belastungen war das Umfeld des Rosensteintunnels durch zahlreiche Luftangriffe im Zweiten Weltkrieg ausgesetzt. Bereits im Herbst/Winter 1942 wurde der Stuttgarter Hauptbahnhof schwer getroffen. In der Folge musste der Betrieb immer wieder zeitweise eingestellt werden. Ende 1944 wurde sogar noch eine Behelfsbahnstrecke vom Rosensteinviadukt quer durch den Rosensteinpark bis hinauf zum Tunnelportal des Pragtunnels gebaut, um beim evtl. Zusammenbruch des Rosensteintunnels durch Feindeinwirkung immer noch Zugverkehr zwischen den Rüstungsbetrieben in Feuerbach und Untertürkheim zu ermöglichen.

Der alte Tunnel diente der Reichsbahn und dem Bahnpostamt als Luftschutzraum. Sie benutzten den westlichen Teil. In dieser Zeit sollen auch Flugabwehrgeschütze im alten Rosensteintunnel verbunkert gewesen sein. Der alte Tunnel ist  in einschlägigen Tarnnamenverzeichnissen mit der Bezeichnung „EMU“ gelistet. Streckenweise war die Tunnelsohle gegen Kriegsende auf der westlichen Seite in Beton ausgebaut, was auf eine beabsichtigte Nutzung als Untertageproduktionsstätte hindeutet. Die Firma Mahle wollte eine Untertageproduktion hier aufbauen. Der Eingang war mit drei versetzt gemauerten Wänden vermauert, die den   Luftdruck von detonierenden Bomben abhielten. Nach dem Krieg gab es noch einen Mietvertrag mit der Firma Mahle bis 1946. Zwischen 1936 und 1945 wurde der alte Tunnel auch von drei Pächtern als Standort für eine Champignonzucht genutzt.
Am 21. April 1945 sprengten deutsche Truppen die Neckarbrücke zum Rosensteintunnel, wodurch der Verkehr zwischen Stuttgart und Cannstatt endgültig vollständig zum Erliegen kam. In den Eingangsbereich des Tunnels sollen nach Rde des Krieges fahrunfähige Panzer abgestellt worden sein.
Bis 1968 wurde der Tunnel von der Firma Rilling als Außenlager für die Lagerung ihres Sektes genutzt. Mit der Erweiterung ihrer Kelleranlagen wurden die Außenlager (Englischer Garten) aufgegeben.

Heute befindet sich der alte Rosensteintunnel in Verwaltung des Landes Baden-Württemberg und steht unter Denkmalschutz. Auf Seite des Neckars ist das Tunnelportal seit 1966  vermauert und verschlossen. Das Portal in Richtung Hautbahnhof ist nicht mehr vorhanden. In diesem Ende der Tunnelröhre befindet sich eine unterirdische Energiezentrale der EnBW zur Fernwärmeversorgung der Stadt Stuttgart. Der Tunnel wird im Rahmen der Stuttgart 21 Baustelle für die Rohre des Grundwassermanagement genutzt.