Utarło się inicjatywę w tej kwestii przypisywać popularnej w XIX wieku pisarce Klementynie z Tańskich Hoffmanowej, ale prawda jest bardziej prozaiczna. Otóż rozwijający się szybko na początku XIX wieku Radom, jako stolica woj. sandomierskiego, otrzymał w 1822 roku plan regulacyjny. To w tym dokumencie, autorstwa Józefa Sadkowskiego, znalazł się park. Lokalizację wskazał sam namiestnik Królestwa Polskiego, gen. Józef Zajączek. Zdecydował, że najlepsze miejsce dla publicznego zieleńca będzie za murami miejskimi, na należącym niegdyś do szpitala św. Ducha podmokłym terenie rozciągającym się od Grobli Mlecznej (obecnie ul. Okulickiego) do łąk wsi Kaptur.
Urządzanie ogrodu, który miał nawiązywać do XVIII-wiecznych wzorów angielskich z barokowym swobodnym układem alejek, rozpoczęto jesienią 1822 roku. Główne wejście zlokalizowano od strony Grobli Mlecznej – z półokrągłego placu rozchodziły się w kierunku północnym cztery promieniste aleje. Między nimi wytyczone zostały swobodnie biegnące ścieżki. Jesiony, klony i lipy do posadzenia sprowadzono m.in. ze szkółki Czartoryskich w Puławach. W parku zasadzono także drzewa owocowe – dochód ze sprzedaży owoców miał być przeznaczony na utrzymanie ogrodu. W centralnej części założenia znalazł się staw z wysepką, zasilany wodą z Mlecznej.
Park został oddany do użytku w 1825 roku. Był jednym z najładniejszych w kraju. Odbywały się tu koncerty, festyny, prezentacje strojów, zabawy, wystawy gospodarcze i wyścigi cyklistów. Pod koniec 1899 roku otwarty został pawilon z restauracją. Park nazywano go Ogrodem Angielskim, Ogrodem Saskim lub Ogrodem Kryształowym. „Starym” stał się w momencie założenia Nowego Ogrodu (obecnie park im. Tadeusza Kościuszki).
Pod koniec I wojny światowej Radomskie Towarzystwo Sportowe wydzierżawiło od miasta południową część ogrodu. Wybudowało tu boisko do piłki nożnej i bieżnię, a po drugiej stronie ul. Nowospacerowej – tor kolarski.
W czasie II wojny światowej park został mocno zdewastowany. Niemcy bowiem na części założenia urządzili parking dla maszyn budowlanych, a na części składowali kamień do brukowania ulic.
W 1946 roku przeprowadzono gruntowną renowację Starego Ogrodu, powiększając go o teren po drugiej stronie Mlecznej – od ul. Klementyny do Wernera. Wytyczono nowe alejki i je utwardzono, powiększono staw. Trzy lata później park otrzymał imię marszałka Konstantego Rokossowskiego. W 1967 roku, w związku z poszerzeniem ul. Mireckiego, ogród zmniejszono, likwidując m.in. boisko. Dzisiaj zajmuje ok. 7 ha.
W 1983 roku Stary Ogród został wpisany do rejestru zabytków.
Częściowo zrewitalizowany został w 2001 roku, gruntowna renowacja miała miejsce w latach 2008-14. Wytyczono nowe alejki, powstał m.in. plac zabaw i toalety, wybudowano ścieżkę rowerową.
