Los comienzos de la empresa se remontan a 1948, durante la primera presidencia de Juan Domingo Perón, cuando todas las empresas ferroviarias privadas (48.000 km de extensión) fueron nacionalizadas. El Decreto N° 32.574, firmado ese 1 de marzo, reorganizó las antiguas compañías, incluyendo a los Ferrocarriles del Estado, en ocho líneas en que fue dividida la red ferroviaria a partir del año siguiente: General Bartolomé Mitre, General Belgrano, Domingo F. Sarmiento, General Roca, General San Martín, General Urquiza y Patagónico. Las líneas estatales, que bajo la denominación de ferrocarriles nacionales operaron como empresas autónomas, quedaron bajo la órbita de la Empresa Nacional de Transportes (ENT), también a cargo del transporte tranviario, subterráneo y automotor nacionalizado.

En 1956 se creó la Superintendencia de Ferrocarriles y en 1958, al liquidarse la Empresa Nacional de Transportes, se constituyó la Empresa de Ferrocarriles del Estado Argentino (EFEA) agrupando exclusivamente a las seis líneas ferroviarias -el Ferrocarril Patagónico había sido incorporada a la órbita del General Roca-.

A pesar de que EFEA actuó desde entonces como coordinadora en la aplicación de la política ferroviaria, las líneas mantuvieron un alto nivel de autarquía administrativa y operativa, que sólo se abandonaría en el futuro durante breves intentos de reorganización.

Durante este período el sistema ferroviario argentino desarrolló su máxima extensión, siendo el más grande de América Latina con cerca de 47.000 kilómetros de vías. De todos modos, a causa del impulso dado al transporte automotor, paulatinamente se fueron desactivando e incluso levantando ramales enteros. Durante la presidencia de Arturo Frondizi se puso en práctica el llamado Plan Larkin a instancias del Banco Mundial consistente en una larga serie de cancelaciones y levantamiento de vías. Si bien el plan se suspendió por efecto de una recordada huelga ferroviaria de 42 días en 1961, dejaron de correr trenes en la casi totalidad del ex Ferrocarril Provincial de Buenos Aires, ramales del ex Ferrocarril Patagónico, del Ferrocarril Roca y demás.

En 1967, tras el golpe que había derrocado al presidente Arturo Illia el año anterior, asumió la presidencia de EFEA el general Juan Carlos De Marchi. De Marchi, desde el cargo que ocuparía hasta marzo de 1971, puso en marcha un profundo plan de modernización e inversión en la red ferroviaria que contemplaba un desembolso de 850 millones de dólares en un plazo de cinco años. Se incorporaron nuevos servicios, como el Expreso Buenos Aires Tucumán, y tuvo lugar una renovación del material tractivo y remolcado con la incorporación entre otras de las locomotoras diésel General Motors-EMD G22 y GT22.

La empresa, que en 1968 adoptó en forma definitiva el nombre y logotipo de Ferrocarriles Argentinos, logró incluso reducir sensiblemente su déficit operativo producto de la reorganización llevada a cabo. Ese mismo año De Marchi presidió el Congreso Panamericano de Ferrocarriles, realizado en Buenos Aires, y al año siguiente fue electo Secretario General de la Asociación Latinoamericana de Ferrocarriles (ALAF).[6] El Decreto-Ley N°18.360 de 1969 reglamentó el funcionamiento de la empresa bajo la órbita de la Secretaría de Transporte, estableciendo su objeto como "[...] la operación de los ferrocarriles de propiedad nacional".

No obstante, las medidas esbozadas por el Plan Larkin fueron profundizadas durante el llamado Proceso de Reorganización Nacional y entre 1976 y 1980 se desató otra serie de cancelaciones, abarcando entre otros los ramales Avellaneda-La Plata, La Plata-Pipinas, Laguna Paiva-Deán Funes y Córdoba-Cruz del Eje.

Durante la dictadura militar de 1976 a 1983 se designo como Delegado Interventor, Grandinetti, Luis Humberto, Coronel Resolución M.E., 2, 24/03/76. Se tiene conocimiento que 38 trabajadores de la empresa son detenidos-desaparecidos.

Entre 1991 y 1993, como parte de las reformas neoliberales del entonces presidente Carlos Saúl Menem, Ferrocarriles Argentinos fue dividida, agrupándose los servicios de pasajeros del área metropolitana de la Ciudad de Buenos Aires en FEMESA a la vez que se iban licitando las concesiones de las diferentes líneas y servicios. Los servicios suburbanos de pasajeros fueron luego concesionados por FEMESA respetando las líneas originales; en total, cuatro consorcios se hicieron cargo de los siete ramales del conurbano bonaerense. Mientras tanto, FA seguía operando los trenes de pasajeros de corta, media y larga distancia en un esquema de emergencia, con horarios reducidos. El 10 de marzo de 1993 se canceló la totalidad de los servicios interurbanos y larga distancia que todavía prestaba Ferrocarriles Argentinos.

El resto de la red, fuera del Gran Buenos Aires, fue concesionada en un esquema que, al igual que las otras concesiones, abarca tanto infraestructura como material rodante y tractivo -vagones y locomotoras, respectivamente-. A nivel nacional, sólo fueron concesionados a empresas privadas los servicios de carga, incluyendo el material rodante para tal fin, mientras que el material existente para el transporte de pasajeros fue asignado a las diferentes provincias para que estas se encarguen de la corrida de trenes de pasajeros dentro de su territorio, ya sea directamente o por concesión.

La mayor parte del Ferrocarril Roca fue dado en concesión a Ferrosur Roca S.A., mientras que el San Martín quedó en manos de BAP S.A. (Buenos Aires al Pacífico S.A.); gran parte del Sarmiento fue concesionada a FEPSA (FerroExpreso Pampeano S.A.) y el Urquiza fue concesionado a Ferrocarril Mesopotámico S.A. Por su parte, el Ferrocarril Mitre fue dado en concesión a la empresa Nuevo Central Argentino. Sólo quedó en manos del Estado el servicio de cargas en el Ferrocarril Belgrano que luego de un intento infructuoso de privatización continuó bajo su órbita con el nombre de Belgrano Cargas Sociedad Anónima (BCSA).