盡管1908年寧滬鐵路便已通車,隨后又有1912年津浦鐵路全線貫通,然而這兩條鐵路多年來只能隔江相望,江北浦口與江南下關之間仍舊靠輪渡運輸。1930年,當時的國民政府鐵道部曾以10萬美元重金聘請外國橋梁專家約翰·華特爾,對下關、浦口間建橋進行考察,最后卻得出“水深流急,不宜建橋”的結論。中華人民共和國成立后,南京市的經濟建設得到迅速發展,在長江上建橋、打破南北交通阻隔,“已屬勢在必行”。
1960年1月18日,南京長江大橋終于正式開工興建。雖然此前建武漢長江大橋積累了一些經驗,但是,南京江面比武漢江面寬得多,江底巖層結構十分復雜,在這種水文條件下建橋,中國歷史上沒有過,國外歷史上也沒有過。更糟糕的是,此時國家遭遇三年困難,經濟遭受嚴重打擊,中蘇關系又破裂了,蘇聯專家不僅帶走了圖紙、計劃和資料,設備和大橋建設所需的鋼材也都停止了供貨。
中國政府決心背水一戰。為此,當時的鞍山鋼鐵公司成立了科研小組,日夜不停地試驗,終于研制出16錳低合金橋梁鋼,并于1963年11月批量投產,其強度比武漢長江大橋用的鋼材提高了30%,解了南京大橋的燃眉之急。為了確保南京長江大橋盡快通車,大橋工人和支援建設的解放軍戰士日夜奮戰,平均每天有3萬多人在工地上勞動,最多時達5萬余人。
時為南京氣象學院(現南京信息工程大學)五年級學生姜正云回憶:1968年12月,我們班級接到一項任務,全部上橋面用砂布和水磨擦大橋欄桿,保證欄桿撫摸起來潤滑舒適。那一年冬天很冷,12月的橋面上無遮無擋,冷風呼嘯,寒氣入骨,用手拿著砂布蘸冷水擦拭鐵欄桿,其感覺可想而知,手掌很快便麻木得沒有知覺了,大家只能加倍用力擦拭,讓手掌發熱,或放嘴邊呵氣暖一下再干,我們的手指很快就裂開滲出了血。待任務完成時,每個人都笑自己練就了一雙“鐵砂掌”。
1968年9月30日,南京長江大橋鐵路橋通車,1969年12月29日,南京長江大橋公路橋通車。作為長江上第一座由中國人自行設計、自主建造的雙層式鐵路、公路兩用橋梁,南京長江大橋更是成為中國人心目中的“爭氣橋”。