南京の歴史は春秋時代に呉がこの地に城を築いたことに始まる。戦国時代に呉を征服した楚は金陵邑を設置。
その後秦朝による統一事業が達成され、始皇帝がこの地に巡幸してきた際に、「この地に王者の気がある」と言われ、それに怒って地形を無理やり変えてこの地の気を絶とうとした。また名前も金から秣（まぐさ）の秣陵県と改称している。
三国時代になると呉の孫権が229年に石頭城という要塞を築いて建業と称してこの地に都を置いた。西晋にて一旦、建業とされた後に司馬鄴（愍帝）を避諱して建康と改められ、東晋及びその後の四王朝（宋、斉、梁、陳）の都となった。
呉を含めた六国が全て同じ地に都を置いたことから六朝時代の名がある。
隋代には江寧県、唐代には金陵県、白下県、上元県と改称されている。
隋唐代には新たに開削された大運河により、長江対岸の揚州が物資の集積地となり、この地域の中心地としての地位を奪われた恰好となり、往時の都としての繁栄は見られなくなった。
唐崩壊後の五代十国時代には、南唐の都城である金陵府が置かれ、後に改名されて西都と称する。
明の太祖朱元璋（洪武帝）は1356年、集慶路と呼ばれていたこの地を征服し、以後ここを根拠地として全土を統一するに至った。1368年、応天府と改められ、首都とする。1421年には、靖難の役で皇位を簒奪した永楽帝により首都が北京（順天府）へ遷都され、「南京」と改められる。なお、この遷都に批判的であった息子の洪熈帝は即位後直ちに都を南京に戻そうとしたが、在位1年に満たずに急死したため計画は中止となる。このため、北京が国都として確定したものの、洪武帝の陵墓（明孝陵）のある南京もまた明朝創業の地として重要視されて副都としての扱いを受けた。明一代に於いて首都北京周辺の北直隸に対して副都南京周辺は南直隷とされ、南京には首都北京に異常があった際に備えて北京に置かれた朝廷を縮小したもの(南京六部)が置かれていた。1644年に北京が李自成の順軍によって陥落させられて明が滅びると、南京の官僚たちによって南京を首都とした亡命政権・南明が建てられたが翌年には清によって滅ぼされた。明代の南京の紫禁城は現在の故宮公園であり皇城の中に宮城があり、現在の故宮公園はかつての宮城の一部であり、門や主要建築物の石壇が残っている。ちなみに北京の紫禁城（故宮）も明の北京遷都の際、南京の紫禁城を模して建てたものであった（南京の紫禁城は靖難の役のとき攻城のあげく、焼却されてがれきとなった）。
清代に入ると江寧と呼ばれるようになった。太平天国の乱では占領され、天京とされた。また1858年の天津条約・1860年の北京条約に於いて西欧に対して開港した。
辛亥革命により中華民国が成立すると、1912年には一時的に臨時政府が置かれ、1927年4月には国民政府の首都となった。
支那事変（日中戦争）中の1937年12月には日本軍によって占領された。3
4回あった南京事件
1 大正２(1913)年
張勲軍が南京に乱入、城内の民間人に対して虐殺、強姦、略奪を行った事件
2 昭和２(1927)年
国民党の国民軍が騙し討ちのような形態で入り込み、城内で虐殺、強姦、略奪を行った事件。
３ 昭和１２(1937)年
南京に陣取った国民党軍が日本軍がやってくるからと城内で虐殺、強姦、略奪を行った事件。
４ 昭和２４(1949)年
中共軍が南京を制圧し、資本家らを襲い虐殺、強姦、略奪を行った事件。
1940年3月に汪兆銘政権（南京国民政府）の首都となった。知日派として知られ、同年11月には正式に主席となった。中国では「漢奸」、すなわち売国奴として唾棄されてきた人物である。1944年名古屋市にて病死。1999年南京の石像はひっそりと撤去されている。
1949年1月16日には国共内戦の結果、中華民国の中央政府は撤退し、4月23日には中国人民解放軍により占領された。同年10月1日に中華人民共和国が建国されると直轄地になるが、1953年に江蘇省の発足とともに同省の省都となった。1994年には副省級市になっている。なお、現在も中華民国は南京を「公式な首都」としている。