鉄道王として知られる実業家で、政治家・茶人でもあった初代根津嘉一郎の所蔵した日本・東洋の古美術品コレクション 全4,643点を、保存・展示するために造られたことに始まる。その後、収蔵品は増え、2009年(平成21年)時点で 6,874件、2016年(平成28年)3月末の時点で 7,420件(国宝 7件、重要文化財 87件、重要美術品 94件を含む)を数える。
江戸時代、現在の根津美術館がある敷地には、江戸定府を務めた河内国丹南藩藩主・高木家(美濃衆の一家)の江戸下屋敷があったが、江戸幕府が滅びた後、高木家は明治2年(1869年/1870年)に定府の任の免除を朝廷に願い出るべく京都に赴き、これを認められ、二度と東京に戻ることがなかったため、主に打ち捨てられた江戸下屋敷はすっかり荒れ果ててしまうこととなった。初代根津嘉一郎は、故郷から東京へ本拠を移した。ちょうど10年後の1906年(明治39年)になってこれを取得し、ただちに邸宅の建設を始めると共に数年がかりでの造園にも着手した。初代の没後、家督を継いだ2代目がこの邸宅を美術館に改装するが、その際、母屋を本館とした。
収集品は主に日本・東洋の古美術で、その高い質と幅の広さに特色がある。第二次世界大戦前の実業家の美術コレクションは茶道具主体のものが多いが、根津コレクションは、茶道具もさることながら、仏教絵画、写経、水墨画、近世絵画、中国絵画、漆工、陶磁器、刀剣、中国古代青銅器など、日本美術・東洋美術のあらゆる分野の一級品が揃っている。嘉一郎の豪快な収集ぶりは、「根津の鰐口(ねづのわにぐち)」と称されたという。