江戸に幕府を置いたとき、徳川家康は水対策をいくつも行っている。小石川を水源とする小石川上水、井の頭池を水源とする神田上水。さらには西南部の水を供給する赤坂ため池などである。3代将軍家光の時代になった参勤交代が行われ、大名の家族、家臣が江戸に住むようになった人口が急激に膨れ上がった。既存の上水では水の供給がおぼつかないことになり、浮上したのが多摩川の水をせき止めて取水し、江戸の水を賄おうとする壮大な計画が持ち上がった。
担当したのは、工事請負人の庄右衛門と清右衛門の兄弟、総奉行に老中松平信綱が任じられた。取水口である羽村から四谷大木戸まで延長4キロの素掘りによる水路を作り上げる計画である。羽村からのいくつかの段丘を這い上がるようにして武蔵野台地の稜線に至り、そこから尾根を巧みに引き回して、四谷大木戸に至る自然流下の水路である。工事は8ヶ月という驚くべきスピードで完成した。
四谷からは水路は二つに分かれ、一つは江戸城へ引かれ、もう一つは赤坂から虎ノ門、その先にある大名屋敷の用水として利用された。工事請負人の兄弟は、玉川の姓を与えられ、200石の扶持米と永代水役という褒賞が与えれた。玉川上水はこの兄弟の名が冠せられている。昭和23年6月13日、玉川上水に入水自殺した太宰治は、投身した跡のある三鷹町の土手から1キロほど下流の新橋で死体となって発見された。一緒に死んだ山崎富栄は、赤い紐でしっかりと太宰に結び付けていた。