詩仙堂は徳川家の家臣であった石川丈山が隠居のため造営した山荘である。
名前の由来は、中国の詩家36人の肖像を掲げた詩仙の間による。
詩仙は日本の三十六歌仙にならい林羅山の意見をもとめながら漢晋唐宋の各時代から選ばれた。
肖像は狩野探幽によって描かれ詩仙の間の四方の壁に掲げられている。
詩仙堂は正確には凹凸窠 (おうとつか) という。
凹凸窠とはでこぼこの土地に建てられた住居の意味であり、
建物や庭園は山の斜面に沿って作られている。
丈山は詩仙の間を含め建物や庭の10個の要素を凹凸窠十境と見立てた。
1986年5月、イギリスのチャールズ皇太子・ダイアナ妃が訪れた。