1994 年4月，因联合政府内部发生纷争，上任不到一年的细川护熙厌烦了妥协和平衡，更拒绝任人摆布，毅然辞去了首相职务。1999年干脆辞去议员职务脱离政坛，过上了清闲日子。查遍细川的所有资料，发现其现在惟一的职务是东海大学客座研究员身份，但东海大学的人说根本没见过这位研究员 。

退出政坛后的细川过上了彻底的隐居生活，据说他送朋友的座右铭就是“晴耕雨读”。他潜心研究陶艺，访遍了日本所有的名窑。虽然在熊本老家有很大的贵族老宅，但他喜欢上了东京南面的海边温泉胜地汤河原镇。他在那里置房产，建窑炉，开始潜心陶艺的制作生涯，和夫人过上了传统的日出而作、日落而息的神仙日子。据说他很少读报纸看电视，他们家的电话号码也只有很少人知道。现在，细川的作坊“不东庵”在陶窑界已小有名气，他的陶艺造诣也越来越深，如今他每年在东京日本桥的陶瓷名店壶中居和京都古美术馆举办个人作品展，去年10月还把个人作品展办到了巴黎，细川亲自出场为观众讲解陶窑的魅力和制作技巧。针对观众的各种赞誉，细川常说的一句话就是“我正在找更好的泥土，有了好土就可以烧出更好的作品”。