1919年（大正8年）3月8日水上勉出生于日本福井县木工家庭，一家七口，常常穷得揭不开锅。小学5年级的时候，进入临济宗寺院的学徒生活。以中学（旧制）毕业为契机放弃了修行，这个寺院生活的经验在以后以各种各样的形式与本人的文学联系在一起。1937年（昭和12年）进入立命馆大学国文科夜间课程后不久中途退学。[2]
九岁那年当了小和尚，这段艰难的生活后来让他写入《雁寺》与《一休》中。他先后在相国寺、天龙寺当和尚。十六岁逃出来后半工半读，念完了中学。白天打工，晚上读夜大学。二十岁那年，水上勉参加义勇军，因吐血被送回日本。第二次世界大战后，他当了《新文艺》杂志社的编辑，并不断投稿。他三十岁时出版了一本小册子《油炸锅之歌》。但这部纯文学小说既无影响，又不能解决他的生计问题。为了生活和刚出生的孩子，水上勉先后干过新闻记者、广告代理人、时装推销员。麻将店店员……有30个工作之多，他尝尽了生活的艰难。1957年，38岁的水上勉读了松本清张的《点与线》后，决定不写纯文学作品，转而写推理小说。1959年，他写了《雾与影》，这部以揭露竞选内幕的作品发表后引起轰动，水上勉一夜成名。
1960年他又发表了《海的牙齿》，获第十四届日本侦探作家俱乐部大奖。这部小说以日本某工厂将工业废料排入海中，造成严重公害为题材，揭发了社会黑幕。成名后的水上勉，每月为七家报纸写连载，被称为“写作机器”。他于1962年又写了《饥饿海峡》，这部长篇推理小说奠定了水上勉的文学地位。水上勉后来又写了《桑孩儿》《五号街夕雾楼》《一休》 《越前竹偶》《湖底琴音》《湖笛》《寺泊》《宇野浩二传》等纯文学名著。《一休》获谷崎奖，拍成电影后风靡世界各国水上勉后来当选为日本文艺家协会副理事长，成为一个纯文学大作家。水上先生多次访华，生前与中国文化界人士有长久交往，老舍先生去世多年之后曾经到达中国缅怀。曾担任《日中文化交流协会》代表理事、最高顾问等职。
2004年（平成16年）9月8日水上勉因肺炎病逝，享年86岁。[1]
水上勉不仅是日本的知名作家，而且是中国人民所熟悉的日本友人。他生前长年致力于中日文化交流，多次访问中国，曾先后担任日中文化交流协会常任理事和最高顾问，与老舍、巴金、周扬等一大批中国文学艺术界人士有着深厚的友情。
1938年水上勉曾到“满洲”工作过。1965年，老舍先生率中国作家代表团访问日本，他专门到东京拜访了水上勉。水上勉激动不已，二人在一起交谈了两个小时。席间，水上勉先生向老舍先生表示：“如果我有幸访问中国，很想参拜黄梅东山五祖寺。”老舍先生笑容可掬地听着，他随手撕下桌子上包点心用的包装纸，从衣袋里掏出钢笔，写下那首有名的偈语：菩提本无树，明镜亦非台；本来无一物，何处惹尘埃。老舍把纸条递给水上勉先生，说：“如果你去中国，我陪你去黄梅。”老舍先生回国后的第二年，在文革中，遭到残酷迫害，含恨而去。在老舍去世的第二年，水上勉写了一篇题为《蟋蟀葫芦》的散文，表达对老舍先生的怀念之情。以后又写了许多悼念老舍的文章。 水上勉