天保十一年（1840年）2月13日，涩泽荣一出生。出身武藏国棒泽郡血洗岛村（今琦玉县深谷市）的一个富农之家，[6] 幼名市三郎，别名荣一郎，笃太夫、笃太郎，号青渊。涩泽家主要从事蓝玉的制造和贩卖，兼营养蚕和其他一般性的农业活动。涩泽从5岁左右起便按照其父的教导学习汉学。 涩泽荣一
弘化四年（1847年），涩泽荣一七岁时，拜邻村的表兄尾高惇忠开始接受系统性的教育，学习汉籍，[6] 还专门拜人为师学习剑道。与此同时，由于涩泽荣一在这样一个半农、半工、半商的家庭中长大，自幼饱受钻营谋利的家风熏染。
嘉永七年（1854年），涩泽荣一十四岁时，学做米麦、蚕丝、蓝靛等生意。[6] 十六岁时，涩泽荣一开始代其父每年外出四次，在信浓、上野、秩父等北关东地方兜售蓝靛等货物，逐渐具有经商才干。这种经商实践与汉学学习兼而有之的经历可以说是为他日后提出"论语算盘说"奠定了一个坚实的基础。另外其母是一位充满慈悲的女性，经常给予周围的人以热情帮助，这在一定程度上也会使涩泽耳濡目染。从涩泽日后所热心从事的诸多慈善事业中也隐约可以看到其母的影响。
涩泽家虽靠经商而致富，但因不是武士身份，社会地位低下经常遭受前来收捐派款的领主代官的勒索和辱骂。这给青年时代的涩泽荣一留下了深刻印象，不仅使其产生"为了享有同等人的待遇必须当武士"的强烈愿望，更让他开始有了强烈的反叛和革新精神。二十二岁时，涩泽荣一为了继续修汉学和习剑不顾父亲的劝阻只身来到江户。当时正值幕末的动乱时期，他在江户结识了尊王攘夷派的志士，积极地参与到倒幕运动之中。
文久三年（1863年），一心要成为武士的涩泽荣一与堂兄涩泽喜作联络中村三平，尾高新五郎等豪农出身的志同道合者，组成以宣示"天朝"威势和驱逐洋夷为宗旨的草莽志士队"天朝组"，准备与相乐总三、桃井仪八的"慷慨组"以及楠音次郎、三浦带刀的"真忠组"采取联合行动，在关东地区举行攘夷暴动。"天朝组"的攻击目标是攻占高崎城尔后直捣横滨烧毁那里的外国商馆。但涩泽荣一看到尊攘派在1863年的"八·一八"政变后失势草莽志士的"天诛组"在大和举兵失败形势十分不利，但他也不愿意与农民起义和市民暴动为伍，因此中途放弃进攻计划而逃往京都。[6]