胡思杜出生于1921年12月17日。正好也是胡适的生日，给孩子取此名是为了表示对恩师——美国哲学家杜威的感激之情。因在孩子中排行第三，故此儿小名叫小三。[1] 胡思杜（左2）与母亲等人合影
胡思杜少年时候，患有肺病，时读时辍，所以胡适专门请家教对其进行辅导。其中有一个家庭教师，就是胡适的高足，后来成为著名历史学家的罗尔纲。罗尔纲一直教了胡思杜5年，所以他对胡思杜比较了解，在罗尔纲先生的眼里，胡思杜幼时虽很顽皮，但却是个十分可爱的优秀少年。罗尔纲先生在其晚年所著的《胡适琐记》中说，胡思杜从小思想活跃且进步，比较爱国。罗先生写道：“他对老保姆杨妈、在他家做杂役的小二，亲如家人”，一点也没有阔少的架子；天资聪慧，两天能看完《水浒传》，又唱得一口好京戏。罗先生甚至有这样的感觉：如果他不是生在胡适家，说不定京戏舞台上会多一个艺术家。罗先生还回忆起胡思杜曾告诉过他一件人们并不知道的故事：胡思杜非常热爱、尊崇鲁迅。那是1932年冬天，鲁迅返北平探母，曾往胡宅访问。胡家向来不绝高朋贵客，但少年胡思杜从来也没有给哪位客人接大衣之类的恭敬，这回他却“赶着去帮鲁迅接大衣”了。[1]
胡思杜在成年后却不怎么好读书，喜欢玩乐，好交朋友，什么朋友都交。抗战开始后，胡适赴美出任中华民国驻美大使。1939年在西南联大学习航空机械专业的胡祖望去美国留学，进入其父胡适曾就读过的名校———康乃尔大学。胡思杜则随母亲江冬秀避难上海。胡适委托一位竹姓朋友照看他。1940年11月9日，这位竹姓朋友写信给胡适：“小二在此读书，无甚进境，且恐沾染上海青年恶习，请兄赶快注意。”在此之前，胡适每次在给妻子江冬秀的信中，总要不时提醒她少打牌，“盼望你能有多一点时候在家照管儿子。小儿子有一些坏脾气，我颇不放心，所以要你多在家照管照管儿子”。无奈，江冬秀整日一门心思沉湎在牌桌上，无时间也无精力去管教儿子，加之胡适又长期不在身边，这样就使得无拘无束的胡思杜在上海这个“大染缸”里免不了沾染上一些不良嗜好。[1]
胡适在1941年5月托人将胡思杜带去美国。胡思杜在国内学的文科，曾先后在上海大学、东吴大学读社会科学。到美国后，胡适将他送进教会学校海勿浮学院就读历史。
胡思杜在美国连续上了两个大学，但均未毕业，只得于1948年夏随胡适的一个朋友回到了北平，来到早已归国的父亲胡适身边。[1]