《（民国）龙游县志·氏族考》载：唐仪凤二年（677），越国公汪华（唐高祖授为歙宣睦杭婺六州诸军总管、歙州刺史）孙汪处崇任龙丘（今龙游）尉时，卜居团石，为团石汪姓始祖，村名始称汪家滩。村中有罗汉松一株，疑是祖公所植，故以松命名，改汪家滩称罗汉松。后又因村东濒江有一兀突巨石，下临深潭，是潭石观鱼垂钓之处，潭与团谐音，故又称团石。村中汪姓居多，又称团石汪。汪与湾谐音，后人习惯地称之为团石湾。县人余绍宋有诗曰：先有罗汉松，后有团石湾。村名因树起，树在名却删，揭橥自唐代，天娇蔚奇观，错节又盘根，有若螭龙蟠，枝叶纵萧疏，结子又可餐。缅想处崇公，卜居汪家滩，滩名亦已泯，罗汉仍苍颜，颇疑公手植，唐槐等量看，子孙怀先德，于焉痤衣冠。南宋诗人杨万里曾经夜宿团石埠，赋有《宿潭石步》诗。村区有潭石观鱼、古木临溪、团石印浮、螺鬟拱翠、防岸红叶、童山松籁、盈川映月、岑峰积雪八景。明余日新（崇祯间进士、山东巡按）、清余作沛（乾隆间举人、邓川知州）都有描写团石八景诗篇。团石湾以汪姓为大族。从宋到明末清初，汪姓有4支迁至江山、衢县等地。现村有汪姓586人，占诸姓人数的32%。
村内有古建筑多处。清乾隆五十五年（1790）、嘉庆二十四年（1819）在江边和村中各建马氏、徐氏节孝坊1座，有抱鼓石，1986年7月被列为县级文物保护单位，至今完好无损。村中有唐罗汉松一株，余绍宋书立唐代遗踪石碣，均因文化大革命被毁。保安殿、佛殿和汪氏二十四厅宗祠、汪公衣冠冢，均废，遗址尚存。
自南宋始，团石湾人才辈出。南宋绍兴五年（1135），汪应辰18岁登科及第，以进士第一累官端明殿学士、吏部尚书，一生坎坷为官，刚直不阿，为反对秦桧，告假回乡，隐居17年，学问精博，《宋史》有传；其父义举被宋高宗恩封为迪功郎、修职郎；子汪逵淳熙间官至吏部尚书，孙汪愈为朝奉郎；长玄孙汪谊为将士郎，次玄孙汪为诚教郎。元末明初有汪瑞，因反对中书左丞曹公假公济私，滥杀无辜，抗言力争而死。清乾隆间有汪映模，任桐庐县训导时捐金百两，为该县建学舍，修学宫，倡导教育，深受乡民爱戴。清乾隆、嘉庆间，汪周氏为供乡间士子应考，捐田百亩。同治间汪广怀任天台训导，后辞归故里，捐资办私塾。清末至民国年间还有汪岐品、汪濂、汪霖、汪映柏、汪宜显等一批名士，行善乐事，疏财济贫，建桥设渡，修造凉亭，施舍药物，抚恤乡邻，誉满乡里。汪坤，曾任顾祝同秘书、东北财政厅厅长、牡丹省代理省长。现寓外的高级工程师、副教授以上的专家学者有10余人。
团石湾离县城近，水陆交通方便，江边幅员广阔，历史上常为驻军屯扎之所。清咸丰、同治间，太平军攻打龙游城，曾在村北黄土山背安营扎寨。同治二年（1863），左宗棠率领清军攻打龙游县城时，驻团石湾。所属水师都司黄九皋砍伐村后古松700株制造船只，将购树款中饱私囊，村民呈文左宗棠，黄九皋丑事败露，服毒身亡。北伐战争龙游战役，白崇禧驻扎团石湾，在此指挥、调遣北伐军攻打军阀孙传芳部。