其父于成帝时为太乐令。桓谭“以父任为郎”；或说桓谭入任，是由宋弘的推荐。 桓谭擅长音乐，善于弹琴。宫廷举行宴会，皇帝往往命他弹琴助兴。他博学通达，遍习《五经》，皆训诂大义，不为章句。能文章，尤其喜欢古学，多次从刘歆、扬雄辨析疑异。还喜欢歌舞杂戏。穿着简易，不修威仪。对俗儒轻视讥笑，因此多受排挤。 桓谭雕像
西汉末年，桓谭官位不高，不过当个郎官而已。他与傅晏相善。傅晏是傅皇后之父，起先颇为得势，稍后董昭仪受皇帝宠幸，其兄董贤因裙带关系而用权，傅皇后日益被疏远，傅晏因失势而闷闷不乐。桓谭告戒他要防宫廷之变，注意董贤的动向，要收敛、谦退，以避祸殃。傅晏接受了桓谭的意见，才免遭董贤之害，“故傅氏终全于哀帝之时”。
董贤当上了大司马，闻桓谭之名，要与他结交。桓谭是正派人物，先奏书劝告他“以辅国保身之术”，未被接受，就不与他往来。王莽掌握大权时，天下之士大多数对王莽吹牛拍马，阿谀奉承，以求升迁。桓谭则不然，“独自守，默然无言”，故他这时仅为掌乐大夫。农民大起义时，桓谭参予了活动，被更始政权召任为太中大夫。
刘秀当上了皇帝（称光武帝），桓谭被征召待诏，上书言事“失旨”，即不符合光武帝的要求，未被任用。后来大司空宋弘推荐了他，任为议郎、给事中。
他呈上《陈时政疏》，论说时政，主要内容是：
任用贤人
他说：“国之废兴，在于政事；政事得失，由于辅佐。”故须任用贤能，争取“政调于时”。他在《新论》里论道：“治国者，辅佐之本。其任用咸得大才，大才乃主之股肱羽翮也。”意思是，皇帝的辅佐，乃治国之本；国家用了大才，犹如长了翅膀，就可以腾飞。他认为贤才有“五品”，最高级的是“才高卓绝于众，多筹大略，能图世建功者，天下之士也。”就是说，大贤的主要特点是能为国家出谋筹略，建功立业。