天辅七年（1123年）3月1日（此据《金世宗传》说法），完颜雍生于金上京会宁府的皇宫[52] 。他的父亲完颜宗尧（初名完颜宗辅），是金太祖完颜阿骨打的第三子，颇有智谋，曾参与灭辽攻宋。天会十三年（1135年），完颜宗尧去世，那时完颜雍只有十二岁。他的母亲李洪愿出身于辽阳渤海大族，聪明能干。幼年的完颜雍主要受母亲的教养。依女真的习俗，丈夫死后，妻子应当嫁与宗族的人。李洪愿却不愿接受这种落后的习俗，就在辽阳出家为尼。[2]
完颜雍长得很魁伟，性格沉静明达，又善于骑射。年轻时，他每次出猎，很多老年人都跟了去看，赞赏他的骑射技术，“国人推为第一”。他为人宽厚，常随叔伯们四处征战，将士都很推崇他。[36]
金熙宗皇统年间，完颜雍因宗室子身份，被授为光禄大夫，封葛王，任兵部尚书。[36]
金熙宗完颜亶在位后期，时常酗酒，杀戮亲贵大臣，唯独对完颜雍比较好。完颜宗尧伐宋时，得到了一条宋朝皇帝用过的白玉带，作为传家之宝。完颜雍很珍爱它。完颜雍的妻子乌林答氏，对他说：“这个玉带不是王府所应该拥有的，应当献给天子。”完颜雍觉得她的话有道理，就将白玉带奉献给完颜亶，博得完颜亶的皇后裴氏（悼平皇后）的欢心，也得到熙宗的信任。[202]
海陵王完颜亮即位之初，完颜雍判会宁（今黑龙江阿城南）牧，不久，判大宗正事，改为东京（今辽宁辽阳）留守，后又改为燕京（今北京）留守、济南府尹等职。完颜雍能文能武，在女真贵族中威望较高，海陵王对他很不放心，经常调动他的官职。乌林答氏又劝完颜雍多向海陵王进献珍异，以打消他的猜疑，免遭诛身之祸。完颜雍照妻子的话，把辽骨睹犀佩马、吐鹘良玉茶器之类的珍宝，送给完颜亮。完颜亮认为完颜雍怕他，对他又很恭顺，疑忌之心稍解。