开皇元年（581年），隋文帝受禅登基，建立隋朝，封杨谅为汉王。[3]
开皇十二年（592年），杨谅被任命为雍州牧，加授上柱国、右卫大将军。[4]
开皇十三年（593年），转任左卫大将军。[5]
开皇十七年（597年），杨谅出任并州总管，隋文帝巡幸温汤时亲自送他到并州赴任。领地西起华山，东至渤海，北达燕门关，南到黄河的五十二州，隋文帝很宠爱杨谅，特授杨谅遇事不必拘于律令限制，可自行行事的特权。[6]
开皇十八年（598年），高句丽婴阳王高元率骑兵一万多人进扰辽西，被营州总管韦冲击退。二月，隋文帝命杨谅、上柱国王世积为行军元帅，周罗喉为水军总管，率领水陆大军三十万，进攻高句丽。[7] 九月，强渡辽水又时逢雨季，军中疫病流行，军队不利而还。[8]
开皇十九年（599年），突厥侵犯隋朝边境，隋文帝任命杨谅为行军元帅，想让他率兵攻打突厥，但杨谅最后未去临阵统兵。[9]
杨谅自认为住在天下精兵之地，又因长兄太子杨勇被进谗言而遭废黜，平时常怏怏不乐，私下里有了反叛的图谋。他于是劝隋文帝说：“突厥正强大，太原即为重镇，应加强防备。”隋文帝听从了他的话。于是大发民工劳役，修缮兵器，贮存在并州。又招纳亡命之徒，和身边的无户籍之人，将近数万人。任命南朝梁将军王僧辩的儿子王頍为咨议参军，和重用以前是南朝陈的将军萧摩诃。[10]
仁寿二年（602年），杨谅的四哥蜀王杨秀因罪被废，使得杨谅心里更加不安。[11]
仁寿四年（604年），隋文帝驾崩，后杨广派车骑将军屈突通带着隋文帝的诏书，召杨谅回朝。杨谅知有异，不听从遂起兵反叛。总管司马皇甫诞劝谏不可，杨谅大怒，囚禁了皇甫诞。[12]
王頍劝杨谅说：“大王手下将领士卒的家属们，都在关西（函谷关以西），如果用他们当主力，就应该发动攻击，长驱直入，直接夺取京师，是所谓疾雷不及掩耳。如果只打算占据北齐旧有疆域（杨谅管辖地），则应任用东方（函谷关以东）人。”杨谅不能决定，于是兼用两种策略，宣称“杨素谋反，要诛杀他，以清君侧。”[13]
总管府兵曹裴文安建议杨谅说：“井陉（河北井陉西）以西地区（山西），完全在大王控制之下，山东（太行山以东）武装部队，也由大王指挥，应该全部动员，派老弱残兵驻守险要，但仍命他们随时扩充土地。然后率领精锐，直入蒲津关（山西永济西黄河渡口），我愿充当前锋，大王率主力继进，闪电攻击，挺进霸上（陕西西安东灞河畔）；咸阳（陕西咸阳）以东地区，可以从容不迫的把它平定。此时，京师震动骚扰，军队不能马上集结，上下互相猜疑，人心离散。我们立即发号施令，谁敢不听。用不了十天，大事可定。”[14]