关谨大惊失色，立刻自辩，李轨却头也不回地离开了。
其实归降大隋没什么，只是一个名号问题。只是李轨称王已经习惯了，若是归降大隋，必然要去王号，他着实不舍得这个王号。
众人散去，安修仁去见李轨。
安修仁便劝李轨，众人举义，本就是对朝廷不满，如果再次归降朝廷，则人心将散。李轨深以为然，觉得还是安修仁为自己着想。
这时李轨想起安修仁的兄长安兴贵在长安为官，便问安修仁如何不愿归降朝廷。
安修仁便说道：“臣闻富贵不居故乡，如衣锦夜行。如今全族子弟蒙受大王信任，怎敢怀有他心！”
李轨大喜，于是更加对安修仁委以重用，军政大事皆交由安修仁决之，安氏职掌枢密者有数十人。
至于关谨等一些旧臣，则越发被李轨疏远了。
安修仁掌握大权之后，便和韦士政、谢统师以及李轨的次子李仲琰等人相互勾连，打压重臣，排斥异己，弄得大凉朝堂之上，乌烟瘴气。
大业十一年十月，盖援率四千人马从删丹县出发，攻入武威。与安修仁亲近的番和县令在安修仁的安排下，投降盖援。
盖援所部兵势直逼姑臧，李轨坐不住了，只得命其弟李懋为主将，并以太仆卿谢统师、尚书左丞邓晓二人为副将，率领国中主力前去迎击。
此时大凉国之兵尽出，而姑臧空虚。
在安修仁的指引下，西平、居延两路人马，从南北两侧直逼姑臧城下，将姑臧城包围。
李轨大惊，率领麾下仅有的部队出战，但却不敌，为隋军击败，只得退守城中。
这时安修仁率人打开城门，引隋军入内。整个城中已尽为安修仁掌握，如是一城皆降。
李轨侥幸未成为隋军的俘虏，带领几百名心腹，退守内城。
安修仁带着人兵临城下，大呼道：“卫公派我来取李轨，不服从者罪及三族。”于是城中之人皆不敢动。
李轨站在城墙之上，见到安修仁便大声呼道：“安修仁，我待你恩重，委以重任，汝何以背叛于我？”
安修仁乃在城下大声喊道：“李轨，你待我的确很好，但我要为武威百姓计，不得不如此。还有，我从未背叛于你，我一直便是忠于大隋之人。十多年前，我奉卫公之命，前往突厥牙帐为间，历经生死，矢志不渝，当时突厥步迦可汗看重于我，要委我以突厥国相，我尚不曾心动，你以为一个区区逆臣宰相，可以收买于我。”
众人听了大吃一惊，没想到安修仁还有此等经历。安修仁连突厥可汗都无法收服，背反李轨，也就是必然之事。
李轨却是知道，事情无可挽回，于是大声感叹道：“我识人不明，以至于此。今人心已失，天亡我啊！”遂携同妻子儿女登上玉女台，置酒告别故国，然后开城向隋军投降。