第二一早，豆卢毓便在总管府摆下了鸿门宴，以自己和朱涛二饶名义招众文武前来议事。晋阳城中文武到了之后，豆卢毓便图穷匕见，自言自己奉子之命，讨伐杨谅，现率领晋阳城拨乱反正。同时豆卢毓又拿出来子的诏书，劝众人随他一同反正。
众人畏惧豆卢毓的兵权，也同样担忧杨谅怕是难以翻，因此纷纷景从。当然其中也有杨谅的心腹，不愿背叛杨谅者，皆被豆卢毓派人直接当场杀死，以杀鸡儆猴。
之后被豆卢毓从监狱里放出来的皇甫诞来到众人面前，众人乃举皇甫诞总揽政务，又由豆卢毓总领晋阳城中的兵权，为皇甫诞之佐，握有实际权力。
皇甫诞等人乃征调城中壮丁，准备守城。乃令宿勤武守卫东门，宇文永昌守卫西门，元世雅守卫北门，长孙恒布则配合稽胡人守卫南门。
稽胡人进城之后，因军纪涣散，在城中无恶不作，百姓不堪其苦。奈何豆卢毓等人要依靠这些稽胡人来守卫城门，因此对于城中百姓的怨言，只得装作不知。而晋阳城中百姓本来因为汉王地位素来骄傲，受到稽胡人如此扰更是不满，因此民心涣散，皇甫诞、豆卢毓等人并不得晋阳城中百姓的支持。
刚开始众人为豆卢毓所执，只得同意豆卢毓的反叛计划，跟随他一同反叛。但之后众人眼看豆卢毓等人并没有那么强的实力，因此不少人起了别样的心思。
而且杨谅的王妃豆卢氏知道兄长背叛了杨谅之后，带着儿子杨颢亲自当着众饶面质问豆卢毓的背叛，得豆卢毓哑口无言，进退不能。豆卢毓无奈，只得将妹妹和外甥囚到杨谅的宫中，使之不能与外界接触。
豆卢毓此举，更是让杨谅一些的旧部不满，城中气氛压抑，人心动。
也不知是不是豆卢毓等人运气不好，本来众人预计杨谅要和朝廷大军相持一段时间，但杨谅败的太快，豆卢毓在晋阳城根本就没有做好防备。而且晋阳城中有杨谅的亲信偷偷潜出城去，向杨谅报信。
杨谅率领二万大军北上之事，豆卢毓毫无防备，等到杨谅到了晋阳城外十余里，豆卢毓等人才发现杨谅大军。众人大吃一惊，这才准备抵抗杨谅。
城中本就只有数千士兵，而且经过豆卢毓等人对军官的清洗，仓促之间，战力羸弱。皇甫诞又征发上万民夫守城，但因为稽胡**乱晋阳城一事，哪怕皇甫诞在晋阳城威望显着，百姓也对其严重不满。
含怒而来的杨谅驱兵至晋阳城下，眼看晋阳城城门紧闭，不纳其入，勃然大怒，乃令豆卢毓出来见他。
杨谅的大旗在城南高悬，南门的守卒皆是大惊，纷纷询问长孙恒布。杨谅在并州七年，朝廷盛选僚佐，前后长史、司马，皆一时名士，因此百姓负担不重，安居七年，使得杨谅在此颇得人心。
长孙恒布不敢直言对面的乃是杨谅，因此便这些都是前来诈城的贼人。众人半信半疑，勉强应战，但兵无战意。
杨谅眼看豆卢毓不来见他，南门守将也没有应答的，因此命纥单贵率军攻城。
此时南门守卫的除了长孙恒布麾下，还有一群稽胡人，这些人并不认识杨谅。长孙恒布见自己麾下没有战力，便对这群稽胡人道：“大败对面的贼军，并州府库任凭尔等搬运。”
稽胡人听到长孙恒布竟然要把并州的府库都给他们，纷纷大喜，乃拼命力战。
长孙恒布将并州的弩具一一分发给这些稽胡人，等待杨谅的士兵靠近之后，这些稽胡人便用弩机、弓箭击城下。稽胡人可不管你是不是汉王，只有有好处，照杀不误。