怀义军、昭义军是旧军，与铁勒人一战，损失不小，总兵力已经降到三万人左右。
至于保义军，则是奚人归化之军。张文远带他们返回辽东之后，黄明远便将他们招为隋军，授予名号，其部有七千人。
宣义军则是突地稽所部。这次黄明远在幽州直接将其部编户齐民，然后分治于各县，而其兵归入隋军之中。
突地稽虽然失去了自主权，但比起在栗末水的老家人，已经是天壤之别。突地稽本人也不敢反对，于是只得任由黄明远收编。其部有近四千人。
至于顺义军，则是宣化一战投降的铁勒人。
黄明远也懒得计较这些人的背叛，只要阵前起义的，都饶了他们一命，比照苏农部、执失部的办法处置。
这些人组成来源复杂，分作七八部之多，有近一万两千人。
在黄明远麾下，成编制的胡人部队有四万多人，至于分散到各军的也有不少。总体来看，已经超过三分之一。
黄明远也不敢再增加胡人的数量，担心影响军队成分。
实际上黄明远手下还有十多万被俘虏的胡人，都在各地做苦力，这些胡人随时都能成为部队。
此次南下，除了主力尽出，黄明远亦是亲往。
黄明远南下，只带上了大将军幕府，而行台暂时留在幽州。不过也只是暂时的，等到黄明远平定河北，这行台自是仍要南下的。实际上无论是大将军幕府还是河北道行台，都是为黄明远一人所服务的。
当然，大军南下，幽州这根基之地是不能放松戒备的。
黄明远全掌幽州五郡军政大权之后，除了裁撤官吏，梳理行政组织、体系，最重要的仍是掌握军队。
黄明远命张季珣整练各郡军队，安乐、渔阳、北平、上谷、宣化诸驻军，加上涿郡诸军，共计四万五千余人，黄明远将其统一交给陈远节制。
幽州六郡之地，背靠燕山要塞，又有辽东支援，虽不说稳如泰山，但也没有人可偷袭此地。
此次南下剿匪，乃分路进击。
东路军由黄明远亲自统帅左武卫、龙骧二军和怀义军、昭义军，直袭渤海郡的高士达、窦建德。河北诸盗，能成事的也只有窦建德一人，黄明远自然要亲自对付。
西路军由李靖、黄明溥二人统帅鹰扬、豹韬二军和宣义军，从上谷郡进击博陵、恒山二郡。
而中路军由张文远统帅右屯卫军和保义军、顺义，从三关南下，征讨河间郡北部的赵万海等诸贼寇。
三军齐出，剑指河北。