不久之后，张树声果然说服了刘铭传与周盛波加入，这样一来，曾纪泽的这支新建淮军人数将达到一万余人。曾纪泽在常胜军的基础上再次改进了编制，将原有的三营扩建为三团九营，炮连扩充为直属炮营，并新编入了一个直属后勤营。
为了避免湘军兵归将有，主帅调动不利的弊病，曾纪泽将原有常胜军与新加入的团练勇丁进行了系统的混编，保证了在每一级的指挥岗位上，新旧将官所在比例达到比较平衡的水平。
新编淮军中，张树声任二团团长，向望海任副团长；刘铭传任三团团长张树珊任三团副团长，胡雪参任一团团长，周盛波任副团长。许厚才任直属炮营营长。
曾纪泽原计划除威利外，聘请更多的外**官对淮军进行系统的西洋军事训练，但鉴于上海形势的紧张，以及北京局势的不确定性，曾纪泽认为有必要尽快的将上海这块得天独厚之地掌握在淮军的手中。于是，在经历了不到一个月的短暂训练，曾纪泽就决定率领淮军开赴上海。
上海官绅对于淮军的到来自然表现出了极大的热情，他们应曾纪泽的要求，向在沪外国轮船公局租用了多艘火轮，运送一万淮军分数批，闯过了长江下游太天天国占领区域，于十月中旬顺利到达了上海。
曾纪泽抵达上海的头一天，以江苏布政使吴煦为首的各界人士就摆下盛宴为他接风洗尘，他们对这位两江部督之子，淮军统帅表现出了相当的尊敬与热忱。曾纪泽在宴会上表示，他的淮军拥有与太平军作战的丰富经验，如果上海官商界能为他提供购买武器以及饷银的充足支持，他保证他的淮军将保卫击败太平军的入侵，保卫上海的安全。
上海成为通商口岸日久，租界内外外国公司云集，许多中国商贾也在此开办产业，当时的上海号称“东亚第一都市”，更是清政府关税收入的主要来源，用富可敌国来形容上海虽有夸张，却也形象的描述了上海的富裕。
钱对于上海官绅们来说并不重要，重要是淮军能够守得住上海，吴煦当即代表各界表示，只要淮军能保证上海安全，则他们可以提供每月二十万两人的饷银，另外提供购买洋枪洋炮的全部费用。
打仗就是烧钱，有了上海这个大金库作后盾，曾纪泽更增加了守住上海的信心。与此同时，他向吴煦私下提出了另一个要求，即以上海衙门的名义，立即解散洋枪队。
1860年，当时正值太平军攻克苏州之际，英美等国为了阻止太平军攻占上海，但又不方便撕破中立的面具，直接派兵与太平军为敌，便由清政府出面，委派美国人华尔召募外籍亡命徒及军人组成了雇佣军，即洋枪队。
洋枪队在建立的初起，由于人数有限，在保卫上海的战斗中发挥的作用也十分有限，其真正发挥重大作用的时候，则是在1862年扩军，并被清政府赐名为“常胜军”之后。后来的几年中，该武装不断的扩充，不但成为了一支令太平军望而生畏的队伍，更因为英美等国对其的控制，任其成为一支清政府眼中一支尾大不掉的威胁力量。
曾纪泽既然准备将上海。乃至江苏作为自己发展地根据地。那自然不能允许在淮军之外。还存在着另一支强大地武装力量。解散洋枪队便成了他首要地目标。
当时。华尔率领洋枪队在与太平军地一次交战中。遭到惨败。士兵折损大半。本人也负重伤。洋枪队地战斗力遭到严重地削弱。华尔当时正准备改变方针。招揽中国人加入洋枪队来增强实力。曾纪泽选择在这个时候对洋枪队下手。时机恰如其分。