说高谨回到下邳。收聚了刘备的军马，坐拥徐州仓境心间便声势浩大起来。
此时整个徐州百废待兴，高谨亦不能清闲，一边善待刘备等人，将刘备降卒组编成一军，刘备任都尉，其余关羽、张飞、糜芳三人俱都任校尉，陈到为卫队长，专门负责高谨的护卫，而糜竺则任别驾。
与此同时，高谨在暗中亦开始着手除掉刘备，刘备此人是不会甘心听命的，关于这一点，高谨有很深的认识，一方面，为了稳住他，高谨对他极为优厚，隔三岔五的请他赴宴，对他和关张二人亦绝没有表现出一丝的不信任，非但如此，还将降卒尽皆托付他们。另一方面，高谨也现了糜芳的心思。
糜芳自随其兄长散尽家财资助刘备，随后到了刘备帐下，刘备此人倒是颇有识人之明，深知糜芳好大喜功，虽然擅长射箭和骑马，却并非是良将，因此对他虽然优涯，却不给予他领兵之权，其地位非但在关张二人之下，就连陈到的地个亦比他高得多。
除此之外，关羽亦对他很是不喜，平时只称呼他做糜家那小子，糜芳因此怀恨在心。认为没有糜家，如何会有刘备的今日，而投降高谨之后，高谨对刘备军将领倒是一视同仁，不管关羽、张飞还是糜芳，俱都做了校尉。
直到此时，糜芳才有了与关张二人平起平坐的资格，因而对高谨心怀感激，数次向高谨示好，糜芳亦是聪明人，早知刘备不会屈居忍下，于是连夜向高谨密议道：“主公怎能给予刘备收编旧部，此人乃是汉室宗亲，一向不愿屈居于人，有朝一日必妨主也。”
高谨见糜芳深夜来访，又如此开门见山，原以为是刘备故意派他刺探自己对他的态度，是以笑道：“玄德乃是宗亲，吾亦是汉家臣子，他寄居于下邳，我自该给予他优厚，糜校尉来此又说出这等话来，莫非要离间我和玄德的关系吗？”
糜芳连道不敢，这才知道自己过于孟浪了，连忙道：“主公且听某一言，主公占据徐州，以徐州一地，而虎视中原、河北，正是扫除天下不宁之时，刘备虽是汉室宗亲。却一向善于鼓惑人心，若是主公放任，恐怕将来徐州之人只知有刘备却不知有主公了。”
他继续道：“而且此人看似德高望重。可是某却知道，此人却是忘恩负义之人，他流浪徐州之时，糜家曾资助其军马粮秣何止万金，可是刘备却只信任关张二人，对某与其兄表面上敬重，其实却只视某为猪狗也。主公见他面善，切莫被他盅惑。”
糜芳说到这个份上，高谨也不由相信他的实对刘备有不满，不动声色的道：“如此说来，刘备当真是徒有虚名？”
糜芳道：“正是如此。”
高谨笑了笑：“可是若除去了刘备，关张二人又该如何？更何况降卒之中不少人乃是刘备嫡系人马，若是加罪刘备，又该如何处置这些降卒。”
糜芳一时也被问倒了，沉吟片刻：“主公何不暗杀刘备？”