这一点上，唐绍仪十分较真，经常因此与老袁意见相左、抗争座上，以为非如此不足以使责任内阁制名副其实。于是，短短几个月里，袁世凯亲近属下的许多建策，虽得袁大总统首肯，依然因唐总理反对而取消。这样的事情多了，可就让总统府的那班秘书老爷，顾问先生们，一下子炸了锅。
在他们看来，袁大总统就好比前朝皇帝，唐总理不过是皇帝手下的宰辅，只有宰辅听从皇帝的道理，哪有反过来要皇帝听从宰辅的，那样的话，他们这些“天子近臣”还有什么hún头啊
于是，老袁左右，每次见到唐绍仪来到总统府，往往怪形怪状，指着他的背影低声议论：“看今日唐总理，又来欺侮咱们总统了”
渐渐地，“总统无用，全然是唐总理的傀儡”这样一种议论，全部传进了袁世凯的耳朵里，也有人拿唐绍仪与孙文同为广东老乡的事儿说事：“他现在完全倾向同盟会而不倾向总统了”
终于有一天，唐绍仪又来总统府报告问题的时候，袁世凯忽然很不耐烦的打断他：“少川，我已经老了，这个总统还是让你来做，可好么？”
唐绍仪顿时愣在当场，当时，袁世凯还说了一些其他的话，他也没听进去，老袁以小字呼唐，虽是老友习惯，但此前两人之间早已用“总统”“总理”相称呼，以示客气，现在袁世凯突然喊他表字，明显是心中有气，语意又不堪入耳，唐绍仪顿时如冷水浇头，惶然不知所措。唐绍仪与袁世凯共事这么久，自然深知没有对方的支持，他这个总理必然无法做下去，但是他没有料到他的这位几十年生死相交的老朋友，老上司，入了民国，也依然没有领会多少“共和”的精神。
唐绍仪心神若失地走出总统府，乘车回寓。才走出数百步，忽然对面一大群武装兵士护卫着一辆装潢非常豪华的马车疾驰而来，队伍前面两个骑在马上开道的卫兵，一边挥舞手中的长鞭，一边吆喝：“快走快走不要恼了老子”唐绍仪的御者趋避稍迟，几乎挨上他们的鞭子，
等队伍过去，唐绍仪问车夫：“他是何人，如此威风？”车夫道：“他是大总统的拱卫军总司令段大人。”唐绍仪讥笑道：“原来是‘干殿下’段芝贵？我还道是前清的摄政王呢”
唐绍仪心目中，从来就没有把这个“小段”正眼相看过。北洋系统中，有两个姓段的都很有名，且都是安徽合féi人，段祺瑞人称“老段”，是“北洋之虎”，算个人物，北洋军人中，除了老袁，就属他威望最高。但是人称“小段”的段芝贵，在大家眼中，就不过是个溜须拍马的皮条客罢了。
1897年，段芝贵投效袁世凯部下，由于其叔段日升与袁世凯原为旧交，因此老袁对段芝贵格外照顾，而段芝贵对袁世凯则毕恭毕敬、殷勤备至。段芝贵每天早上天一亮就到袁世凯面前请安，多年从不间断，深得袁世凯的欢心。有一天袁世凯问他：“我闻人子事亲，每晨必赴寝门问安。汝非我子，何必如此？”段芝贵赶忙回答：“父母生我，公栽培我，两两比较，恩谊相同，如门g不弃，愿做义儿。”言罢跪倒在地，呼袁为父。袁世凯推辞不得，只好顺水推舟认了这个只比他小十岁的人做了干儿子。从此，同僚们常常以“干殿下”来讽刺段芝贵。
但是，有了袁世凯这个“干爹”，段芝贵从此就青云直上，他又很懂得巴结上司，多次为袁世凯及庆亲王奕劻之子载振等购买名ji美女，供其玩乐，于是深得袁世凯等人的欢心，虽然他军事才能平平，如今居然也已经做到权势十分显赫、统领京城过半军队的总统府拱卫军总司令一职。
唐绍仪回到寓所，越想越气。一个军司令，就有这么威风，我等身为文吏，尚想与统率北洋大军的大总统，计较长短，正是不知分量了。我明日即行辞职，还是归老田间罢。
于是，这个原来最被各方势力看好的、一致接受的唐氏内阁，还不到半年时间，就无可避免地夭折了。