张自忠从懂事起，就开始接受旧学的熏陶，父亲的影响和学校的教育，都毫无二致地归一于孔孟之道，因此，强调忠、孝、仁、义的旧道德从小便在张自忠的内心深深扎下了根。
学习之余，张自忠常借一些小说来阅读消遣。最让他喜爱的是《三国演义》、《说唐》和《说岳精忠传》。这些古典名著对传统道德作了活生生的注释，关云长、岳武穆和秦叔宝的忠义侠行和浩然之气令他心驰神往，由衷敬慕。他也曾在由营长提升为团长时以才能和经验只勉强做一营长而上书恳辞，用地位引诱只怕让他哧之以鼻。
既然如此，直接晓以民族大义，以停止内战、抵御外侮来劝之归顺奉军可能是一明智之举。张自忠此时任冯玉祥卫队团第三营的营长，奉命驻守在长丰县。之所以派出卫队守边，实在是因为他的摊子铺得太大了，人手照顾不过来。
张自忠同样对直军以一已私利阻挠统一非常不满，他对冯玉祥只打自己的小算盘也颇有微词。对南边的奉军少帅（他一直认为人民军是奉军的一部分）也深表尊敬。
少帅一改传说中民国纨绔子弟的作风，通过卓有成效的“辽宁经济改革”，建立近来声势颇大的人民党，安蒙、平甘、入陕、夺鄂、抢皖丝丝入扣，一气呵成，显示了其杰出的军事、政治能力和战略观，吴佩孚、冯玉祥之辈的能力尚达不到那种境界。
从张汉卿“不经意”间写出的那首《清平乐?六盘山》也可以看出，张汉卿所图非小，正所谓言为心声。而前不久的《凤凰涅槃》更是将他一腔对国家民族的爱发泄得淋漓尽至。
对于少帅亲笔写信招降，他既矛盾又感激：他不过是一个营长，张汉卿麾下有无数强将，竟然能看上默默无闻的自己，且竟然赞诩自己为“国之良将”，顿感有一种知遇之恩。可是自己在冯玉祥帐下效力多年，颇有感情，自古忠臣不事二主，怎能在这种时刻抛弃冯师长？
张汉卿似是明了其心迹，在信的末尾诚恳地说；“我知荩忱（张自忠的字）兄忠义过人，但忠于国家谓之忠，忠于个人谓之义。人民军以统一国家、强大民族为已任，亟需如兄之人才为辅。盼兄以民族大义为重，舍小义而换得民族复兴，则中国幸甚，百姓幸甚！”
思忖再三，张自忠决定加入人民军。
不过他是个有节操的人，决定离开后，把历次冯玉祥所奖励的物品整理齐全放在房内，又把全营的后勤账目细细地核实一遍，然后签字画押以示负责。
在临行前留给冯玉祥的信中说：“冯将军敬启：荩忱跟随师长已逾4年，每思报效国家，终恨无门。民国自成立以来，军阀混战，民不聊生。张少帅汉卿者，以统一国家振兴民族为已任，素为荩忱所敬仰。今将弃君而奔彼地，因行事匆匆，不及面辞。望将军能以国事为重，谅解荩忱一片苦心。我闻君子交绝，不出恶声。临别赠言，为荩忱肺腑之语。”
张维玺、张自忠两员大将加盟，使张汉卿欣喜异常。他也言出必诺，安排张维玺任于学忠第8师一旅代旅长，以张自忠任司令部高级参谋兼军官教导团副团长（军衔升为上校）。