活动于河北安平县一带的人民自卫军回民干部教导队，奉冀中军区的指示，于1938年6月，开赴河间县城，与马本斋领导的回民教导队合并编成冀中军区回民教导总队。下设两个大队，马本斋任总队长，马仲三为副总队长，约六七百人。这支部队，以回民为主体，兼有汉民参加。1938年8月初，回民教导总队奉命到河间沙河桥镇驻防，主要任务是整训部队。为加强党对这支部队的领导，晋察冀军区选派第三分区回族干部、教导员丁铁石任该部的政治部主任。丁铁石到任后，和马本斋一道，在共产党员和政治骨干的支持下，着手做稳定、巩固部队的工作。　　

　　马本斋尊重党内干部，支持党组织的工作。他本人也注意用共产党员的标准要求自己。他对丁铁石同志说：“我在旧军队里混了十多年，沾染了不少坏习气。你们要好好帮助我改造，千万不要因为我是总队长不敢说，不愿说。”马本斋自己有强烈的入党愿望。有一次，他对副总支书记刘世昌说：“你是共产党员，是怎么入党的？将来介绍我入党好不好？”过了一些时候，党组织发展了一批党员，但是没有发展马本斋。他又来找刘世昌，说：“光发展别人，不发展我，怎么回事啊？是不是我不够条件啊？”其实，党组织正在考虑他的入党问题。　　

　　为了入党，马本斋有意识地接近党员，经常谈起对共产党的认识。马本斋还设法找有关党的知识方面的资料阅读。有一次，他从刘世昌那里要去了《党的建设》和《党员须知》两本油印小册子。马本斋积极要求入党，对党的认识提高很快；他又一心救国，立场坚定，在部队中有很高的威望。将马本斋入党的迫切愿望报告上级党委后，不久即得到了批准。经总支书记王一民主持的总支委员会讨论决定，由丁铁石和刘世昌介绍，马本斋于1938年10月加入了中国共产党。　　

　　在批准马本斋入党的那一天，他感到自己是党的人啦，高兴得彻夜未眠。他填写的入党志愿书，每一个字都写得很工整。志愿书上写道：“我决心为回回民族解放奋斗到底，而回回民族的彻底解放，只有在中国共产党的帮助和领导之下，才能实现。”入党宣誓第一项是唱《国际歌》，马本斋不会，便要杨略在两天之内教会他，并把《国际歌》工工整整的抄在日记本上。　　

　　在壮大党的力量的同时，部队也同时进行以游击战术为重点的学习和训练。马本斋带头学习毛泽东的军事学说。他说：“我们应该努力学习，提高战术技术水平，切实掌握和运用游击战争的原则，狠狠打击敌人。”上级机关发给他一本《论持久战》，他视为抗战法宝，十分珍惜，特意用硬纸把书包起来。他对《论持久战》研究得很细，每一个章节都记得很熟，讲起军事课来运用自如。马本斋有写日记的习惯，经常把学习毛泽东军事著作的体会写在日记上。经过近3个月的沙河桥整顿，为部队逐步走向正规化打下了基础。马本斋无论在思想上，还是在组织上，都有了一个新的开始。