1938年6月初，李贞乾率领丰县各抗日武装联络单县抗日武装，计划6月中旬攻打丰城驻守日军。10日，日军奉命南进，撤离丰县城。黄体润命令丰县常备队与之交火，击毙日军2名，丰县常备队中队长蔡树棠阵亡。当晚，李贞乾、王文彬等率领丰县、单县、砀山部分抗日游击武装共250余人，进驻丰城南郊渠楼。

　　继苏鲁人民抗日义勇队第一总队在鲁南成立之后，徐西北区委通过统战关系与第五战区成立游击司令总指挥部总指挥李明扬联系，要求给予李贞乾领导的湖西抗日武装番号，准以“湖西人民抗日义勇队”名义成立抗日武装。

　　1938年6月11日，根据上级指示，李贞乾、王文彬等率丰县、单县、砀山部分抗日武装250余人，进驻丰城南郊渠楼，接着，王文彬派张如到丰北拉队伍到渠楼集中，共计1000余人，在渠楼礼堂召开大会，宣布成立“人民抗日义勇队”，李贞乾、王文彬以及砀山、单县游击队负责人蒋嘉宾、高文甫、工人代表刘光海都在大会上讲了话，部队士气大振。大会宣布李贞乾任队长，王文彬任政委，副总队长祝良银，参谋长张如，政治部主任孙叔平。

　　不久，苗宗藩、陈筹到清江向李明扬备案。由于陈筹专门从事对国民党丰县的统一战线工作，史为功接任丰县县委书记。

　　此时，湖西人民抗日义勇队下辖辖5个大队。为了和湖东张光中领导的人民抗日义勇队一总队的四个大队编制相衔接，湖西人民抗日义勇队二总队下设的大队，从第五大队始续编制：

　　沛县第五大队，苗宗藩任队长，郝中士任指导员。后郭影秋带五大队到沛铜一带打游击，将铜北共产党领导了武装编入五大队。第五大队初建时只有四五十人，集合后的队伍开赴沛、铜边一带活动，一边扩军，一边收集国民党兵丢失的枪支弹药，很快，队伍扩大到上百人，组建成三个分队，发展到200多人，由郭影秋兼任指导员，张训福任大队长。

　　丰县第六大队，5月初，李贞乾把李乏民游击训练班的青年骨干60多人组成丰县人民抗日义勇队。5月17日，日寇轻取丰城，丰县人民抗日义勇队与丰县二、三、四区的抗日武装会合，组成100多人的抗日武装，会师后编为第六大队，康文彬任大队长。

　　砀山第七大队。1938年6月，孟宪琛、孟宪礼和蒋嘉宾把发动组织的砀山武装带到丰县先后在渠楼、尹小楼与兄弟县的抗日武装会师，参加义勇总队，编为第七大队，蒋嘉宾、孟献琛先后任大队长，尹夷僧任教导员。

　　单县第八大队。1938年6月10日，抗日自卫团联防队在高文甫、祝良银领导下参加了渠楼会师，编为第八大队。祝良银、王华瑞先后任大队长，高文甫任教导员，下辖3个连队，100余人。

　　第九大队，即丰北抗日武装，渠时湘任大队长，王襄九任指导员。

　　为了建立一支湖西地区统一的抗日武装，中共徐西北区委和鲁西南特委联合调集丰县、沛县、砀山、铜山、萧县、金乡、鱼台等县的抗日武装，王文彬派张如去丰北将队伍带到丰县城东南华山镇。

　　6月13日，李贞乾率领的1000余人与各路人马在华山镇尹小楼会师，由王文彬正式宣布式成立“人民抗日义勇队第二总队”（亦称“湖西人民抗日义勇总队”），李贞乾任总队长，王文彬任政委，张如任参谋长，郭影秋任政治部主任，并确定了各县武装编号和负责人。接着，人民抗日义勇总队任命了副总队长耿蕴斋、祝良银、李发，孙叔平、陈筹任政治部主任（由于政治部主任孙叔平、陈筹均未到任，暂由郭影秋兼任），张如（东北军）任参谋长（兼），刘铭盘（李秉真妻兄，其父亲刘德荣是安清帮大当家）、惠念先（怡然）、段景尼任副官处主任，孙鹤一（老红军）任参谋主任。

　　由于鲁西南、宿县、永城、铜北及丰县、金乡、萧县的部分抗日武装的陆续加入，湖西人民抗日义勇总队先后编成20余个大队，共5000余人，接前大队序号依次编制为：

　　鲁西南曹县一带的抗日武装第十大队、第十一大队、第十二大队：为。

　　金乡第十三大队：1938年6月底，金乡抗日武装参加华山会师，编为第十三大队，耿荆山任大队长，叶道友任副大队长，翟子超任指导员。

　　第十四大队：拟留给鱼台抗日武装，因未到位，空缺。

　　萧县第十五大队、十六大队：民国19年（1930）7月上旬，根据中央统一篇制，徐海蚌地区的农民暴动队伍编为红十五军，辖三个师。萧县的暴动队伍编为第一师，黄口暴动队伍编为红十五军第一师独立营，暴动失败后，番号取消。1938年5月，萧县党组织在郭影秋同志的协助下，于6月将何光友、孟昭林带领的两支游击队共170余人带到陇海路北。加入湖西人民抗日义勇队被编为第十五、十六大队，分别由何光友、孟昭林任大队长。

　　萧县第十七大队。1938年7月初，在六区张屯正式成立了“萧县抗日游击队”，李忠道任大队长，冯家平任指导员，随后编为二总队第十七大队。

　　萧铜第十八大队。1937年10月，爱国进步青年孙象涵在家乡铜山县七区桃山集组建了拥有80名队员的“桃山抗日游击队”。1938年7月下旬发展到200人，遂编为大队，下辖3个中队：1中队长薛玉标、2中队长李学智、3中队长亢为德。7月末，中共萧县工委根据上级决定，给桃山游击队命名为人民抗日义勇队第2总队第十八大队（苏鲁豫皖边区特委对所属各县抗日武装定的统一编制，鲁南各县游击队编为1总队，丰、沛、肖、砀等县游击队编为2总队），并要求大队去肖西与17大队会合，以互相学习。18日，两大队会合。由萧县工委负责人李中道主持宣布两队组成抗日义勇队2总队3支队，孙象涵为支队长兼第十八大队队长。1938年8月底，彭南抗日游击队编为湖西人民抗日义勇总队第十八大队。并与萧县其他几支游击队一起，从徐州西边北越陇海铁路，进入苏西北丰县、沛县地区接受上级整编，再改番号为人民抗日义勇队第二总队第三营，二总队长耿蕴斋，孙象涵同志任该总队副总队长。

　　萧县第十九大队。1938年10月中旬，十七、十八大队在萧县会合，随即从两大队中抽调一部分人，组建了二总队第十九大队，许智远任大队长，孟宪礼任指导员，下辖3个中队。

　　萧县第二十大队。1938年10月下旬，萧县中心县委整顿六区、马井等地联庄会的自卫团游击队，以此为基础组建了第二十大队，下辖3个中队，吴信容任大队长，张登先任指导员。

　　宿县第二十一、二十二大队。1938年11月宿东游击支队的一、三两个大队与宿西抗日游击队奉特委指示去丰北，行至萧县的瓦子口一带与萧县的十七、十八、十九、二十大队会合，宿县的部队编为第二十一、二十二大队，分别由王香圃（李广德）、王烽舞、王恒赵任大队长。

　　铜北第二十三大队。1938年6月2日，吴传楼党支部吴光道、吴庆堂、邵泽远来到夏楼计议，决定打起抗日游击队大旗，口号是“抗日保家”。大家分析国民党卢楼乡乡长李开金有枪百余支，其秘书李来绥是共产党员，可通过李来绥做李开金的统战工作，以保护我们这支武装不再被土匪吞掉。李开金比较进步，愿意同抗日游击队联合行动抗日，在7月间还派他侄子李来崇带枪三十支与这支游击队一起编入湖西人民抗日义勇总队。

　　另外，湖西人民抗日义勇总队成立了总队机炮连和总队宣传队。

　　总队机炮连。单县抗日自卫队根据县委决定，由吴云汉、段景尼将自卫队带到丰县欢口参加了湖西人民抗日义勇总队，编为机炮连（实为一个排），吴云汉任连长，张登先任指导员。

　　总队宣传队。1938年7月，由原丰县“动委会”流动宣传队三四十人组成第二总队宣传队，汪亚民任队长，王效斌任指导员。总队宣传队归政治部教育股领导，教育股股长是翟子超。