敌后抗日武装斗争，是中国共产党领导下的人民战争。只有把人民组织和武装起来，建立一支由主力部队、县区游击队和民兵（自卫军）组成的三位一体强大武装力量，才能夺取抗日斗争胜利。因此，武装建设，是抗日根据地一项基本建设。

平密兴建立后，区县相继成立基干队。1941年春，建立三区基干队，李仲任队长，刘茂林任指导员。同年7月，建立平密兴联合县基干大队（又名第五大队），张凤生任大队长，刘向道任教导员。1942年3月，在密云、兴隆、滦平交界地区成立滦承兴办事处，同时组建滦承兴基干大队（又名第六大队），刘继抗任大队长，李仲任副大队长，平密兴三区基干队被编为该大队第三中队。1942年11月，成立平三密联合县，同时成立平三密游击总队，统一指挥原第五、第六大队和各区基干队，李满盈任总队长。

丰滦密根据地开辟之初，即派干部到各区组建地方游击队。1940年7月，十团参谋李瑞徵组织张家坟一带农民成立丰滦密一区游击队——白河游击队，最初只有16人，任永海任队长。同月，十团改编对家河一带自发抗捐农民武装为游击队，孙长志任队长。8月，十团作战参谋师军在三区赶河厂一带组织起白马关游击队，张万福任队长。同月，为统一领导，白河游击队与抗捐武装合编，仍称白河游击队，任永海任队长。同月，十团在云蒙山西部组建四海游击队。这些地方游击队配合主力袭扰和打击敌人，积极锄奸锄特，为保卫根据地作出重要贡献。由于当地青年踊跃参加，如冯家峪中心村一次就有26名青年加入白马关游击队，因此，各区游击队不久就发展到几十人至上百人规模。1940年12月底，以白河游击队、白马关游击队、四海游击队为基础，在王庄子村整编组成丰滦密联合县游击大队，下辖3个中队，共350余人，师军任大队长，刘力生任教导员。此后，各区又重新建起游击队，其中有重建的白河游击队，新建的北方游击队、长城游击队、渤海所游击队等。

县、区游击队人熟地熟运动灵活，在配合主力作战、保卫地方政权等方面发挥出重要作用，同时为主力部队积蓄后备力量。1941年6月底，丰滦密联合县游击大队经过半年战斗锻炼，在赶河厂村正式升编为十团二营，赵立业任营长，刘力生任教导员。十团因此由2个营扩大为3个营，1500余人。1941年9月，平北军分区派王振东到丰滦密，将白河游击队、汤河口游击队和县政府警卫队合编，重新成立丰滦密联合县游击大队，番号为平北游击总队第四大队，下辖一个中队，共80余人，王振东任大队长。

抗日自卫军（民兵）是一种不脱产群众自卫武装组织。其主要任务是站岗送信、防奸防特、保卫村政权、运送和保护抗战物资，战时配合部队作战等。河东自根据地开辟始，即在有抗日工作村庄普遍建立自卫军，自卫军队长直接参加村政权。1942年以后，日伪开始制造“无人区”，河东山地村庄均与日伪断绝关系，成为抗日一面政权，为保卫家园，普遍建立武装自卫军，小村建小队，大村建中队，区建有自卫军大队。武装自卫军分成爆炸、游击等若干战斗小组，配合主力部队广泛开展山地游击战、麻雀战、地雷战，成为坚持“无人区”斗争重要力量。

河西山地抗日一面政权地区，普遍建有村自卫军；平原两面政权地区，群众武装公开为伪自卫队，实则是抗日自卫军组织。县、区成立抗日武装委员会，领导自卫军工作。1942年，出于反“无人区”斗争需要，又建立自卫军模范队和游击小组。模范队是半脱产武装基干民兵，接受村党支部领导，其成员均为抗日意志坚定、年轻力壮的自卫军骨干。模范队下设爆炸、侦察、游击等若干战斗小组，除执行自卫军一般任务外，还直接配合主力作战。丰滦密山地普遍建立模范队，仅五区（化石峪、二道沟一带）、七区（白马关川一带）、八区（贾峪、对大峪一带）就有模范队员1670人。游击小组是不脱产的村秘密武装组织，普遍建立在丰滦密两面政权地区。其成员都是抗日基本群众和共产党员，担负监视和袭扰敌人、搜集情报、破坏交通、秘密带路、送信等任务。

自卫军以刀矛棍棒和土枪为主要武器，也有少量主力部队替换下来的旧枪和手榴弹、地雷等。在党的领导下，自卫军利用这些原始武器，机智勇敢地开展对敌斗争。例如，1941年春，上甸子自卫军在两天之内诱歼和诱俘日军各2名，缴枪4支。1941年秋，小石尖等村自卫军配合六区游击队夜里在河槽村北铁道上埋下12颗地雷，将一列日军军火列车炸翻，游击队和自卫军猛烈开火，击毙押车日军21名，截获重机枪3挺、轻机枪40挺、三八步枪400支、掷弹筒20个、弹药500箱，因此受到丰滦密县政府的表彰和奖励。自卫军在情报工作中也作出杰出贡献。例如，日伪军对丰滦密78天大“扫荡”结束后，驻下营日军哲田中队准备撤走。下营村自卫军中队长李印山和队员张益之、村干部姜子林等设下“酒肉计”，备酒席宴请日军翻译官，席间将其灌醉，套问出该敌兵力、武器、撤退时间、路线等重要情报，及时报告给十团。十团据此在冯家峪南湾子设伏，几乎全歼哲田中队。1941年5月，十团也是根据下营村自卫军提供的准确情报，取得东白莲峪伏击战的胜利。

为适应武装斗争需要，1941年4月，十团建立炸弹厂。最初建在水堡子西大梁，后移至莲花瓣附近的小神仙洞，共有29名工人。他们利用简陋设备，为部队修理枪支，制造地雷、手榴弹、撅枪等武器弹药，供给部队和自卫军使用。后又根据需要先后建立起修械厂、被服厂、制鞋厂，这些后勤保障部门统归十团供给处管理。