1933年5月下旬，长城抗战古北口战役已结束，仍有东北军第67军和中央军第17军25师部分官兵的尸体遗弃在荒僻山野，有的已腐烂成骨。为了不使牺牲在抗日战场的中国军人曝尸荒野，古北口令公庙道士王乐如发动民众上山收敛，共寻得抗日官兵遗骸360余具。民众含泪将遗骸合葬于古北口南门外，填坟时土不够，周围各村民众都去背土，填起了一座直径18米、高8米的巨大坟茔，取名“古北口战役阵亡将士公墓”（俗名肉丘坟）。1934年3月，国民政府军事委员会北平分会为此公墓立碑。

50年后，公墓因年久失修，围墙毁坏，墓碑丢失，又因多年风吹雨淋，墓体缩小为直径10米，高5米。为保护公墓，1984年古北口镇人民政府拨款整修，重砌围墙碑栏，用水泥将墓体封盖。1993年密云县政协委员会集资对公墓再次进行整修，找回原墓碑，恢复公墓原貌。1996年北京市人民政府将此处命名为“北京市爱国主义教育基地”。1997年密云县政协在公墓东侧另建纪念碑亭，新建“长城抗战古北口战役纪念碑”，由时任全国人大常委会副委员长、中国国民党革命委员会主席何鲁丽题写碑名。

此公墓与安徽蚌埠“长城抗战阵亡将士公墓”和云南腾冲“抗战将士公墓”并列为国内三大国民党军抗战将士公墓，寄托着后人对抗日爱国军人的崇敬与哀思。