北京市密云区第二小学最前身是建于明万历年间的白檀书院，距今已有400余年的历史。

明万历二十三年（1595），密云知县康丕扬在县城新城东南角建讲书堂，次年改为白檀书院。是时，书院“前有堂，后有亭，东有春华馆，西有秋实馆，规模宏敞”。明万历四十一年（1613），知县尹同皋建尊经阁五间以藏书。后因年久失修变为废墟，易为民居。清道光十四年（1834），知县李宣范筹集银两，在鼓楼东路南重建白檀书院。清光绪二十九年（1903），知县陈雄藩改建白檀书院为县立高等小学堂，设正副学董3名，教员2名，1名教科学，1名教国学，是密云县第一所近代小学。1919年，开设国文、算术、地理、体育等课程。1921年改称密云县第一高级小学，石匣镇为第二高级小学，古北口为第三高级小学。1928年增设常识、历史、三民主义等课程。1949年，改为密云师范附属小学。1956年改为密云县第二小学，位于育才路的城关小学改为密云县第一小学。1960年被确定为县属重点小学。1962年由鼓楼东路南迁至通城胡同现址，占地2.5万平方米。1963年被确定为北京市29所重点校之一。2012年北京市教委向学校颁发了百年学校校牌，是北京市39所百年老校之一。2015年改为北京市密云区第二小学。2021年，有教学班41个，在校生1810名，教职工116名。