清咸丰十一年(1861年)在胡同中段路北设立神机营衙门，选八旗精锐一万五千人，配备新式步枪，由恭亲王奕䜣率领，负责守卫紫禁城和三海，并扈从皇帝巡行。一时间，八旗京官争相投效，煤渣胡同顿为旗人所瞩目。庚子年间，外国入侵，神机营不战而溃，连衙署也被八国联军毁坏。到光绪末年，清政府在神机营旧址办起“贵胄法政学堂”，入学的多是富家子弟，他们或是根本不来上学，或是来了只知吃喝玩乐。袁世凯上台后将之改为招待所。招待所的第一批客人便是民国元年(1912)2月27日孙中山派遣的由蔡元培、宋教仁等组成的专使团。专使团的任务是敦促袁世凯离京到南京就任总统。袁世凯表面上对蔡元培等表示欢迎，但实际上却不愿离开北京。他一方面指派亲信到专使团驻地，力陈袁世凯不能离开北京，否则必然发生内乱。另一方面指使部下发动兵变。29日夜，袁世凯的部下在东城、西城同时放火、抢劫。乱兵闯进专使团的驻地，搜人、抢劫、放火，将专使团的文件、行李抢劫一空。南京闻讯，只得妥协，同意袁世凯在北京就任总统。日伪时期，神机营旧址又成为日本宪兵队。民国时改为陆军部军需学校。胡同内还有美国圣经会、英文北平《时事日报》，东口北侧有基督教青年会旧址。“文革”中煤渣胡同一度改称瑞金路七条，后恢复原名。现原招待所的建筑已拆除，盖起了高楼。
当时按系统对口接管，被服厂由解放军后勤部门接管，以后变成北京军区后勤部的地方。《时事日报》由人民日报社接管，这处地方就有五进院落，还附设有礼堂。
因为到和平解放北平之时，煤渣胡同至少还有好几个极有规模的大宅院，神机营衙门和冯国璋府邸肯定就是其中了。解放军进城接管前，一处大院落是国民党的军需被服厂，一处大院落是国民党在北平所办的英文《时事日报》社。当时按系统对口接管，被服厂由解放军后勤部门接管，以后变成北京军区后勤部的地方。《时事日报》由人民日报社接管，这处地方就有五进院落，还附设有礼堂。人民日报社所接管的两个主要地方，除煤渣胡同的院落而外，还有王府井的国民党《华北日报》社。那里作为报社的办公地，煤渣胡同的这个院落，部分办公，部分工作人员居家，邓拓等人民日报社主要负责人就都曾在此住过。而解放初期，人民日报的很多大会，都是在煤渣胡同的礼堂里开的。
到1984年，煤渣胡同东口的“中华圣经会旧址”即今北京市基督教教务委员会被确定为北京市文物保护单位。而远比其历史长久并更具建筑特色的神机营衙门旧址和冯国璋府邸都在20世纪60年代中期被拆除，改建成了居民楼，再也无复旧貌了。两个院落的很多地块，后来被用于兴建五星级的王府饭店了。