龙门石窟在盛唐得到快速发展，但从唐武宗后走向衰落，期间虽然有新的修建，但难以阻挡龙门石窟衰退趋势。此后龙门石窟经历战争与盗窃，龙门石窟彻底没落。
唐末以及宋朝时期，这个时期石窟创作逐渐衰落，而金元之间的战争，彻底结束了它辉煌的创作历史。至此，它作为被万人敬仰的古迹历史才刚刚开始。由于佛教与统治者之间的矛盾，以及佛道之争等原因，造成了“三武一宗”四次灭佛运动，龙门石窟由此遭受重创。
宋代，分布有陈抟“十字卷碑”、宋真宗“龙门铭碑”。宋朝还在龙门石窟新凿了一些洞龛，并为保护卢舍那雕像，加盖了9间木构屋檐式建筑，俗称“九间房”。明代，惠简洞窟外门楣表面，以阴线刻出五个方形及半圆形碑首碑形题记，时代均为明万历31年3月吉日立，为捐资修路的题记。
清代，乾隆帝于1750年游幸龙门，在龙门香山寺留下御碑亭。1900年八国联军侵华慈禧太后西逃。回京时途经龙门参观了古阳洞，下令把洞中主佛释迦牟尼整修成老君像，洞改名“老君洞”。
唐武宗继位后，在整顿朝纲、收复失地、稳定边疆的同时，决定废除佛教。他认为，废佛是“惩千古之蠹源，成百王之典法，济人利众”(《武宗本纪》，《旧唐书》卷十八)的唯一办法。这是武宗决心灭佛的主要原因。
唐武宗即位后，武宗开始了对佛教的整顿。而赵归真因曾遭京师诸僧的诮谤，常感“痛切心骨，何日忘之”（《宋高僧传》卷十七)，这时便利用武宗对道教的偏信，于宫中“每对，必排毁释氏”（《佛祖历代通载》)。他向武宗荐引了道士邓元起、刘玄靖等人，以声气相求，同谋毁佛，加强了唐武宗灭佛的决心。
会昌三年（843）四月，朝廷“命杀天下摩尼师，剃发令著袈裟作沙门形而杀之”（圆仁《入唐求法巡礼行记》卷三）。会昌四年三月，以赵归真为“左右街道门教授先生”，而“归真乘宠，每对，排毁释氏，言非中国之教，蠹耗生灵，尽宜除去。帝颇信之”（《武宗本纪》，《旧唐书》卷十八）。
此后金元时期战乱频仍，石窟损毁严重。清末民初，列强和文物奸商大规模盗凿破坏，使大量文物损毁或流失。二战期间，西方和日本洗劫遗址，并将许多雕像偷带至境外，造成严重流失。
到20世纪30年代，美国文物贩子普艾伦来到龙门石窟，宾阳中洞里巨大的帝后礼佛图吸引了他。之后几年时间里，外国文物贩子勾结盗匪，将帝后礼佛图及宾阳南洞狮子像、万佛洞狮子像、看经寺罗汉头像等珍贵文物盗走。
直到1951年成立了“龙门森林古迹保护委员会”，才结束了石窟无人管理的状态。
