香山寺始建于何时？唐人的诗文碑铭中未见记载，认为香山寺建于后魏的说法以宋陈振孙为最早，《洛阳县志》亦同意此说。
清汤右曾在《重修香山寺记》中对此说作了进一步肯定：“考郡、县志皆不详寺兴废所由，宋陈振孙为公(白居易)作年谱，谓寺在龙门山，后魏熙平元年(516年)建。按熙平元年明帝初改元，母胡太后幼得佛经大义，立寺建刹甚众。
《北史·明帝纪》熙平二年，皇太后幸伊阙石窟寺。郦道元生其时，注《水经》亦谓伊阙镌石开轩、高甍架峰，并曰伊阙、曰龙门、曰香山，本同一地。意者石窟寺乃其先所命名，故未有以深考。陈氏博采诸家传记，审定详确，其言有据。依则寺之创于熙平其信然欤……”。香山寺建于后魏熙平元年说证据不足，大有可怀疑之处。
其一，熙平元年胡太后既使“立寺建刹甚众”，也未必能说明当时在伊阙山建立了香山寺。
其二，北魏明帝熙平二年胡太后所幸之伊阙石窟寺，非香山寺，系今龙门西山之古阳洞，开凿于孝文帝太和十七年(493年)。
其三，汤文将龙门与香山概念相混，二者内涵不同，亦非一地。如明《方舆纪要》所载：“阙塞山在洛阳南三十里，一名阙山，一名钟山。山东曰香山，西曰龙门”。龙门可作为东西两山之统称，但香山则专指东山，未见有统指者。东山称香山之谓较后，查唐代以前的古籍文献，未有如是之称者。
其四，香山寺的创建和命名，当与印度高僧地婆诃罗(日照)的敕葬地、及“山产香葛”的说法有关。
唐法藏《华严经传记》卷一云：“地婆诃罗，唐言日照……以永隆初岁，言届京师……以垂拱三年(687年)十二月二十七日，无疾而卒于神都魏国东寺……圣母闻之，深加悲悼……香花辇舆，瘗于龙门山之阳，伊水之左，门人修理灵龛，加饰垂阁，因起精庐其侧，洒扫供养焉。后因梁王所奏，请置伽蓝，敕内注名为‘香山寺’，危楼切汉，飞阁凌云，石像七龛，浮图八角，架亲游幸，具题诗赞云尔。”
文中的“龙门山之阳、伊水之左”系指龙门东山南端，可谓香山之阳。既未如此称者，大概龙门东山当时还未有以“香山”称之。《名胜志》云：“洛阳香山产香葛”，苏頲《唐河南龙门天竺寺碑》亦云“山有香兮泉道蒙”(该天竺寺位于东山)，因山产香葛而使香气缭绕，故称“香山”。香山寺之命名，可能与此背景有关。龙门东山正式称“香山”大约在香山寺命名之后。
其五，上由“门人修理灵龛，加饰垂阁，因起精庐其侧”之句，说明这里原是一座废弃的旧寺院，后因梁王奏“请置伽蓝”，才被敕名为“香山寺”的。废寺原建于什么时候时间不明，况且废寺和香山寺之间亦没有直接的继承关系。武三思封梁王是在武周天授元年(690年)，久视元年罢梁王之名，香山寺的建置时间当在公元690—700年之间。
盛唐时期
唐垂拱三年（公元687年），印度来华高僧地婆诃罗（日照）葬于此，为安置其遗身重建佛寺。
天授元年（公元690年），武则天在洛阳称帝，建立武周王朝，梁王武三思奏请，敕名“香山寺”，并重修该寺，当时香山寺危楼切汉，飞阁凌云，巍巍壮观，武则天常驾亲游幸，御香山寺中石楼坐朝，留下了“香山赋诗夺锦袍”的佳话。
万岁通天元年（公元696年），“海东瑜伽之祖”——新罗人圆测，圆寂后起塔于香山寺，香山寺因此成为韩国唯识宗祖庭之一。
唐大和六年（公元832年），河南尹白居易捐资六七十万贯，重修香山寺，并撰《修香山寺记》，寺名大振，这篇文章开篇第一句即是对香山寺的推崇“洛都四郊，山水之胜，龙门首焉。龙门十寺，观游之胜，香山首焉。”此外，白居易还搜集了5000多卷佛经藏入寺中。
白居易自号“香山居士”与如满和尚等人结成“香山九老会”吟咏于该寺的堂上林下，会昌六年（公元846年）白居易去世，遗命葬于香山寺如满大师塔侧。
清代重修
宋金时期香山寺犹存，元末废弃，清康熙年间重修，乾隆皇帝曾巡幸香山寺，称颂“龙门凡十寺，第一数香山”，这句诗摘自他当时所作的诗《香山寺二首》，被镌刻在石碑之上，位于香山寺的乾隆御碑亭就矗立着这块石碑，已有两百多年了。清末民国初年，香山寺又渐荒芜了。
民国时期
1936年香山寺进行重新修建后，为蒋介石庆祝五十寿辰而在寺内建一幢两层小楼。蒋介石和宋美龄多次在此避暑，这幢小楼位于香山寺内东南侧，被称为“蒋宋别墅”。
当代维护
解放后，香山寺又进行了多次修葺。如今，为了实施“旅游强市”战略，拓展龙门石窟景区的观光项目，丰富香山寺的文化内涵，提升香山寺的旅游品位，弘扬中华民族的传统文化，洛阳市委、市政府及龙门石窟管理局依据《龙门石窟规划》和《洛阳市龙门石窟保护管理条例》，投资600万元于2003年上半年完成了对香山寺的改造。
该改造工程从2002年年底到2003年四月上旬完成，历时100天，创造了中国寺院速度之最。
这也是香山寺历史上的第五次修复，新香山寺借鉴唐代风格，对蒋宋楼，乾隆御碑亭，衣钵塔等作为历史文物予以修缮、保留、保护。在原址上新建了钟楼、鼓楼、大雄宝殿，整修了天王殿、罗汉殿、步游道等。
如今经过第五次修复后的香山寺整个建筑新旧一体，气势磅礴，与龙门西山石窟隔河相望，与龙门东山石窟，白园并立，香山寺接待中外游客达五万余人，全国政协副主席罗豪才参观香山寺，给予高度评价，香山寺已成为龙门石窟景区又一处亮丽壮美，光彩夺目的景观！
