徽派建筑之所以这么有名，主要是因为大多数徽商在衣锦还乡之后，以奢华精致的豪宅园林体现身份。或者整修祠堂光大祖宗门面，或亦以牌坊筑立褒奖徽州女人守夫的风骨。
“徽商”崛起于宋，鼎盛于明清，消灭亡于解放后。古代的商人是被社会视为下三流的。即使在明清时代，一般缙绅士大夫也素来有工商为末业的传统思想。当时除了顾亭林注重振兴工商业外，还有黄宗羲认为“工商皆本”。
徽派民居中随处可见徽商精神的影子。高筑墙、高开窗以及高挑屋檐，不仅形似“商”字，也反映了徽商即讲究气派但又不露财的谨慎态度。徽商在为人处事上也很有一套。
在狭窄的小弄里你发现有的人家的门会自然往房子里缩进三分，寓意凡是忍让三分，但也不能太过。
东园的门罩上方有一个扇形的石窗，其寓意取“善”字谐音，即抬头见善也，为主人胡星阁所设计，意在教育子孙后代要乐善好施、积德行善。这种仁义经商的思想在那些民居的楹联中也经常流露。就如上文提及的两扇“商”字门柱上的两幅楹联，堪称宣扬经商之道的精华。其一为：“读书好营商好效好便好，创业难守成难知难不难”。
由于文风颇盛，当地居民"处之以学，行之以商。明中叶以后，随着徽商的崛起和社会经济的发展，徽商财力雄厚。“盛馆舍以广招宾客，扩祠宇以敬宗睦族，筑牌坊以传世显荣”。
于是乎给后世留下了大量优秀作品，其工艺特征和造型风格主要体现在“徽派三绝”——牌坊、祠宇、民居等建筑实体中。它是中国古代社会后期成熟的一大建筑流派。徽派园林和宅居建筑亦同步发展起来并跨出徽州本土，在大江南北各大城镇扎根落户。作为设计和实施者，江南民间的“徽州帮”匠师对这一流派的形成起了重要作用。
明清时代，徽商称雄商界长达二、三百年。明《五俎》云：“商贾之称雄者，江南首推徽州，江北则推山右(山西)。”
明代中叶以后随着徽州邦的崛起，一批拥有资本十万、百万的富商大贾不断涌现，清代垄断盐经营的徽商竟富得可以先后接待清帝康熙、乾隆南巡，支援左宗棠平定新疆。
再加上徽商贾而好儒，广交官府、文士，的本人就有较好的文化素养，徽商是官、贾、儒三位一体。因而出了大批官僚，有的成为朝中显贵，他们为荣宗光祖，炫耀乡里，除购置土地外，大部份用于奢侈性消费，大兴土木，建筑豪华的住宅、园林、书院、祠社、学校等。这些古建筑，风格独特，布局合理，装饰精致，变化自然,具有乡土气息。
加之徽州盛产木材，民间向有雕刻、绘画传统，砖、木、石雕别具一格，因而形成颇具地方特色的建筑，被誉为：“中国建筑艺术的一大派系——徽派建筑。”
