清朝著名的章回小说《红楼梦、第四十八回》上载︰“着他写一张状子，只管往有司衙门中告去。”及清朝戏曲家李渔所作十种曲之一的《玉搔头奸图》曰︰“只指望讨几封荐书，往各衙门走走。”这里出现的“衙门”，都是指古代官吏办理公务的地方。
那么，为什么古代官府又称为“衙门”呢？
衙门是古代官署的一种俗称，就是官吏办公、办事的地方。如《广韵》上载︰“衙，衙府也。”衙府就是官署。据宋朝钱易《南部新书庚》上记载︰“近俗尚武，是以通呼公府、公门为牙门，字称讹变转为衙。”因此，衙门原作“牙门”，讹误变易后才称为“衙门”。
由于猛兽拥有利牙，人们便用利牙象征武力，而“爪牙”则指代地位重要的将领。《诗经·小雅·祈父》记载：“祈父，予王之爪牙。”《后汉书集解》记载：“武帝钲四夷，有前后左右将军，为国爪牙。”由此可见，古代君王非常器重能力超群的将领，把他们视为左膀右臂，并让他们执掌国家军事和武卫。这些将领就是君王的爪牙——像猛兽的利牙一样。
君王为了突出自己的地位，常常将猛兽的爪牙摆放在办公和指挥场所。后来因为嫌麻烦，就在军营门外的营门两侧，用木头刻画夸张的兽牙作为装饰。这就是“牙门”。可见，“牙门”在古代是一个军事用语，是军旅营门的别称。
至于“牙门”何时演变为“衙门”，并成为官府的代称，没有详细的记录。
在《周礼》上称为“旌门”，如《周礼天官掌舍》：“为帷宫，设旌门。”另《国语》上则称为“军门”，如《国语、齐语》︰“执枹鼓立于军门。”三国吴云阳人韦昭、注：“军门，立旍为军门，若今牙门矣。”
又《后汉书袁绍传》：“麹义追至界桥，瓒敛兵还战，义复破之，遂到瓒营，拔其牙门。”李贤、注：“《真人水镜经》曰：‘凡军始出，立牙竿必令完坚;若有折，将军不利。’牙门旗杆，军之精也。”
所谓的“牙旗”，就是天子或将军立在军营前的大旗，因为旗杆上通常用象牙做装饰，所以称为牙旗。如《文选张衡东京赋》：“戈矛若林，牙旗缤纷。”薛综、注：“兵书曰，牙旗者，将军之旌。谓古者天子出，建大牙旗，竿上以象牙饰之，故云牙旗。”
由此可见，“衙门”最早是军旅中的称谓，后来逐渐移为朝廷官署所使用。如宋朝司马光等人纂修之《类篇》上载︰“古者军行有衙，尊者所在，后人因以所治为衙。”
此外，古代的衙门为了显示出气派、威严，大门多开六扇门。所以，后来也以六扇门代指官府、衙门。关于衙门的谚语有“衙门六扇开，有理无钱莫进来”、“衙门八字朝南开，有理无钱莫进来”、“衙门深似海”等。
