骷髅会的起源笼罩着一层神秘的面纱。最可信的版本是，骷髅会是1832年由耶鲁学生威廉－拉塞尔创立。
一切起源于一次游学。19世纪初期，迅速发展的德国引起了美国知识阶层的羡慕。1832年，耶鲁学生拉塞尔前往德国游学期间接触到德国的一个秘密社团，其活动不公开，并把骷髅头当作崇拜的对象，其本身就是十八世纪臭名昭著的“光照派”的一个邪恶分支――“光照”通常被描绘成是现代世界中古老巴伐利亚光明帮的后裔，其成员试图阴谋幕后控制全世界――年轻的拉塞尔对这个神秘组织很着迷。
当拉塞尔回到美国时，发现美国正掀起一场声势浩大的反共济会（一个和光照派有关的组织）运动，以消除秘密组织对美国的影响。拉塞尔之前所属的一个秘密社团也在这场运动中被轻易地剥夺了秘密性。
愤怒的拉塞尔召集了耶鲁同年级中一些重量级人物，组成了一个新的秘密社团。其中包括后来出任陆军部长的阿方索－塔夫脱，阿方索·塔夫脱的儿子就是美国的第27任总统威廉·霍华德·塔夫脱（1887年会员）。他们给协会起名为“死神兄弟会”，俗称“骷髅会”。
他们用322作为协会的代码，该代码有两个解释：
一个解释是说该组织成立于1832年，而且是德国秘密协会的第二分支；
而另一个是，传说古希腊雄辩家德摩斯梯尼于公元前322年逝世时，雄辩女神也随之升上天堂。骷髅会因此自称为“雄辩女神俱乐部”，并且相信雄辩女神于1832年又重返人间，跟他们同在。
骷髅会又叫骑士会。共济会和骷髅会都直接隶属于光明会，骷髅会是光明会的“打手”，主要负责为光明会对外入侵和扩张；而共济会则是通过用自己欺骗性的思想、宗教以及政策同化或弱化光明会的敌人，使他们在被入侵时不积极进行反抗以及被入侵后甘愿做光明会的奴隶，为光明会的扩张以及入侵作前期准备和为他们对敌人的长期统治作奴化工作。
共济会和骷髅会分别在美国发展出了两个政党：一个是民主党，另一个则是共和党。至此，也逐步演变成两股势力的抗衡，不过最终谁能上台，左右政治的社团力量仍然是世界关注的焦点。
骷髅会成立于1832年，发起人除了威廉·罗素（又译拉塞尔）外，还有一个人物，就是阿方索·塔夫脱，即下文所讲的集总统和最高大法官于一身的霍华德·塔夫脱的父亲。而罗素的继兄经营着当时世界上规模最大的鸦片走私生意（罗素公司或拉塞尔公司）。
罗素是耶鲁1833届的毕业生，后来成为了康涅狄格州立法机构成员和该州国民警卫队的一名将军。罗素在毕业之前曾经去德国学习了一年，在德国，罗素和德国一个秘密组织的头目关系密切。该组织活动都不公开，并把死人的骷髅头当作崇拜对象。罗素对其很感兴趣，不久就广泛地参加了该组的活动。
罗素崇尚的是共济式的团结互助的宗旨，但回到美国后，他发现即使是原先心仪和敬仰的社团都与这种精神格格不入，因为他们缺乏仪式化和秘密性。失望之余，罗素搜罗了班上最有前途的同学，包括阿方索·塔夫脱，组织了美国历史上最有权势的秘密组织——骷髅会。
研究“骷髅会”的一个历史观察家认为：“在美国，任何时候，任何领域，会长都能号召成员去做一切他们认为该做的事情。”
