张彦远古人治学，有两种情况，一是虽然出身贫困，但依靠个人的发奋用功，终于有成；二是凭借着家庭传统的深厚积累和有利条件，加上自己的勤勉用心，由此获得了新的业绩。《历代名画记》的作者张彦远就属于后一种情况。
张彦远高祖张嘉贞、曾祖张延赏和祖父张弘靖，都官至宰相，他们与当时的许多文人士大夫一样，都雅好书法。对张彦远产生直接影响的，则主要是他的祖父张弘靖和父亲张文规。
张弘靖学魏晋人书法，不拘泥于门派流别，多有心得。他初从钟繇入手，后改学王羲之，再改学王献之，“书体三变，为时所称”。他继承了张氏祖上收藏历代书法名画的家风，将所得俸禄，除了养家、施舍之外，其余均用于购求书画。经过多年的搜集整理，一度使家中的收藏得以与皇家内府相提并论，以致连皇帝也不免眼红。
元和十三年（818年），唐宪宗居然下诏索要张家收藏的名画法书。张弘靖慑于皇威，哪里还敢违抗？只得将家藏书画中的珍品名迹一一进献。到了张彦远懂事的时候，家藏书画已经在各种名义的“进奉”和历次战乱中散失，“传家所有”，已是“十无一二”了。
张彦远的父亲张文规，官至桂州、管州观察使，张彦远从小受到家庭影响，在书法方面很有长进，擅长隶书，尤其喜做八分书。尽管他自己说“自幼及长，习熟知见，竟不能学一字”，但后人对他书法的评价是“落笔不愧作者”，可见是具有相当功力的。
优越的家庭环境给张彦远创造了一个常人无法比拟的学习条件，但他认为不能在书法创作上有所发明，为此曾“夙夜自责”，甚至引为“终身之痛”。所幸的是，家藏书画虽已“十无一二”，但鉴赏收藏的学问却不会随着这些书画的流散而消失。张彦远从小耳濡目染，在这方面学到了不少知识，日积月累，练就了一双“法眼”。
他自称对于“收藏鉴识，有一日之长”。此时朝廷倒也不再要张家进献什么了，张彦远得以根据硕果仅存的传家之宝，悉心研讨书学画理。他深刻地认识到，自古以来，名画法书流传虽多，但许多人并没有真正认识到它们的价值，因此也没有真正发挥它们的作用。
战争、动乱的破坏，足以使大量珍贵书画毁于兵火之中；公家和私人尽管藏而宝之，却往往因不得其人而产生不辨好坏、不明真假的流弊；至于有些人假收藏之名，行“藩身”之实，以名家之画作为加官晋爵的手段，乃至成为一时风气，这就更值得后人引以为戒了。所有这些，张彦远认为都会给绘画艺术的发展带来极大的阻碍。为此，他萌发了编写一本记述历代画家、作品的著作的想法。
在《历代名画记》成书之前，已有不少画史、画评著作，但几乎没有一种能够为张彦远所满意。他对这些著作的意见，归纳起来，大致有以下三种情况：一、浅薄粗陋，过于简单；二、疏漏遗脱，难以征信；三、片面偏颇，失之真实。
尽管这其中可能存在着他对这些著作的某些偏见，不过，就流传至今或在《历代名画记》中保存了部分片段的那些内容来看，张彦远的意见并非没有道理。不管怎么说，以往的画史、画评水平并不很高，内容过于简略，这是可以肯定的，这样，显然难以反映前代绘画艺术的发展实际面貌。
尤为张彦远所关注的是，对于二三百年之间的唐代绘画，无论描述发展历史，还是品评画家特色，竟没有一本著作能够做到详细而准确地加以反映。因此，休说这与唐代绘画的发展趋势大相径庭，就以收藏、鉴赏的需要来说，也是非常不利的。
正是在这样的前提下，张彦远出于“明乎所业”、“探于史传”的目的，根据所见所闻，搜集了先秦至隋唐的300余位画家的小传和创作特色，旁求错综，编次诠量，遂以“心目所鉴”，“撮诸评品”，终于在唐穆宗大中元年（847年），撰成《历代名画记》10卷。这一年，距盛极而衰的唐王朝灭亡，正好还有50年。如果按照所推断的张彦远的生卒年代来看，那时他仅仅三十余岁。
此前，他又根据自己对书法艺术发展状况的研究所得，“采掇自古论书凡百篇”，编成汉魏至隋唐的书论汇编及著录历代法书流传情况的《法书要录》10卷，集中了不少他在日常生活中与书画鉴赏有关的《彩笺诗集》也已问世。这两种书，前者至今尚存，后者早已失传。
