张汤很小的时候，有一次父亲出门回来，发现老鼠偷吃了肉，就迁怒于张汤，把他打了一顿。于是张汤挖开老鼠的巢穴，活捉了老鼠，把老鼠当作犯人一样严加审讯拷打，并记录下审讯过程，最后把老鼠和老鼠吃剩的肉都当堂呈供，作为证据，宣判老鼠应当受磔刑，然后亲自把老鼠分尸。
张汤的父亲看到这份审讯记录，大吃一惊，因为这份判决书简直就像一个资深法官的作品，于是让张汤学习断案的文书。父亲死后，张汤当上了长安的官员。长大后，张汤工于心计。他的好朋友赵禹担任少府，廉洁傲慢，不善与人交际，甚至和知心朋友都断绝了来往，一心一意秉公办理公事。张汤觉得他的做法不可取，于是广泛结交官员，哪怕自己讨厌的人也装作亲热的样子。
张汤后来做到了九卿的大官，他善于揣摩汉武帝的喜好，每次有疑难案件，都先向汉武帝分析事情的前因后果，汉武帝认为对的，张汤就记下来，作为以后判决的法规。如果办案没有顺着汉武帝的意思，受到谴责之后，张汤就把别的同事抬出来，说：“哎呀！他们早就向我提过跟皇上您一模一样的意见，我这人太笨了，竟然没有采纳。”既恭维了汉武帝又推卸了责任，汉武帝也就既往不咎了。
他还善于笼络人心，汉武帝对他办的事很满意的时候，张汤就说是谁谁谁出的主意。凡是他办的案子，揣摩是汉武帝想要治罪的，就交给执法严酷的官吏去办；揣摩是汉武帝想宽大的，就交给执法公正的官吏去办。所以张汤办的每件案子都很符合汉武帝的口味。
当然，该邀功的时候，该表示铁面无私的时候，张汤也会表演得像一个坚持原则的法官。他办理淮南王、衡山王、江都王谋反的案件时，汉武帝本想宽恕同案犯严助和伍被，张汤却说：“伍被是策划者，严助是出入禁宫受您宠信的人，他们俩竟然和诸侯私交同谋，如果不杀了他们，后果不堪设想。”这一番替汉武帝设想的大道理，让汉武帝没了办法，只好杀了二人。
当时汉朝和匈奴连年征战，这一年匈奴提议和亲，博士狄山上奏说和亲有利。汉武帝就问他为什么有利。狄山回答：“刀兵乃凶器，不能轻举妄动。汉高祖刘邦伐匈奴，结果被困在了平城，答应和亲后才被放回来。孝惠和高后时期，没有和匈奴打仗，结果天下太平。到了孝文帝时期，想征伐匈奴，结果天下不得安宁。孝景帝遇到了七国之乱，打来打去，民不聊生，平定七国之乱后，孝景帝终生不再提打仗之事，因此天下富足。现在皇上您如果攻打匈奴，一定会导致国库空虚，百姓贫困，所以还是和亲的好。”张汤一听，当场就反驳说：“这是腐儒之见。”狄山面子下不来了，干脆和张汤听上了：“你说我是愚忠，我看你是诈忠。你处理淮南王和江都王案子的时候，深文周纳，诬陷诸侯，离间皇上和诸侯骨肉之亲，诸侯的大臣们也寝食不安，这不是诈忠是什么！”这句话一下戳到了汉武帝的痛处，他马上变了脸色，问狄山：“你丫牛逼哄哄的，我让你去管一个郡，你能挡住匈奴吗？”狄山回答：“不能。”汉武帝又问：“那一个县呢？”狄山仍然回答说不能。汉武帝又问：“那一座要塞呢？”狄山心想，如果再说不能，皇上肯定会把我治罪，于是只好说能。这一下不打紧，汉武帝真的派狄山去守要塞了，一个多月以后，手无缚鸡之力的狄山就被匈奴砍去了脑袋。于是群臣大惊，再也不敢和张汤公开辩论了。
张汤做了七年御史大夫，后来失势了。这时，被他整治过的人开始对他实施报复。
河东人李文曾经同张汤有矛盾，做了御史中丞后，开始整张汤的黑材料。张汤有个手下叫鲁谒居，为了讨好张汤，就向汉武帝造谣告发李文。这件事正好落到张汤手中，张汤就把李文给杀了。汉武帝问他：“那个匿名告发李文的人是谁啊？”张汤故作惊讶：“啊？可能是李文的老朋友干的吧。”事后鲁谒居生病，张汤亲自去探望，居然替鲁谒居按摩双脚，以报答鲁谒居。这件隐私被赵王侦知，上书说：“张汤是朝中大臣，鲁谒居是他的手下，张汤竟然替他按摩双脚，他肯定指使鲁谒居干了什么大坏事。”
这件事交给了廷尉处理。鲁谒居一病呜呼，他弟弟也被牵连了进来，下狱。恰好张汤去审理别的囚犯，看到鲁谒居的弟弟，就想私下里开脱他，当面却装作不认识。没想到鲁谒居的弟弟会错了意，还以为张汤故意不理他呢，一怒之下就告发张汤和鲁谒居是共谋。正好丞相庄青翟和他手下的三个长史都忌恨张汤，于是联手陷害张汤。汉武帝终于认清了张汤的真面目，派了八批使者，像张汤小时候审讯老鼠一样审讯张汤。张汤不服，汉武帝于是派张汤的好朋友、铁面无私的赵禹审讯。赵禹责备张汤以前办案子的时候杀了多少人，现在你的案子有根有据，皇上很难处理，就想让你自己自杀算了，你还想多方对质干吗呀？
张汤一听原来是汉武帝的意思，没办法，只好自杀了。
张汤死后，抄家时发现，他的家产只有五百金，而且全是皇上赏赐给他的，没有别的任何产业。亲戚们想厚葬张汤，张汤的母亲说：“张汤是被诬告而死，干吗要厚葬？”于是葬得非常寒酸。汉武帝听说后，感慨说：“没有这样的母亲，哪能生出这样的儿子呢。”
