卫青和汉武帝是一家人，因为卫青娶了汉武帝的姐姐平阳公主，汉武帝娶了卫青的姐姐卫子夫，所以两人是互为姐夫和小舅子的关系，是一家人。
虽然汉武帝并没有诛杀卫青家族，但他和卫青的关系却经历了一波三折，从最开始的无私信任，到后来的逐步打压，是皇帝与功臣之间关系的典型代表。
热恋期
卫青出身低贱，他的母亲是平阳公主的家奴，所以卫青长大后也成了平阳公主的家奴，没当平阳公主出行，他就骑着马陪同。在等级制度森严的汉代，以卫青这样的出身，如果没有极为特别的机遇，无论他有多么突出的才华，都不会有施展的机会。
但是，卫青恰好就碰上了千载难逢的机遇，汉武帝到平阳公主家喝酒的时候，看中了卫子夫，而平阳公主也察言观色，将卫子夫送给了汉武帝。这个时候，汉武帝还很年轻，朝政大权也掌握在太皇太后窦太后手里，所以汉武帝此时是有些郁闷的。卫子夫的到来，无疑让汉武帝心情好了很多，所以对卫子夫是百般宠爱，爱屋及乌，卫青也得到了汉武帝的重用。
卫子夫的受宠，使得当时的皇后陈阿娇十分愤怒，她的母亲馆陶大长公主刘嫖想要杀死卫青，结果被公孙敖所救。汉武帝为了表达自己的不满，当即立刻任命卫青为建章监、侍中，并且数日间连续赏赐卫青，多达千金。不久之后，卫青又被任命为太中大夫，俸禄千石。
这个时候的卫青，其实并没有显露出多少才华，之所以能在官场上平步青云，一半得益于姐姐卫子夫受宠于汉武帝，另一半得益于汉武帝与皇后的斗气。所以，汉武帝与卫青在这将近十年的时间里，更像是朋友，而不是君臣。
蜜月期
在享受了皇帝小舅子的福利十年后，卫青终于对汉武帝有所回报了。
公元前130年，匈奴兴兵南下，汉武对兵分四路进行抵挡，其中卫青被封为车骑将军，率领一路，其他三路分别为公孙敖、公孙贺和李广，四将各带一万精兵。
“但使龙城飞将在，不教胡马度阴山。”卫青首次带兵出征，就展现出了他杰出的军事天赋，匈奴祭天圣地龙城之战中，俘虏七百余人，取得胜利。另外三路，公孙敖、公孙贺两路皆败，李广无功而还。因此，汉武帝封唯一凯旋归来的卫青为关内侯。
卫青一战封侯，名声大噪，这下再没有人说卫青是靠着姐姐的关系才上位的了，毕竟龙城之战可是实打实的军功。要知道，在汉朝如果不是皇族，想要封侯必须要有军功，是非常困难的，名将李广和匈奴打了一辈子仗，最终也没能封侯。
两年之后，即公元前128年，卫青再次兵出雁门，领三万骑兵，长驱而进斩首匈奴数千人。
公元前127年，匈奴大举入侵，卫青率大军进攻匈奴盘踞河套地区，活捉敌兵数千人，夺取牲畜数百万。因此功，卫青被晋封为长平侯，食邑三千八百户。
公元前124，卫青率领三万骑兵再次出击匈奴，最终俘虏右贤王的小王十余人，男女一万五千多人，牲畜达千百万头。汉武帝派使者到军中拜卫青为大将军，加封食邑六千户。卫青的三个儿子也被汉武帝封为列侯，长子卫伉为宜春侯，次子卫不疑为阴安侯，幼子卫登为发干侯，均食邑一千三百户。
公元前123年春、夏，卫青两次领十万骑兵出击匈奴。歼灭匈奴军过万。随同出征的张骞获封为博望侯，霍去病封冠军侯。
在这段时间里，卫青屡屡为汉武帝立下军功，让汉武帝极有面子，所以官职越来越大，爵位越来越高，可以说君臣无猜。
打压期
然而，随着卫青的功劳越来越大，汉武帝也不免对卫青有所猜疑，毕竟卫青手握重兵，威望又高，客观上已经具备了谋反的条件。
尽管卫青为人谦让仁和，也十分注重不越界干涉政事，但作为皇帝，汉武帝总是不能对卫青完全放心。但是卫青功劳大，又没有犯错，总不能无缘无故地压低卫青的职位和爵位吧。所以，汉武帝采取了另一个办法，那就是培植一个可以和卫青抗衡的人，这个人就是霍去病。
元狩四年（公元前119年），汉武帝给卫青与霍去病各五万骑兵，兵分两路，跨漠长征出击匈奴。表面上看，卫青与霍去病的地位是一样的，但实际上这就是汉武帝在打压卫青。
首先，给霍去病的士兵是精兵，而给卫青的则是挑剩下的士兵，战斗力差了不少。另外，原定计划是霍去病去打单于，卫青去打左贤王，结果中途得到情报，听说大单于在东路，于是汉武帝又将两人调换。最终人算不如天算，还是卫青碰上了大单于主力。
但是，从汉武帝的调动安排来看，他是希望霍去病遇到大单于，并且把大单于的脑袋带回来的，这样霍去病的功劳就可以力压卫青一头，从而起到对卫青的牵制作用。
卫青和霍去病回来后，两人同时封为大司马，授上将军衔。其实，按照军功和资历，此时的霍去病和卫青完全不能相比，但汉武帝就是这么安排，目的也是为了分卫青的军权，削弱卫青的力量。
卫青对此心知肚明，因此他更加小心翼翼，时时如履薄冰，对汉武帝也更加恭敬。但是，在被封为大司马之后，汉武帝再没有派卫青出征过。
公元前106年，卫青病逝，汉武帝为纪念他的彪炳战功，为“起冢象庐山”。
冰河期
俗话说，人走茶就凉。卫青死后，整个卫氏家族也风光不再，尽管汉武帝并没有专门针对卫青家族，但在复杂多变的政治斗争中，卫家的人先后失去了爵位和权势。
卫青死后，太子刘据失去了最大的靠山，最终在政治斗争中败北，巫蛊之乱中，刘据兵败被杀，他的母亲、皇后卫子夫被逼自尽。
卫子夫是卫青的三姐，另外还有两个姐姐。大姐卫孺嫁与公孙贺为妻，在巫蛊之乱中受公孙贺家族的牵连被杀。二姐最终嫁与陈掌（汉初丞相陈平的孙子）为妻。
卫青的哥哥卫长平在卫青发迹之前就去世了，卫青的两个弟弟，史书记载不详，只知道其中一个被武帝派往云南平定南越，之后便没有消息了。
卫青有三个儿子，长子卫伉、次子卫不疑、三子卫登。
卫青死后，卫伉继承了长平侯的爵位，受公孙贺父子案件的牵连，和姑姑卫孺一起被处死。
卫不疑和卫登没有受到牵连，但在公元前112年，由于列侯无人响应号召从军赴南越，汉武帝借口酎金成色不好或斤两不足，夺去一百零六名列侯的爵位，其中便包括卫不疑和卫登。虽说当时被夺爵者几乎达到了列侯的一半，但也说明卫青在晚年的影响力已经不够大了，卫家的势力大大不如从前了。
倒是霍去病的同父异母弟弟霍光受到了汉武帝的信任，临死前被委为托孤大臣，汉武帝之后的昭帝、宣帝时期，权倾朝野，甚至可以随意废立皇帝。不过霍光死后，霍家也遭到了清洗。
综上所述，卫青死后，汉武帝并没有针对卫家展开杀害，但是卫青在生前就已经开始遭到汉武帝的猜疑，他死之后，卫家的势力大为削弱，在复杂的政治斗争中渐渐不能立足。而卫家的其他人中，又没有出现杰出的人才，使得卫家数人被牵连诛杀，而汉武帝也没有因为他们是卫青的家人而高看一眼。
