要说论武艺，吕布绝对不怕张飞，只怕比张飞还要稍强一点。但是，每次吕布见了张飞，都有些发怵，根本原因在于张飞瞧不起吕布，并且丝毫不给他留面子。
第一次见面，张飞就骂吕布是“三姓家奴”
张飞和吕布第一次相见，是十八路诸侯讨伐董卓时，吕布镇守虎牢关，公孙瓒自不量力挑战吕布，结果差一点被杀死，危急时刻，张飞出手。
《三国演义》中写道，“傍边一将，圆睁环眼，倒竖虎须，挺丈八蛇矛，飞马大叫：‘三姓家奴休走！燕人张飞在此！’吕布见了，弃了公孙瓒，便战张飞。”
两人打了五十多个回合，不分胜负，后来关羽和刘备先后加入战团，这就是所谓的“三英战吕布”。三人围攻之下，吕布遮拦不住，就逃走了
吕布可谓三国第一猛将，一对一基本都是必胜，一对多的时候即便不能取胜也能安全脱身，尽管刘关张三人武力值都很高，但吕布也不见得怕了。真正让他感觉下不来台的是，是张飞那句“三姓家奴”。
当时虽然十八路诸侯中，只有八路诸侯在现场，但在大庭广众之下，公然揭吕布的老底，可真是太让人难堪了。
吕布本姓吕，但他又认丁原丁建阳为义父，后来受李肃引诱，杀了丁原投奔董卓，还认了董卓为义父，所以张飞骂他是“三姓家奴”。
在三国乱世，武将谋士先后投靠不同主公，并不是什么稀罕事，比如赵云就是先投公孙瓒后投刘备，太史慈先投刘繇后投孙策，也从没人非议过他们。吕布不厚道的地方在于，为讨好新主公而杀了旧主公，并且还认董卓为义父，这就有点不要脸了。
这事吕布自己也知道办得不地道，表面上不说，心里肯定也觉得理亏。一个人要是觉得自己理亏，就会不自觉地矮上三分。所以当张飞骂吕布“三姓家奴”的时候，吕布也不敢回骂。
第二次见面，张飞骂吕布没资格和刘备称兄道弟
张飞第一次见吕布时，吕布贵为温侯，而张飞只不过是一个县里的步弓手，属于无名小卒。可当两人第二次见面时，身份已大不相同。
曹操父亲及一家老小，被徐州牧陶谦手下的张闿杀了个干净，这本是张闿见财起意，不关陶谦什么事，但曹操认定是陶谦暗中授意的，于是带领大军来攻打徐州。陶谦打不过，只好四处求援，北海孔融，青州田楷都起兵来救，刘备也从公孙瓒那里借了二千人马和赵子龙来帮忙。
哪里想得到，陶谦一看到刘备就相中了他，非得把徐州让给刘备不可。刘备再三推辞，陶谦三让徐州，最后陶谦病死，刘备就当上了徐州牧。
而此时，吕布在后方偷袭曹操的大本营，差一点把老巢给一锅端了。曹操无奈退兵，回头对付吕布。曹操一认真，吕布就不是对手了，被杀得大败，只好整顿残兵败将来徐州投奔刘备。
吕布一进门，刘备就假意要让贤，请吕布来当这个徐州牧。吕布没脑子，居然真的想接印信，张飞在刘备背后怒目相向，吕布这才不好意思地收回手来。
第二天，刘备请吕布喝酒，并让家人拜见吕布，期间再次让贤，吕布随口推辞说，“贤弟不必推让。”
这本是官场上人物之间的客套话，可张飞听了之后，大怒，骂道，“我哥哥是金枝玉叶，你是何等人，敢称我哥哥为贤弟！你来！我和你斗三百合！”
这是摆明了瞧不起吕布，意思是吕布人品低劣，连和刘备称兄道弟的资格都没有。没资格和刘备称兄弟，那自然也没资格和他张飞称兄道弟。吕布心里也郁闷啊，这个张飞怎么不按套路出牌啊！
话说吕布那也是一方豪杰，但此刻被张飞骂了个狗血淋头，他怎么表现呢？书中说，“布默然无语。”你看，吕布连回嘴都不敢。
第三次见面，张飞直接就要下手杀吕布
吕布被张飞骂得心里难受，于是找刘备告辞，刘备再三挽留，让他在距离徐州不远的小沛驻军。这时候，曹操感到两人如果合起伙来对付他，会是一个劲敌，于是采用荀彧“二虎竞食”之计，让汉献帝下旨，一面封刘备为征东将军，宜城亭侯领徐州牧，一面让刘备杀了吕布。
刘备当然知道，这是曹操的离间之计，但此事却正中张飞下怀。于是，当第二天吕布专程来给刘备道贺的时候，张飞只见张飞扯剑上厅，要杀吕布。
吕布吓了一跳，连忙问道，“翼德何故只要杀我？”
张飞叫曰：“曹操道你是无义之人，教我哥哥杀你！”
张飞见了吕布就骂，可吕布称呼张飞时，还是很客气地称呼张飞的字，在古代这是一种尊称。
吕布走后，刘备再三和张飞解释这是曹操的计谋，张飞却说道，“我只要杀此贼以绝后患！”
第四次见面，张飞喝醉了酒，吕布也不敢相逼
此后不久，刘备带着关羽去打袁绍，留下张飞守徐郡。结果张飞当晚就大摆筵席，逼着众人喝酒。其中有一个叫曹豹的不肯喝，被张飞强灌了一大碗，但第二碗无论如何也不喝了，张飞这暴脾气上来了，就要打曹豹。
曹豹说，“我女婿是吕布。”
张飞一听，正好，“我本不欲打你；你把吕布来唬我，我偏要打你！我打你，便是打吕布！”结结实实抽了曹豹五十鞭子。
当夜，曹豹联合吕布，夜袭徐郡，杀入城中。张飞迷迷糊糊的往外跑，吕布往里杀，两人就在路上碰了个头。结果，“张飞此时酒犹未醒，不能力战。吕布素知飞勇，亦不敢相逼。”
两人就这么心照不宣的错开了，没有交手。张飞出城的时候，还顺手杀死了吕布的老丈人曹豹，事后吕布和刘备和好，居然没有追究此事。
第五次见面，张飞与吕布大战一百回合
吕布占了徐州，倒叫刘备去小沛驻军，两者掉了个。袁绍派纪灵攻打刘备，吕布辕门射戟，使得两家罢兵，因此吕布觉得自己有恩于刘备，说“非我则公危矣。”再加上他此刻占据徐州而刘备屈居小沛，因此底气就慢慢足了起来。
不过，张飞依然不鸟他。吕布到山东去买马三百匹，回来的路上让张飞抢了一半去。若是以前，吕布肯定忍了算了，但他觉得现在底气足，于是点兵往小沛来斗张飞。
张飞也不怂，直接承认了下来，“是我夺了你好马！你今待怎么？”
吕布这次终于敢骂张飞了，“环眼贼！你累次渺视我！”
两个酣战一百多个合，又是不分胜负。由此可见，张飞的武艺即使略低于吕布，也相差不多。
刘备看吕布不能容人，便带着人马投奔曹操去了。
第六次见面，两人依旧打得不分胜负
曹操趁着袁绍攻打公孙瓒的机会，决心除掉盘踞徐州的吕布，以解心腹大患，刘备带着关羽、张飞也在军中帮忙。
在小沛城下，张飞杀到，吕布遣高顺出战。但他也知道高顺不是张飞的对手，眼看高顺不敌，只好亲自上阵对战张飞，又是一场大战，仍旧不分胜负。
眼看曹军四面合围，吕布无心恋战，突围而走，没跑多远却又遇到关羽，两人交手数招，张飞又从后面赶了过来，吕布只好落荒而逃，去往下邳。
后来曹操水淹下邳，吕布命丧白门楼，张飞与吕布再无任何交集。
综上所述，吕布之所以害怕张飞，是因为张飞打心底里瞧不起他，而且无论什么场合，从不给吕布留面子。张飞虽然官职不高，地位也不高，但他看吕布，完全就是一种俯视的态度，用吕布自己的话说就是“渺视”他。
而其他人在面子上起码还是比较尊重吕布的，说话也很客气，唯独张飞，一见面不是骂就是打。因此，吕布一见到张飞，就觉得自己好像矮了张飞一头。
另外，非常重要的一点是，张飞本身的武艺并不低于吕布，两人先后四次大战，都是不分胜负，吕布想用武力证明自己比张飞强也做不到。
各种因素综合起来，就导致了吕布看到张飞就发怵。
