范增的离开使楚军失去了大脑，这是项羽的巨大损失。项军由此逐渐变得勇力有余而谋略不足。
汉三年五月，刘邦已被项羽围困在荥阳一个月了，基本上处于毫无办法的状态。此时，将军纪信为刘邦献上一计：“我来假扮大王迷惑楚军，请陛下趁此机会脱身。”刘邦接受了这个计策。于是，陈平安排了两千多名女子夜里从东门出城，楚军见此便从四面八方蜂拥而来。《汉书》对这个过程没有做深入的描写，但常年在外征战的楚军忽然看到这么多女人，场面会是怎样的，若我们以常理推断，则会得出一些非常惨烈、毫无人性的画面。
这可能也正是陈平所希望看见的，项军肯定会因此而战斗力大降。纪信便趁乱乘坐刘邦的王车出城，边走边向楚军喊话：“军中已无粮草，汉王向楚军投降。”楚军闻此都大呼万岁，并且都来到城东看热闹。刘邦趁乱与身边的数十个随从从城西门遁逃。御使大夫周苛、魏豹、枞（zōng）公奉命留守荥阳。虽然刘邦之前已经接纳了魏豹，但周苛、枞公两人认为他曾经叛汉投楚，不可为信，就合伙杀了他。根据《汉书·韩王信传》，荥阳守将中还有韩王信，由此才能解释为何荥阳城破后，韩王信被虏。
项羽抓到纪信后，问他刘邦的行踪，纪信说：“汉王早已离开。”项羽大怒，活烧了纪信。
刘邦从荥阳出逃，经过成皋后进入函谷关，想要收拢兵马再向东杀回去。一个姓辕的谋士对刘邦说：“大王与楚军在荥阳拉锯了好几年，常被困于其中。建议大王从武关出兵，项羽必然会引兵南下，而我们可以坚壁守城，令荥阳、成皋解困并得以修整。再让韩信等人收复赵地，与燕、齐两地连成一片，此时大王再反攻荥阳。这样的话，楚军四面应付，必然导致力量分散。我军得到修整后，再于楚军交战，则可必胜。”
之前我们讲过，崤关-武关是连接咸阳与中原的另一条路线，在荥阳-函谷关一线以南，当年刘邦入关走的就是这条路。刘邦从武关出兵便可吸引项羽南下，以解荥阳之围。
刘邦采纳了此计，带领军队东出武关，直达宛、叶两县间，与黥布共同招兵买马。项羽听说刘邦在宛县，果然带兵南下，刘邦坚守不战。同月，彭越渡过睢（suī）水，与项声、薛公战于下邳，击败并杀了薛公。项羽令终公把守成皋，自己带兵向东攻击彭越，刘邦趁机北上，大败终公，收复了成皋。
六月，项羽听闻成皋失守，又急忙取道阳夏向西回兵攻汉。在此同时，彭越拿下了昌邑附近的二十余城，得到了大量粮食来供应汉军。
项羽攻下荥阳，守将周苛被擒。项羽对周苛说：“你若归楚，我便封你做上将军，食邑三万户。”周苛不为所动，反而大骂项羽：“你若不赶紧降汉，就会死得很惨，你根本不是汉王的对手！”项羽气的烹杀了周苛，处决了枞公，俘虏了韩王信。夺下荥阳后，项羽继续向西围困成皋。
刘邦眼看打不过，就轻装简从与滕公夏侯婴从成皋北门逃走，北渡黄河，在小修武住下。第二天清晨，刘邦自称汉王使者进入了张耳、韩信的营地，趁两人还未起床，就夺取将印，掌握了军权，并令张耳向北到赵地去征新兵，同时拜韩信为相国，带领赵军前往攻击齐国。
汉三年七月，北天出现亮星，大概寓意着楚汉相争将出现转折。刘邦得到了韩信的军队，元气大振。
八月，汉军在小修武临黄河向南布阵，想要反攻荥阳。郎中郑忠劝刘邦先要修筑好防御工事，暂时不要反攻。刘邦听从了郑忠的建议，同时令卢绾、刘贾率兵两万，骑兵数百，从白马津南渡黄河进入楚国，协助彭越烧毁了楚军的粮草物资，又在燕县城西再破楚军，攻下了睢阳、外黄等十七城。
九月，项羽对海春侯大司马曹咎说：“要小心的把守成皋，哪怕是刘邦挑战，也不要迎战，不要让他东进。我十五天内必拿下梁地，再回来帮助将军。”安排好后，项羽就启程向东去攻击彭越。
郦食其劝刘邦：“抓住天下最关键事的才能成就霸业。‘王者以民为天，而民以食为天’。楚军攻克荥阳，却不坚守敖仓，而是去守成皋，这是上天给大汉的机会。楚军自弃优势，我认为这是他们的过失。且两雄相争，天下不定，百姓不安。愿足下尽快收复荥阳，‘据敖庾之粟，塞成皋之险，杜太行之道，距(拒)飞狐之口，守白马之津’，向天下展示我军之优势，则天下自知归附于谁。”于是刘邦开始反攻成皋。
汉四年十月，成皋这边果然如项羽所料，刘邦军队一直在城外挑衅，楚军最初按照项羽的要求不与应战，但汉军又大骂了好几天，大司马曹咎不堪忍受，于是出兵渡过汜水攻打汉军。汉军趁楚军正在渡水时发起攻击，大败楚军，将其物资全部收入囊中。曹咎与其长史司马欣在汜水刎颈自杀。刘邦带兵渡过黄河重新占领了成皋，驻军广武，再次获得敖仓的粮草。
刘邦和项羽在荥阳来来回回争夺了数次，虽然逢项羽必败，但他能听从谋士们的计策，把项羽调动的疲于奔命，这就是所谓“技高一筹”。另外，他能够轻易的夺取张耳、韩信的兵权，由此可见刘邦在汉军内部的地位极其稳固，说一不二，说明汉军众将士对刘邦的命令是绝对服从的。这就是刘邦的用人和驭人之术，也是刘邦自己引以为傲的。
项羽收复了被彭越攻下的十余座城池，但听说曹咎战败后，立刻再次回师向西。汉军刚刚将钟离眜围困在荥阳东，听说项羽回师，就从险路撤回广武，说明这时候，项羽还是有一定的军事优势的。
项羽也把军队驻扎在广武，与汉军对峙。但此时，项军几经数千里大范围转战，已经人困马乏。《汉书》对此的描述是“壮丁苦军旅，老弱罢（疲）转饷”。
项羽在军中设置高案，把刘太公放在上面，对刘邦说：“你若不投降，我就烹了令尊！”
刘邦回话：“我与你都受命于怀王，拜为兄弟，我爹就是你爹，你要是烹了你爹，别忘了分我一杯羹。”项羽威胁刘邦不成，气的想要杀了刘太公。项伯劝项羽：“刘邦为了夺天下，家人都不顾了，杀之无益，只会加深他对你的怨恨。”项羽难得听了一次劝。
项羽又遣使对刘邦说：“天下大乱，皆因你我二人的争斗，不如我们两人单独决战，以免连累百姓受苦。”刘邦显然不会应战，笑着说：“我只斗智不斗力”。
项羽派出壮士挑战汉军。刘邦则派出善于骑射的楼烦兵，将出来的项军射杀，接连三个回合都是如此。项羽大怒，被甲持戟亲自出战，楼烦兵举箭欲射，项羽嗔目怒吼，竟吓得楼烦兵目不能视，手不能发，狼狈的逃回大营，不敢再出战。刘邦也大惊失色。
项羽喝退楼烦兵虽然有夸张之嫌，但由此可见项羽之勇猛实为名不虚传。
刘邦、项羽在广武相距并不远，刘邦见战场上占不到便宜，就喊话项羽，细数了他的十大罪状：
1、我们俩最初都受命于怀王，且约定先入关中者为王，你封我为汉中王，毁约在先；
2、矫怀王之诏杀了上将军宋义，而自己做了上将军；
3、你北上救赵后应向怀王复命，但却率诸侯进入函谷关；
4、怀王有约在先，进入关中后不可施暴，而你烧秦朝宫殿，掘始皇陵墓，收秦府钱财；
5、强行杀害已降秦王子婴；
6、以欺骗的手段，在新安坑杀秦兵二十万，却封赏他们的将领；
7、把各路诸侯都分封到好的地方，赶走原来的诸侯王，导致其臣下护主而反叛新诸侯王；
8、将义帝迁出彭城，自己定都在这里，还吞并了韩、梁、楚等地盘；
9、令人在江南杀害了义帝；
10、你为人臣却杀了主公，杀害降将，分封不均，毁约无信，天理难容，大逆不道。
然后刘邦慷慨的说：“我率义兵与诸侯共诛逆贼，用刑徒罪人便可击杀你，还用得着我堂堂汉王亲自动手？”
刘邦言语里充满了轻蔑，项羽闻之大怒，使埋伏的弓箭手射击。刘邦胸部中箭，但为了安定军心，却捂着自己的脚说：“项贼射中了我的脚趾！”
其实，刘邦这次中箭伤得不轻，但张良强行请求汉王出面犒劳军队，鼓舞士气，安定军心，防止楚军趁机取胜。而后刘邦病情加重，立刻返回了成皋。
此番对阵，虽然刘邦重伤而退，但却当着双方将士的面，宣告了项羽的十项大罪，等于当众宣读了一篇讨逆檄文，使自己站在了道德制高点上，可谓是“师出有名，替天行道”，制造了有利的舆论氛围。而项羽在失去范增后，只知道想要与刘邦单挑，再次用实力证明了自己的有勇无谋。