1929年4月初，彭德怀率部与红四军在瑞金会合。8日，红四军前委在于都召开扩大会议，决定红五军回师井冈山，恢复政权，和红四军在赣南的斗争相呼应。4月上旬，彭德怀率领红五军昼夜兼程，向井冈山挺进。部队经信丰、崇义、上犹等县，于4月底抵达遂川县的黄坳。

黄坳位于井冈山脚下，离井冈山茨坪只有20多公里。此时，蒋介石与桂系军阀之间的矛盾进一步激化，“会剿”井冈山的湘赣敌军被调往参战，敌人的正规军已大部撒离了井冈山，只有一小部分队伍和地方上的反动民团在井冈山一带驻扎。遂川靖卫团在黄坳封锁了通往井冈山的要道，妄图阻止红五军上山。彭德怀得知情况后，决心彻底消灭这股敌人。红五军在与敌人激战3个小时后，终于击溃了阻击之敌。接着又斗争了几户土豪劣绅，没收了一部分浮财。

5月1日，红五军回到了井冈山茨坪。红五军看到的井冈山一片凄凉，惨不忍睹。敌人占领获坪和大小五井一带以后，实行烧杀政策，使得井冈山上到处是断壁残坦，尸骸遍野。所剩无几的老表听说红五军又回井冈山了，都扶老携幼，从茅草棚里跑出来，向这些昔日与自己朝夕相处的子弟兵诉说红军走后的悲惨遭遇。彭德怀等人眼看着这些曾和自己生死与共的幸存者长发蓬乱、骨瘦如柴，心里十分难过。

第二天，彭德怀在茨坪召开了茨坪、大小五井和五大哨口以内的群众大会。在会上，彭德怀代表红四军前委和红五军指战员向井冈山人民群众表示亲切慰间。他说，毛委员、朱军长派我们回到井冈山，就是来帮助和看望井冈山的父老兄弟，来帮助大家重建家园的。现在红四军在赣南和闽西等地打了大胜仗，革命根据地扩大了，我们井冈山的根据地也要扩大，红四军在赣南闽西一带发展，我们就在湘赣一带发展。

会后，彭德怀和滕代远组织红五军官兵在会场旁边的茨坪北桥上把缴获到的一部分银元分发给群众。彭德怀根据五大哨口内原有的人口数，准备了2000多块银元，但是，所有群众每人都领取了1块银元后，还有1000多块银元发不下去，这也意味着，五大哨口内一半以上的无辜群众都被敌人残酷杀害了……

彭德怀和滕代远率红五军回到井冈山后，很快与井冈山各县的红军与地方党组织取得联系，重建地方武装，恢复党的组织和苏维埃政权，并在游击战争中发动群众，开展打土豪分田地的群众运动，使井冈山的斗争进入了一个新的阶段。5月中旬，因赣敌进攻，红五军撤出宁冈，经酃县攻占湖南桂东，后到广东城口、仁化、南雄等地活动，解决了部队的给养问题。

6月下旬。红五军回到井冈山，收复遂川和宁冈。7月，攻打安福县城，虽重创敌军，但自身损失也不小，参谋长刘之至和第四纵队纵队长贺国中在战斗中牺牲，第五纵队纵队长李灿负重伤。

1929年8月上旬，根据湘鄂赣边界特委的要求，红五军离开井冈山，返回湘鄂赣，14日攻克万载。9月1日，湘鄂赣边界特委和红五军军委在修水台庄召开联席会议，决定红五军分散游击，第四纵队重返湘赣边界。红五军离开湘赣边界后，边界军民仍然坚持革命斗争。10月，水新、宁冈、茶陵3县地方武装在刘作述、徐彦刚等指挥下，攻占永新县城。从此，永新成为湘赣边界斗争的指挥中心。

1929年10月1日，红五军攻克平江，随后决定各个纵队的活动区域：四纵队回湘赣边界；二纵队在浏阳、万载、铜鼓一带游击；一、三纵队和军部在平江、修水一带活动；五纵队往鄂东南开辟新的革命根据地。随后，五纵队扫荡了通山、大冶、阳新三县反动武装，成立了红十二军，建立了以南头山为中心的军事根据地。12月，红五军军部和第一、三纵队从萍乡回到永新与第四纵队会合。

此时，由于湘赣边界特委“在政治上、组织上有许多不能解决的问题”，同时，赣西特委也因叛徒出卖遭到破坏。1930年1月8日，湘赣边界特委、赣西特委和红五军军委在遂川于田召开联席会议，决定成立红六军，将湘赣边界特委、赣西特委合并为赣西特委，并决定武力解决袁文才、王佐问题。

1930年5月，彭德怀率领红五军二、三、四纵队进抵湖北龙港，随后横扫10余县反动武装，帮助当地开展土地革命，建立红色政权，打开了鄂东南革命根据地的局面。6月，在大冶县成立了中国工农红军第三军团和前委，彭德怀任总指挥前委书记，滕代远任总政委。