四军由三种力量组成，一为朱德率领之叶、贺残部〔1〕，一为由毛泽东率领之卢德铭团（张发奎之警卫团）及湘东农军〔2〕，一为湘南郴、耒、永、宜、资五县农军。叶、贺军于一九二七年十月在潮汕一带失败，三河坝一战，二十五师及九军失利，向闽赣边界撤退，由朱德率领转入广东北江，曾与范石生〔3〕有一时期的合作，得范之补充不少。一九二八年一月，脱离范石生到湘南，连战击溃许克祥、周斓、白崇禧〔4〕所部，实力增加了两倍。
是年四月湘南暴动失败，不战而安全撤退至江西宁冈与毛部会合。同行有湘南郴州、耒阳、永兴、宜章、资兴五县农军，计宜章第三师。郴州第七师，来阳第四师，永、资两县各有一独立团：毛部基础为卢德铭团。卢在八一暴动之后二日由武昌率队去九江，见张发奎业己反革命，乃中途起举，初拟沿赣边去广东与叶、贺会合，继因道途梗阻，乃留在湘东、赣北一带，复与平冽农军会台，并由毛译东率领参加秋收暴动，最先挂了红旗，秋收暴动失败后，毛部被迫向南移动至宁冈，复得当时绿林（洪会）首领袁文才、王佐〔1〕之帮助，乃留在井冈山附近各县游击。这是一九二七年底至次年三月间的事。到了四月，朱部二千余人，湘南农军八千余人，毛部千余人，袁、王各三百人，如此庞大军队有统一指挥训练的必要，乃决定成立红军第四军，以朱为军长，毛任党代表，改编为三师，卒以枪械及人数不足，乃改编为二十八、二十九、三十、三十一、三十二、三十三六团，取消师部，由军部直接指挥。全军约万余人，枪仅二千余。