1925年11月，中共廣東區(qū)委軍事部長周恩來多方努力，以鐵甲車隊為基礎(chǔ)，組建國民革命軍第四軍（軍長李濟深） 第十二師三十四團，任命剛從蘇聯(lián)回國的共產(chǎn)黨員葉挺為團長，周士第為參謀長。廖乾五升任第十二師政治部主任，隨第四軍討伐廣東省南路軍閥鄧本殷。對部隊進(jìn)行常識教育，把政治工作做到民眾中去，是廖乾五開展軍隊政治工作的一個顯著特色。南征戰(zhàn)斗中，由于廖乾五領(lǐng)導(dǎo)的政治工作在聯(lián)系民眾、鼓舞士氣等方面所起的重要作用，南征主力師官兵同仇敵愾，奮勇殺敵，和友軍一起，經(jīng)過短短兩個月戰(zhàn)斗，鄧本殷軍便土崩瓦解，一敗涂地，鄧乘船逃往國外。至此，廣東南部獲得解放，全省統(tǒng)一，南征取得完全勝利。
1926年7月，國共兩黨共同進(jìn)行的北伐戰(zhàn)爭在“打倒列強，除軍閥”的雄壯口號聲中正式開始。7月10日，獨立團攻占湘東重鎮(zhèn)醴陵，各界群眾舉行歡迎大會，廖乾五等發(fā)表熱情洋溢的講話。會后，各界團體推舉廖乾五任縣行政委員會委員長（即縣長）。廖乾五在師團軍會議作戰(zhàn)前動員時說：攻下平江，為北伐戰(zhàn)爭統(tǒng)一祖國立功，即使受傷殘廢了，犧牲了，垂光祖國，也是光榮的。簡短的幾句話，給到會軍官以極大的鼓舞。此役，不到10小時，攻占了平江城，俘敵1000余名，繳獲大炮11門，各種槍支1000余支。
在北伐戰(zhàn)爭時，軍隊的政治部主任是沒有指揮部隊作戰(zhàn)的權(quán)利的。但是，廖乾五由于過去久居楚地，熟悉當(dāng)?shù)氐乩憝h(huán)境，善于謀略。為了“以求達(dá)到農(nóng)民和工人之利益”，他主動參與籌劃和指揮了第四軍在兩湖的重要戰(zhàn)斗。汀泗橋戰(zhàn)役和賀勝橋戰(zhàn)役的勝利為北伐軍清掃了通往武漢的道路，極大地鼓舞了全國人民的斗志，有力地推動了兩湖工農(nóng)運動。
9月中旬，第四軍政治部主任由廖乾五代理。攻克武昌前夕，廖乾五以全部精力投入攻城的各項準(zhǔn)備工作。10月8 日夜，廖乾五派軍政治部宣傳隊員數(shù)人爬墻進(jìn)入城內(nèi)，張貼布告、標(biāo)語，散發(fā)傳單，動員敵軍投降并宣傳安撫城內(nèi)群眾。10月10日凌晨2時許，陳可鈺、廖乾五督促第四軍，會同第八軍猛攻武昌城，激戰(zhàn)至上午8時攻克收復(fù)武昌城。
在北伐戰(zhàn)爭中，以廖乾五任政治部主任的第四軍打得最好，被譽為“鐵軍”。第四軍尤其是第十二師和葉挺獨立團之所以在軍事上取得一系列勝利，與中國共產(chǎn)黨重視軍隊政治工作和廖乾五在四軍出色的政治工作有很大關(guān)系。廖乾五以其政治工作的卓越成績，受到中共中央軍事部長周恩來和蘇聯(lián)軍事顧問戈列夫的高度評價，“鐵軍”政治部主任廖乾五名揚全軍。
