咸豐三年七月，湘鄉(xiāng)勇剛到南昌，駐扎得勝門外，遭到太平軍猛擊，減員至一千一百人，隨后劃分為中營與右營，已在前面敘過。李續(xù)賓因援助江西立下戰(zhàn)功，得旨以府經(jīng)歷補用。他得到的是一個正八品的官銜，比知縣小了一截，但比他買的那個從九品又強了不少。當年十月，駱秉章將湘鄉(xiāng)勇從江西調(diào)回湖南剿匪，李續(xù)賓的部隊以大小十一仗將土匪肅清，隨后駐扎衡州。

值得注意的是，到此時為止，由李續(xù)賓創(chuàng)建、羅澤南統(tǒng)帶的湘軍，尚未納入曾國藩的指揮序列，而是由湖南巡撫供餉并調(diào)遣。駱秉章正式任命羅澤南為湘軍統(tǒng)領，任命李續(xù)賓為總營務。羅的職務相當于司令員，李的職務則可視為副司令兼參謀長。兩人的月俸都是兩百兩銀子，并無高低之分。

咸豐四年（1854）的第一季度，曾國藩率領一萬七千人的水陸大軍從衡州大舉北進，他的麾下沒有羅澤南和李續(xù)賓的湘鄉(xiāng)勇。若將曾國藩此時的部隊號為湘軍，確實有些勉強，而且與羅李的湘軍重名。那時羅澤南駐扎衡州，李續(xù)賓率部去郴州與衡山攻打會黨，而曾國藩則推進到了岳州一帶。所以，王錱敗于羊樓司，曾國藩敗于岳州，損兵折將，喪失戰(zhàn)船，與羅李二人毫無關系。

其后，曾國藩發(fā)兵攻打湘潭，陸軍是塔齊布的部隊，羅李湘軍也未參與。曾國藩的戰(zhàn)船向下游攻擊靖港，被太平軍重創(chuàng)，羅李湘軍也無瓜葛，他們未能目睹曾國藩欲投江自盡的慘狀。如果說李續(xù)賓跟湘潭之戰(zhàn)有什么關系，那是在彭玉麟率水師燒毀湘潭市肆以后，太平軍向北邊撤退，李續(xù)賓當時駐扎在炭蕩，將民船全部收集起來，使太平軍無法渡江，只得逃往下游的靖港，然后撤向岳州。李續(xù)賓隨后駐軍長沙，駱秉章為了獎勵他們，給士卒增加月餉銀兩，每人六錢。李續(xù)賓與羅澤南提出每營使用一百八十名長夫，每天每人發(fā)銀一錢，駱秉章也同意照辦。

曾國藩在初次出征時過于重視水師的作用，陸師只用了塔齊布的五千人，未將羅李湘軍列入北進序列，也許是一個極大的失誤；他在最初階段將水師與陸師分開使用，就更是大錯特錯了。由此而導致的一系列失敗，促使曾國藩反省了自己的失誤，而且馬上著手糾正。

咸豐四年六月，太平軍第二次攻陷武漢，湘北隨之吃緊。曾國藩經(jīng)過休整，決定再次北征。這一次他把羅澤南和李續(xù)賓所部調(diào)入了自己的陸軍，令他們與塔齊布所部合攻岳州。從這時開始，李續(xù)賓的建軍事業(yè)進入了第四階段，其特征是進入了曾大帥的編制，并且在湘軍的北進東征中擔任陸軍先鋒，不斷壯大湘軍的實力。

羅李湘軍加入北進序列后，陸軍勢如破竹，很快就把太平軍趕出了岳州。在隨后兩個月的戰(zhàn)斗中，湘軍右營打出了威風，太平軍一見李續(xù)賓的白色軍旗便會驚懼萬分。李續(xù)賓戰(zhàn)功卓著，先后升為知縣、同知。

八月中旬，曾軍開始進攻武昌。曾國藩的僚佐提議不管武漢外圍的敵軍，只要一舉奪得武昌就行了。李續(xù)賓馬上反對，指出敵軍以勁旅據(jù)有城外險要，城內(nèi)只留弱兵幾千，肯定是有意引誘官軍攻城。如果官軍驟然攻城，守軍必然棄城而逃。這時官軍會陷入兩難的境地：守城則被敵軍所困；如果不守，則武昌仍為敵軍所有。正確的辦法是立即攻破城外敵軍據(jù)點，那時武昌城將不攻自破。

曾國藩采納李續(xù)賓的意見，派羅李湘軍攻破最堅強的城外敵壘。果然，武漢兩城敵軍自動撤走。李續(xù)賓攻破堅壘，制敵死命，咸豐皇帝特賜孔雀翎，將他以直隸州知州升用。

羅李湘軍雖然名義上是羅澤南任司令員，但羅司令將作戰(zhàn)的所有部署與指揮全部交給李續(xù)賓負責。曾國藩很清楚其中的內(nèi)幕，他在李續(xù)賓死后為之撰寫的神道碑銘中有言:“其戰(zhàn)守機宜，胥公主之?！?/p>

曾軍攻占武漢后，李續(xù)賓就勸曾國藩立刻將陸軍增加到一萬八千人，分為兩路，由塔齊布和羅澤南各領一路，從長江南北兩岸乘勢東下，使太平軍沒有還手之力。曾國藩擔心沒有餉源，李續(xù)賓又勸他奏請朝廷派專人負責籌餉，一定要把軍力增強。

曾國藩沒有完全采納李續(xù)賓的提議，雖然他決定立即開始東征，但沒有打算擴增陸軍的兵力，因為湘軍正在得勢之時，水師已被證明為壓制太平軍的利器，他看不出有什么必要大量增加陸軍。他把長江北岸的攻擊任務交給了湖廣總督楊霈，令自己的陸軍沿長江南岸推進。他這種部署看似周密，實際上留下了很大的隱患。湘軍在獲得賴以一舉成名的田家鎮(zhèn)大捷以后，立即感到了北岸兵力空虛，拖了東征的后腿，因為楊霈的官軍沒有積極推進。于是湘軍只好渡江去打北岸的太平軍，這樣就暴露出陸軍兵力嚴重缺乏的弊端。等到湘軍推進到九江城外的時候，由于忽北忽南，兩線行軍作戰(zhàn)，陸軍已經(jīng)疲憊不堪，失去了銳氣。

曾國藩看出了李續(xù)賓早已指出的問題，把胡林翼從湖北調(diào)來九江會師，增加兩千陸軍，但這點兵力還遠遠不夠。偏偏彭玉麟此時有欠冷靜，不肯稍事休兵，急不可耐地派水師機動部隊攻打姑塘，結果水師小型船隊被太平軍關在鄱陽湖內(nèi)，與長江的大型戰(zhàn)船分隔，這就是胡林翼后來總結的“雪琴之躁”。太平軍夜攻湘軍大營，燒毀曾國藩的坐船，曾國藩僥幸逃生，來到陸軍營中。

幕僚劉蓉有心挽回敗局，獻了一計，建議乘敵軍過年沒有防備，集中兵力攻打湖口，以解救陷入內(nèi)湖的水師，這就是胡林翼后來所謂的“霞仙之狂”。水師認為陸軍中營戰(zhàn)斗力太差，主張用右營與塔齊布所部參戰(zhàn)。曾國藩輕信劉蓉，不知太平軍不過中國的傳統(tǒng)春節(jié)，批準了這個方案。

陸軍將士已經(jīng)十分疲憊，不愿在過年時作戰(zhàn)，李續(xù)賓了解官兵的想法，提出反對意見。此事議了三天，曾國藩決定還是要戰(zhàn)，按照胡林翼后來的總結，此為“滌帥之誤”。

大帥做了決定，李續(xù)賓只好執(zhí)行。十二月二十八日晚間，他召集百夫長開會，發(fā)布戰(zhàn)斗動員令。部隊于第二天渡到江北。大年三十傍晚，李續(xù)賓與塔齊布帶一千人開往湖口，將士剛剛出營，便有軍官揚言：“老子正在燉雞煮飯，要休息一日，是誰要敗老子的興致？老子今天要故意打個敗仗，讓他自取其辱!”于是領兵回走，李續(xù)賓與塔齊布禁之不止。太平軍一見清軍不戰(zhàn)自退，連忙派出大部隊來攻，把李續(xù)賓和塔齊布團團圍住。千鈞一發(fā)之際，坐騎從水面騰躍而過，將李續(xù)賓載出，才得脫險。李續(xù)賓夜宿民舍，房子的主人全部逃走了，李續(xù)賓度過了一個孤寂無聲的除夕之夜，枯坐達旦。