洋槍隊這個名字可能對一些人來說比較陌生，但是它的另一個名字“常勝軍”就知道了。

當時太平軍攻破清軍江南大營，忠王李秀成的大軍攻克蘇州城，即將進抵上海。當時的清軍已潰不成軍，蘇州道臺吳熙出面，委派華爾召募外國籍亡命徒及軍人組成雇傭軍。又一面向駐扎上海的英法軍隊求助，洋槍隊組成后駐營于松江廣福林，全員配備西式武器，依照西方軍事組織訓練。最開始的洋槍隊僅僅數(shù)百人，隊員大多是從菲律賓招來的土人和黑人，軍官都是由歐美人來擔任，這些人里還有些人是逃兵。7月15日，太平軍陸順德部主力進軍上海，洋槍隊在清軍配合下，乘虛攻占松江，洋槍隊第一次戰(zhàn)斗以勝利結束。但在8月進攻青浦時被李秀成重傷損失慘重，華爾本人也負傷五處。不久以后，洋槍隊被英國海軍提督何伯遣散，華爾本人也一度以危害租界安定的名義被逮捕，但后被無罪開釋。　

到1861年8月，華爾受到上海官紳和富商的資助在松江重建洋槍隊。這次華爾選擇招募中國人為士兵，但還是以歐美人為軍官，華爾依然為統(tǒng)領，美國人白齊文、法爾思德為副統(tǒng)領，起先洋槍隊募兵800人，后來11月期間發(fā)展至2000人。到了1862年，太平軍進攻上海，洋槍隊配合英法正規(guī)軍和當?shù)厍遘娺M行抵抗。戰(zhàn)后清政府賜給華爾中國官銜。2月洋槍隊在天馬山附近擊敗太平軍，后由江蘇巡撫薛煥正式授予其“常勝軍”稱號。之后，常勝軍與英法軍和清軍一起，洋槍隊憑借自己優(yōu)勢火力，先后在高橋、肖塘、泗涇、王家寺、周浦、南翔、嘉定諸戰(zhàn)中連連得手。6月份在青浦被李秀成圍殲一部分兵力，但是總的力量仍然在發(fā)展，達到四千五百人。常勝軍發(fā)展到鼎盛期的總人數(shù)多達六千余人，華爾將人編為五個步兵團和一個狙擊兵團，分別裝備滑膛毛瑟槍和恩菲爾德來復槍。常勝軍還擁有一支可觀的炮兵部隊，由華人組成，分為四個重炮中隊和兩個野戰(zhàn)炮中隊。擁有劈山炮十八門、榴彈炮七門、洋炮兩門、西洋臼炮十二門，另有多具火箭筒。常勝軍還有一支作戰(zhàn)艦隊，起先有木只戰(zhàn)船三百余艘，后來減少至五十余艘，各艦皆配備有九磅炮；還有數(shù)十艘鐵甲汽輪。

1862年9月華爾于進攻慈溪時陣亡，常勝軍由白齊文帶領，后來換為奧倫先統(tǒng)帶，又于1863年3月由戈登來擔任常勝軍統(tǒng)領。戈登時期的常勝軍因江蘇巡撫李鴻章的要求，人數(shù)保持在三千五百人左右。炮兵是將中隊名改為連。

常勝軍在蘇南諸戰(zhàn)役中協(xié)助淮軍打擊太平軍，出力甚大。因為英法軍隊的行動僅限于上海附近，當李鴻章淮軍部打出上海后，全由常勝軍配合作戰(zhàn)。當時的淮軍才剛剛換裝洋槍，炮隊火力不足，每到攻打城市時就要仰仗常勝軍中的重炮。

1863年12月蘇州殺降發(fā)生，李鴻章、戈登兩人因此事幾乎勢同水火。幾個月后雖經(jīng)赫德調(diào)解常勝軍再次參戰(zhàn)，但是這兩人也已經(jīng)有了矛盾。到了1864年5月，李鴻章奏請朝廷批準將常勝軍遣散，并發(fā)放10萬兩白銀作遣散費用。在遣散后李鴻章從中又調(diào)來常勝軍600炮手和約300名槍手進入自己的淮軍編制內(nèi)組成自己的炮隊。