1853年3月，太平[TaiPing]军攻克南京后，为夺取全国政权，又作出了出师北伐的决定。5月，洪秀全、杨秀清派林凤祥、李开芳为主将，率军2万，先后转战江苏、河南、山西、直隶数省后，到10月间攻到天津附近，因孤军深入，陷入困境，不得不于次年3月南撤至阜城，又于5月退据东光等待援军。
　　1854年2月4日，太平[TaiPing]天国派出了以曾立昌、陈士保、许宗扬等为统率的援军，由安庆向北进发，至4月12日一举攻破鲁西北重镇临清。嗣以援军独守空城，军需匮乏，战略上失去主动，军事上也趋于劣势。此后援军散为多股，各自为战，且战且走，其大股于5月3日退据江苏丰县时，队伍只剩二三千人。5月6日，援军残部从丰县突围，到达黄河北岸支河处，因河水陡涨，清军[QingJun]追及，援军将士大半壮烈牺牲。
　　北伐援军在山东的惨败，使急切待援的北伐太平[TaiPing]军陷入了困境。在久盼援军不至的情况下，北伐军于5月5日“并力夺围”，直奔连镇。当清王牌军僧格林沁率2000名清兵追至时，北伐太平[TaiPing]军“建立木栅，掘深壕，连附近各庄全行占踞（据）”，扎营以抗官兵，双方再度出现相持局面。不久，清将胜保、善禄亦“自曹县移得胜之兵”赴连镇助剿北伐军。由于清军[QingJun]封锁消息，北伐军5月中旬方获悉天京方面派来援军的消息。早已有意“另择一处，可以牵制官兵”，以“作声援之势”的李开芳，一面派人四处侦探，“探得东南上一路空虚，可以偷出”，并得知“离连镇三百余里，有高唐[GaoTang]州，空虚可夺”（《清代档案史料丛编》第5辑，第166页），一面又与林凤祥相商，派队南下迎接援军，最后决定由李开芳督带一千马队，前往与援军会合，遂“在营中挑选健卒，名曰‘先锋’。凡能跃一丈宽沟、能抛丈二高火球、能于马道旁并马跑出马道者，即为合式”。经筛选，得630余人。复“挑壮马千匹”，交李开芳统带（《近代史资料》1979年第4期，第43页）。在林凤祥所部太平[TaiPing]军掩护下，李开芳便于5月28日一早率精锐骑兵从清军[QingJun]防守薄弱的正东营盘“纵马闯过”，然后直奔东南而去。天明后，清军[QingJun]始发现北伐军一部已突围南下，遂由胜保率马队两千寻迹追赶。李开芳率北伐军走宁津大路，过吴桥柘园镇，绕德州城南，赶赴恩县。继胜保之后，贝子德勒克色楞亦带蒙古马队跟踪而来。这时，驻防德州的山东巡抚崇恩一面派协领久禄“由德州东南一路追剿”，一面又派候补参将定顺、游击文英等率部“在恩县一带择要设伏”，企图夹击太平[TaiPing]军（《清实录山东史料选》，第1291页）。5月29日，太平[TaiPing]军进入恩县境，定顺、文英均不敢阻拦，听任太平[TaiPing]军南下。太平[TaiPing]军由平原曲陆店渡马颊河南行，一举攻破恩县城。因清军[QingJun]尾追于后，太平[TaiPing]军亦不作停留，而是“穿城而过”，继续南下。至下午，便兵临高唐[GaoTang]州城下。一昼夜间，太平[TaiPing]军人不离鞍，马不停蹄，急行军300余里，“所至地方，问人寻路，遇官兵就杀”（《清代档案史料丛编》第5辑，第167页）。

　　这时，高唐[GaoTang]州城内一片混乱。州牧魏文翰匆忙“集弁绅，议守御”，由守备纪琳、千总刘万化、团绅林杜维屏等分守东、南、西三门（高唐[GaoTang]州无北门）。李开芳侦知“高唐[GaoTang]州兵勇无多”，即率太平[TaiPing]军分别攻打东门和南门，纪琳、刘万化抵挡不住，“弃城走”，兵勇亦随之出西门逃散。李开芳“带兵追入，占了城池”。知州魏文翰见大势已去，投驿井死（同上书，第166页）。
　　直到傍晚，胜保才带马队赶到。这时，太平[TaiPing]军已尽得城中粮草、火药、器械，据城拒守。胜保企图用马队“夺占关厢”，太平[TaiPing]军登圩反击，很快将其击退，使其只好“兜围”待援。清廷以“胜保进剿之兵，并无步队，亦无炮位”，遂令僧格林沁从连镇“迅拨步队精兵千名”，设法携带大炮，星夜赶赴高唐[GaoTang]；同时又一面飞饬绥远将军善禄统带马步清军[QingJun]“驰往胜保军营会剿”，一面谕令崇恩就近调拨地方兵勇星速前往助剿（《清实录山东史料选》，第1292页）。这样，在五六日间，不仅德勒克色楞所部蒙古马队赶到高唐[GaoTang]，清将培成、那敷德之马队随后亦到，而且从连镇所调善禄等部步勇及地方各种兵勇（如正定镇、固原镇、等标、营）亦先后赶到，“兵勇陆续调集，数逾二万”。而此时太平[TaiPing]军“守御已固矣”。至是，北伐太平[TaiPing]军分两个战场与清军[QingJun]作战：北战场，由林凤祥率北伐军主力仍据连镇，僧格林沁围之；南战场，“李开芳在高唐[GaoTang]，胜保围之”（《清代档案史料丛编》第5辑，第212—221页）。

　　李开芳所部太平[TaiPing]军，是北伐军的精华所在，“皆百战精锐”，富有战守经验。况且高唐[GaoTang]州“城内旧为存储军火之所”，加上“地本产硝，淋硝制药之具，城中俱备”，太平[TaiPing]军遂无军火之忧；同时，“城内守御之具色色都全”，粮草也很充裕（《太平[TaiPing]军北伐资料选编》，第643—644页）。这就为太平[TaiPing]军“据城拒守”提供了方便。占领州城后，太平[TaiPing]军“缘城复立木栅，悉用土壅”。此后面对围攻的清军[QingJun]，太平[TaiPing]军将士凭“居高临下之势，随方抵御”。由于“在城上以暗击明”，尤能“一可当百”。清军[QingJun]施放枪炮，太平[TaiPing]军则“以城为避”，而清军[QingJun]“每次伤亡或数十人，或百余人”，“死伤接踵”。此外，太平[TaiPing]军还在城外挖掘深壕三道，于城根开暗门通入壕内，又于第一壕开洞，通至第二壕、第三壕。“壕内伏贼匪十余名，官军枪炮皆不能击。兵勇逾沟，贼即用矛上戳，或用小枪轰击，鲜有脱者”。城门随关随闭，官军只能远远望见而不敢向前，胜保只好每晚派马步队站岗，防备太平[TaiPing]军夜逃；但太平[TaiPing]军伺官军疲乏，便“绕至马队后，抛掷火弹，马队惊逸，每为所戳”；步队稍不留意，太平[TaiPing]军就已至近前，使之猝不及防，而为太平[TaiPing]军刺中。于是在以后数日中，“五日兵勇不为所害，大半月黑夜尤甚”，清军[QingJun]皆视为畏途（张集馨：《道咸宦海见闻录》，第151—152页）。
　　鉴于兵力单薄，太平[TaiPing]军一开始尚未与清军[QingJun]硬拼，而是“在城固守不战，每于风雨昏夜间出城偷营”（《太平[TaiPing]军北伐资料选编》，第646页）。6月1日，官军四面环布，太平[TaiPing]军匿而不出，使官军无可交战。6月3—4日，胜保又组织清军[QingJun]向太平[TaiPing]军进行大规模进攻[JinGong]。当时，胜保亲自督饬兵勇直攻东关，德勒克色楞率部进攻[JinGong]南关，培成、那敷德部进攻[JinGong]西关，三路并进。太平[TaiPing]军经顽强抵抗后，退保州城，城外所筑木栅被清军[QingJun]全部焚烧（《清实录山东史料选》，第1293—1294页）。至6月10日，胜保等复督率清军[QingJun]分队进攻[JinGong]，又被太平[TaiPing]军将士击退，清军[QingJun]“兵勇阵亡受伤者九十余名”。从此，清军[QingJun]一度被迫停止进攻[JinGong]，一面“赶造攻具”，一面“催调兵勇炮位”，以便向城内太平[TaiPing]军发动更大规模的进攻[JinGong]。
　　此后，胜保一面咨调“吉林马队五百名及武城、永固炮位”与济宁州练勇来高唐[GaoTang]“助剿”，一面“奏请拨款接济军饷”，同时更派人制造出吕公车，作为攻城器械。但胜保所造吕公车“又因雨水不能得力”，故在英勇善战的太平[TaiPing]军面前并未起作用。胜保只得“又拟铸造大炮”（同上书，第1297、1300页）。从6月17日至6月下旬，太平[TaiPing]军仍十分活跃，“每次潜出数百人”，连日“乘夜扑扰”，攻击清军[QingJun]，清军[QingJun]战死多人。其中6月20日一战，仅正定镇标官兵即被打死赵连仲等5人（《正定县志》，民国三十年重排本，卷40，第11页）。6月下旬至7月中旬，清军[QingJun]又屡次进攻[JinGong]，以“连日阴雨，枪箭均不得力”，而“环城积水甚深”，每次进攻[JinGong]仍多有伤亡（《清实录山东史料选》，第1296—1297页）。一次，山东巡抚崇恩饬济宁州知州黄良楷“督率济勇，趁风雨之夕，树梯登城”，但很快为太平[TaiPing]军发觉，“执上城者毙之，后遂无敢复登者”（《清代档案史料丛编》第5辑，第215页）。7月19日，太平[TaiPing]军曾乘风雨夜间出城偷营，为官兵侦知，“各勇夜间枕枪而卧”，直至天明。太平[TaiPing]军见无法得手，方动身回城。次日，清军[QingJun]“新到川勇八百余名，以为可以破城”，胜保便“传令不准放枪，亦不准响动，令各勇川勇扒城”，企图偷袭太平[TaiPing]军，一举破城，不料却很快为太平[TaiPing]军察觉。太平[TaiPing]军“枪炮齐施”，结果川勇“死亡受伤百二十余人，各勇亦多损折”，胜保被迫传令即时收队（《太平[TaiPing]军北伐资料选编》，第646—647页）。这一切使胜保不由得哀叹说：“于攻克城池，仍丝毫无把握”（《清实录山东史料选》，第1297页）。
　　7月25日，太平[TaiPing]军又乘胜组织了一次成功的偷袭战。太平[TaiPing]军每扑一处，清军[QingJun]“马队总被冲散，兵勇总有伤亡，甚至大营之后，亦被任意冲扑”，官兵显得毫无准备。先是，太平[TaiPing]军由高唐[GaoTang]城南出击，将吉林马队冲散；继而又由城南绕至城西南袭击清军[QingJun]，兵勇多有伤亡；最后复绕至胜保军营后，不仅冲垮胜保马队，而且将胜保营帐房全行挑烂。官军因此惶惶不可终日。此后，太平[TaiPing]军又“屡出扑扰”，清军[QingJun]时有伤亡（同上书，第1299—1300页）。但在8月10—12数日，太平[TaiPing]军却“坚匿不出，声息全无”，清军[QingJun]也未敢轻举妄动，依旧防守。至8月中下旬间，官军陆续组织了几次进攻[JinGong]，以“炎暑大雨，不利军行，高唐[GaoTang]城外积潦甚深，攻具难施”，兵力又“不敷分拨”，因而“均未得手”。清廷一怒之下，降旨拔去胜保花翎，“以示薄惩”。8月20日，“胜保等督率兵勇攻扑高唐[GaoTang]”，在西北城角，用火箭燃烧太平[TaiPing]军帐房五六架，又开炮击倒太平[TaiPing]军望楼并延烧帐房，太平[TaiPing]军将士被“烧毙、压毙甚多”；与此同时，“其城南一面，德勒克色楞亦亲督各勇，逼近城关”，烧毁太平[TaiPing]军所守城楼。所幸太平[TaiPing]军“先有准备”，奋勇抵抗，终将官兵一一击退（同上书，第1301—1303页）。
　　8月下旬至9月中旬1个月间，胜保屡次挑战，太平[TaiPing]军仍“坚匿不出”。胜保遂将军营向城边移扎，筑起炮台，同时在正北、西北连筑三营，并用大炮向城内太平[TaiPing]军轰击。其中，在9月7日的战斗中，太平[TaiPing]军曾打死清军[QingJun]龙固营把总吴世荣等人。至9月22日，清军[QingJun]“用大炮轰塌城墙二丈”，以“重壕隔之”，太平[TaiPing]军遂“于缺城两旁列枪不发，兵过壕时，点准放枪”，使清军[QingJun]不能攻入。稍后，北伐太平[TaiPing]军虽“不能修城，但于坍墙两旁塞土袋树枝，以为拒守”（《太平[TaiPing]军北伐资料选编》，第656、650页）。9月25日，清军[QingJun]“再合队进攻[JinGong]”，但在太平[TaiPing]军英勇反击下，清军[QingJun]仍未能得手。9月27日，清廷以围剿已达4个月，“仍未能如期收复”，将胜保革职，“仍著督率将弁，迅图克复”。其后，胜保连日进攻[JinGong]，双方“小有接仗”，太平[TaiPing]军坚决反击，使清军[QingJun]“毙贼无多”，却“复有伤亡，未能得手”。10月中旬，胜保又发动一次大规模进攻[JinGong]，太平[TaiPing]军拚死抵抗，伤亡百数十名，亦给官兵以重大杀伤（《清实录山东史料选》，第1305—1309页）。
　　10月26日，清军[QingJun]在高唐[GaoTang]城东北集结重兵攻城，同时在东南、西南、正西三面组织进攻[JinGong]。攻击城东北角的清军[QingJun]，“轰开城垣五丈有余”，“上城兵勇已有四五十名”，“带伤各官屡伤不退”，但最终仍为太平[TaiPing]军击溃。其他三面清军[QingJun]“仅止拔栅树梯”，因太平[TaiPing]军把守甚严，亦“无路可上”，最后也以失败告终（同上书，第1309—1310页）。28日，胜保“选奋勇兵勇，头顶木桌，身带火药数斤，挨至城下，共挖一窟，将火药安放其中，约二三千斤，传令城摧后，各营贾勇而登”。火药爆炸后，炸开城墙数丈，“兵勇直上，冀可得手”，“忽起大风一阵，向兵勇之面扑来，不能张目”。等风稍息，太平[TaiPing]军已有准备，他们在豁口处埋伏多人，“用矛横刺，炮石如雨，不转瞬间，而城缺处已树木栅，不能进逼。兵勇将弁，受伤者七百余人”，最后不得不撤队回营（《道咸宦海见闻录》，第152—153页）。官兵轰塌城墙数丈后，视此处为“进攻[JinGong]之路”。太平[TaiPing]军虽未能及时将缺口堵住，但亦视此为“并力专注之处”，“拒守益力”。因此，11月2日、8日，胜保虽又相继组织了两次进攻[JinGong]，但在太平[TaiPing]军英勇抵抗下，参与进攻[JinGong]的官兵“辄中暗伤”。13日，胜保“亲督兵勇”，改由城西南方攻击，“因地势平衍”，太平[TaiPing]军又“挖壕列栅”，因此，官兵进攻[JinGong]又告失败，不得不仍在东北面进攻[JinGong]（《清实录山东史料选》，第1310—1311页）。

　　11月下旬至12月上旬间，胜保以兵单不敷调拨，一再奏请增援。11月29日，清廷以“高唐[GaoTang]需兵甚急”，又从连镇调拨精兵2000人交副将保衡统带，“克日兼程驰赴高唐[GaoTang]，听候胜保调遣”。与此同时，清廷还下令其他地方抽调兵力，陆续开赴高唐[GaoTang]军营。但当时胜保以自己患病、调兵未到、兵力过劳为由，在很长时间内未敢出队打仗，而仅“挑拨兵勇五千，令其严加防守”。12月中、下旬间，因援军陆续赶到高唐[GaoTang]，清军[QingJun]遂又屡屡发起进攻[JinGong]，与太平[TaiPing]军连日接仗，同时制定了“明挖地道，安用地雷，合围攻剿”的攻城策略。其间，太平[TaiPing]军亦组织过有效的反击，并“乘夜扑营，拉开树栅，抛掷火弹”，烧毁清军[QingJun]炮营帐房。12月16日、17日，太平[TaiPing]军又“屡次出扑”，伺机突围。
　　1855年1月上旬，胜保侦知太平[TaiPing]军西、南两门防守松懈，遂出其不意发动攻击，诱杀太平[TaiPing]军20余人。1月中下旬，胜保复“拟日内挑选兵勇，乘夜进攻[JinGong]”，最后也被太平[TaiPing]军击退。在此期间，官兵虽围攻甚紧，但太平[TaiPing]军仍“未关闭城门，任意出入，兵勇无人过问，每于数十里外，掠抢村庄，劫取粮食”。2月上、中旬，官兵“攻城数次未下”。此间，胜保“连日督带兵勇，进攻[JinGong]西、南两门”，一度直抵城壕，太平[TaiPing]军“一味死拒”，使清军[QingJun]“势难力攻”。此后，太平[TaiPing]军复在城头死守，官兵再三诱之不出，只得另作他图（同上书，第1315—1317页）。3月5日，胜保又欲令济宁知州黄良楷率其济勇、单勇数百人再次向太平[TaiPing]军挑战。当黄良楷在营帐吃饭之际，太平[TaiPing]军突然驰出。被誉为“奋勇智谋之士”的黄良楷惊惶失措，“并勇狂奔”，太平[TaiPing]军焚营帐，将其逃跑时所落顶帽取回，钉于城上以辱之（《道咸宦海见闻录》，第157页）。
　　3月7日一早，胜保督夫新挖地道已成，以为可轰塌圩墙而入，“遂用火药二万斤，以巨篓分载运入，又用棉布缝为药信长袋数百尺，外裹油纸，派定（顺）守备带领夫役运入窟中，逐节安放”。官军方面人来人往，太平[TaiPing]军早已知觉，但度其“地道尚未过壕”，故“知其无成，是以静待”。当时，由于地道内漆黑崎岖，夫役弁兵只能“各携手灯蛇行匍匐，不料地风忽起，将灯吹灭，夫役倾跌，灯芯碰至药筐，一时并著，数十百人登时灰烬”。守在洞口指挥的定顺受重伤而死，连胜保“亦被伤”。当火起之时，太平[TaiPing]军“开城而出，乘势扑杀”，清军[QingJun]“兵士、委员各逃生路”。逃跑中的天津知府崇厚也差点被半空落下来的火篓打死。官军“践踏烧死者，又数百人”。正定及吉林马队及时来救，太平[TaiPing]军见冲围无望，遂又退回城守。事后，太平[TaiPing]军曾“锣鼓并作”，嘲弄官兵的愚笨。而清廷闻报又不免恼火，对胜保再次严旨切责（同上书，第156—157页）。
　　先是2月19日，僧格林沁攻下西连镇，太平[TaiPing]军在林凤祥带领下退守东连镇。3月7日，僧格林沁又攻东连镇，林凤祥被俘，不久就义。因连镇攻克，清廷便“寄谕僧格林沁，命其带兵驰往高唐[GaoTang]督办军务”，并“著僧格林沁至高唐[GaoTang]后，将防剿事务布置妥协，即传旨将胜保拿问，派员押解来京”。3月9日，僧格林沁选带精锐兵勇8000名南下，于11日移营高唐[GaoTang]，将胜保拿问解京。不久，僧格林沁又“命炮队车来，开放五炮，毁去高唐[GaoTang]州城约宽十丈”（《近代史资料》1979年第4期，第50页），给太平[TaiPing]军造成很大威胁。
　　春节前后，高唐[GaoTang]城内太平[TaiPing]军粮草已发生危机。据史料记载：太平[TaiPing]军进据高唐[GaoTang]之始，因粮草尚多，还不怕官军围困；继而，太平[TaiPing]军粮草渐少时，除当地民众送往外，还能通过地道至城外征粮。1854年8月以后，胜保围困愈来愈严，太平[TaiPing]军开始出现“城外接济已断”，“城内粮食渐乏”的状况（《清代档案史料丛编》第5辑，第213页）。11月前后，太平[TaiPing]军尚能“每晚至附近村庄掠粮”，以聊作接济。至春节前后，太平[TaiPing]军粮草将尽，遂再次作出携带火药，乘夜突围的计划，并积极准备付诸实施（《清实录山东史料选》，第1311、1315、1317页）。及僧格林沁接办高唐[GaoTang]军务后，“带着兵勇围攻愈紧”，城中粮草愈加匮乏，使李开芳预感到高唐[GaoTang]恐不能久守（《清代档案史料丛编》第5辑，第168页）。尤其是获悉连镇太平[TaiPing]军覆灭的消息后，既感南来援军无望，更加上“饷道亦竭”，李开芳于是计划突围，以利南返。
　　3月17日夜，李开芳率其部众300余人，“尽弃马匹辎重”，全部步行，从高唐[GaoTang]东门夺围而出，“杀营兵百余人”后，便直奔东南而去，从而结束了太平[TaiPing]天国北伐史上著名的高唐[GaoTang]之役。