太平军攻城一天毫无进展，冯云山前来拜访李云中，希望借点炸药用于炸毁城墙，李云中派爆破营跟着冯云山去了，两个时辰后，爆破营就回来了，原来桂林城下全是岩石什么的，挖不动。
9月8曰，一路尾随追击太平军的广州副都统乌兰泰率军到了桂林南郊的将军桥。远远看到乌都统的旗帜，桂林城楼上的向荣心里高兴啊，暗想这下有救了。
李云中命令第二军前去截击，张遂谋用了在永安城缴获的前膛炮，一炮就炸伤了跑在最前面乌兰泰的大腿，后面跟着往前冲的粤军吓得掉头就跑，只留乌兰泰一个人在桥上呻吟，挣扎着向后面爬，留下一条触目惊心的血迹。张遂谋看着乌兰泰身穿官服，叫人把他抬了下去，因伤势过重而死。
这一幕，让在城上的向荣看的心拔凉拔凉的，也让龟缩在桂林城内的清军陷入了深深的恐惧当中，太平军士气大振，攻起城来越发猛烈于是乎，在阵阵硝烟掩护下，太平军众将士架设云梯，头扎好的方桌，奋勇攻城，就连妇女、儿童都在一旁呐喊助威。9月15曰，西门、南门、文昌门激战不断。18曰，太平军在象鼻山架起猪仔炮轰城，知府衙门中炮，吓得知府躲进了水东门附近的会馆之中，向荣看着不少官兵偷偷的往后缩，赶紧激励士气，大声喊道：“城上的官兵每人每天赏银一两，杀贼寇一人，赏银五两。”守城清军当真眼红了，他们大多是一帮穷苦百姓，是被强逼上来，迭施枪炮、火罐、滚木、擂石，还有泼开水、烫粥、滚油。一时间城内城外炮声隆隆，响震山谷。
太平军将主力六千人沿西门、南门、文昌门外一线扎营，形成了对省城桂林的半月形包围。期间几次命令、邀请李云中一起攻城，都被回绝，只得到不让清妖援军靠近城池一步的承诺
9月20曰，清军屡次受挫后，又从湘、黔、川、豫、滇、闽、粤、徽、苏、桂等十省调来了三万多援兵，企图将太平军聚歼于桂林城下，李云中率全军先一步到达漓江北岸，并劝太平军撤退，李云中趁清军立足未稳，发起攻击，率先攻破清军前锋，溃兵又朝大营冲去，清军大营变得混乱起来，连辎重都抛弃掉，仓皇逃跑。李云中领大军继续向北，直奔广西最北边的全州，傍晚全军就抵达全州城下，李云中命人在城下扎营，也不攻城，全州城高墙厚，又穷又没有战略价值，李云中也不想白费功夫。
全州知州和知县在城内可担惊受怕一夜，毒药都准备好了，城内只有600守军，就算强行征发百姓，也不过2000余人，城下有几万反贼，不用几天，就得被破城。
向荣站在城墙上看着援军陆续进城，踌躇满志，太平军连夜仓皇逃窜，如此大功，不知朝廷如何奖赏，越想越是兴奋，提督已是一品官，恐怕是要晋封爵位和虚衔，太子少保？哈哈。
赛尚阿听说太平军正在攻打桂林，立即从永安移营荔浦，一天后由荔浦移营阳朔，赛尚阿坐拥重兵30000人，赖在阳朔寿阳书院，距省城130多里，就是不敢亲自回省城指挥作战，并一再以“身体多病”上奏，希图推卸责任。直到9月26曰才从阳朔到桂林，那时太平军已撤离桂林一个星期了。
江忠源可谓对赛尚阿失望之极，畏敌却战、推诿责任……听说太平军已从桂林移师北上，进军湖南，生怕他们回去祸害新宁，也不请示赛尚阿就带着楚勇追赶太平军。
“圣旨到”向荣兴奋的看着前来传旨的太监，率桂林官员跪下接旨。
只听那太监念道：“向荣有负圣恩，畏敌却战、谎报战功，将其革职，贬为庶民，容许其在军中戴罪立功。”
精力俱疲的向荣只听得心灰意懒，待太监念完圣旨，他连圣旨都忘接了，步履蹒跚的走到屋里收拾东西，准备回家养老。
张国梁追上去，扶住向荣，道：“军门，你没事吧，这朝廷是怎么了，有功的不赏，贻误战机的也不罚。这还让我们怎么剿匪。”
向荣喝道：“闭嘴，朝廷是你可以诽谤的，这必定是小人在皇上面前进了谗言，你要留在军中好好的效力。”
“那你这是要……”张国梁看着心灰意冷的向荣问道。
向荣拍了下他的肩膀，摆了摆手，不理愣在原地张国梁，走开了。
李云中赶到蓑衣渡，只见河水深不见底，将收集来的船只运送将士过河，待全军过河后，船只被太平军先锋接管。
自从秦始皇下令修建灵渠，沟通湘江和漓江之后，湖南和广西就相互影响了，特别是兵荒马乱的时候，义军在省内站不住脚的时候，就往邻省杀去。
大军一进入湖南，就进入零陵府的地界，零陵府知府见大军围城，，军队都被调往广西去了，城内只有300守军，赶紧打开城门，鱼窜鸟飞，朝衡阳逃去。
这让李云中惊喜交集，自起兵以来，还没见过守城将领弃城而逃的情景，看来湖南并周边几省的军队都被调往广西去了。李云中在零陵府成立大汉政斧，自任汉王，打出“驱除鞑虏，恢复中华”的政治口号，并要军队每到一地就宣布“耕者有其田，免税三年”的口号。
第一军向道县进攻，第二军向桂阳方向行军，李云中率第四军和剩下的人暂时留守零陵府，考虑下一步的计划，以及打听太平军的情况。
驻守在道州的湖南提督余万清见大汉军来攻，赶紧的带着家人逃窜，第一军兵不刃血的就占了道州。