除了愈演愈烈的农民起义有一定的规模外，在大隋的天下，地主阶级以及贵族在杨广的南巡后也开始举起反旗，反对杨广。
率先起义的是刘武周，他出身豪富之家。刘武周勇猛迅捷善于骑射，跟强横任侠之徒交往密切。他的哥哥刘山伯曾警告他说：“你不加选择地交朋结友，最终会犯灭族大罪的。”多次辱骂他，刘武周因此离家到洛阳，替太仆卿杨义臣当士卒，应召入伍征讨辽东，凭战功被任命为建节校尉。
东征回来后，刘武周返归马邑，担任鹰扬府校尉负责训练士兵。在他造反的当时，马邑郡的太守是王仁恭，刘武周是他手下的鹰扬府校尉。刘武周是本地土豪，在马邑很有号召力，加之刘武周本人骁勇善战，因此王仁恭非常器重他，让他担任自己的亲兵队长，负责自己的起居安全。不料这亲兵队长的职务给刘武周提供了方便，他竟然与王仁恭的一名侍妾生了私情。
刘武周虽然胆大，却也害怕事情败露，又见天下已经动乱，便暗藏野心，就在郡中散布谣言说：“现在百姓饿得要命，田野上死人压着死人，王太守关着粮仓不愿救济，哪管百姓的死活啊！”用这些话激怒了群众，百姓都渴望泄着愤怒怨恨。刘武周见民心已经动摇，就诈称生病不起床，老家的强横凶顽之徒都来问候，于是他杀牛打酒招待他们，在酒席上他大吃大喝并口出狂言说：“造反才能像这样生活，英雄好汉就要坚守志向，一起死在溪谷山沟也在所不辞。如今仓库里堆积的粟米都要烂了，谁敢跟我去拿来？”这班人都赞同响应。他跟同郡的张万岁等十多人瞅准王仁恭正在处理公务，刘武周假装去禀告事情，张万岁从背后溜进来，在郡厅斩杀了王仁恭。拿着他的首级到号令全城，事先约好的各路豪杰也一起动手，没费什么力气就控制了局面。于是他下令开仓放粮救济贫苦百姓，在郡内送快报，所属各县都归附了他，得到士卒一万多人。刘武周当仁不让，自称太守。参加这次起义的还有后唐初大将尉迟恭。
刘武周起兵的当月，雁门郡承陈孝意、虎贲将王智辩就领兵前来平叛，包围了刘武周辖下的桑乾镇。这时马邑全郡仅有兵力万余人，靠这点实力是不足以自保的。为此，刘武周派出使者向东突厥称臣表示归附。
马邑和雁门是隋朝抵御突厥入侵的北方最前线，突厥多次进攻都被守军凭借地势和城防击退，忽然马邑自己要求归顺，而且又是和雁门守军冲突，如此理想简直就没有理由拒绝。东突厥立即派出援军，配合刘武周一同起反击，结果雁门军溃败，狼狈逃回雁门。有了突厥这个靠山。刘武周乘胜大举扩张，三月，占领楼烦郡，又攻克了杨广的行宫汾阳宫。俘获了大批珍宝和宫女，刘武周就用俘虏的美女珠宝进贡东突厥始毕汗。
攻克汾阳宫是刘武周第一个大胜利，其意义非同小。汾阳宫是皇帝的行宫之一，代表皇帝的尊严。宫内的美女更是皇帝名义上的妾侍，绝对不能得罪，刘武周居然占领了皇帝的整个行宫。甚至将皇帝的女人当礼物送给了突厥，这从任何角度看都是与大隋皇帝势不两立，也是用行动向东突厥表示了高度的效忠。始毕汗大喜之下，立刘武周为定扬汗，并把有狼头图徽的大旗送给他。突厥人是以狼为自己的象征，送刘武周狼头纛那是表示拿他当自己人了。受此鼓舞，刘武周意气风，索性就自称皇帝，把妻子沮氏封作皇后，年号定为天兴。同时任命卫士杨伏念为左仆射，妹夫同县人苑君璋为内史令建立政权。
这时刘武周的地盘还只有马邑、楼烦两郡，于是刚做皇帝的他就努力扩大地盘，全力进攻雁门郡。郡丞陈孝意坚守雁门，拒不投降。雁门城防坚固，易守难攻，当年始毕汗亲自领军将杨广围困于雁门，猛攻31天，雁门城始终巍然不动，最后在隋朝勤王兵马赶到后，突厥军不得不主动撤退。面对如此坚城，刘武周也无奈何，陈孝意又不时主动出击，倒让刘武周吃了几次败仗。不过主动权始终还是在兵强马壮的刘武周手中，刘武周也不强攻，只将城紧紧包围，意图困死雁门守军。陈孝意多次派人突围求救，但是皇帝杨广远在江都，陈孝意的上级李渊又心怀叵测，根本没人理他。围困一百余天后，雁门终于粮尽，陈孝意本人是绝对的忠臣，誓死守土，但他的部下们并不都愿意随他殉国，眼看粮尽援绝，部将张伦就暗了杀陈孝意，开城投降。
此时的刘武周已经不是刚起兵时的区区万余人马了，以称得上兵强马壮，其势力在北方一时称雄。势力大了之后，刘武周也是有烦恼的，烦恼的就是他的主要部将都是当年的马邑土豪，没有那种天下格局、统帅一方的高级军事人才，直到有大将之材的宋金刚投靠了他。
宋金刚原是河北的一支义军首领，部下有万余人。当时河北最大的两支势力是窦建德和魏刀儿，宋金刚是魏刀儿的结义兄弟，自然属于魏刀儿的势力。同在河北混的窦建德和魏刀儿终于一山难容二虎而生火并，窦建德假装结盟麻痹住魏刀儿，然后突然袭击将魏刀儿擒杀。宋金刚在得知结义兄弟遭窦建德偷袭，立即起兵去救，但到达时魏刀儿已战败身亡，宋金刚的救援部队也被窦建德击败，只余四千人逃走。窦建德非常欣赏宋金刚的才能，派人前往招降，结果宋金刚心痛结义兄弟之死，坚决不降，把使者痛骂一顿后赶