兼并河北
柏乡之战后，李存勖决定暂缓对后梁的攻势，先夺取河北地区，以消除后顾之忧，首要目标便是囚禁父亲刘仁恭而继任幽州节度使的燕王刘守光。他采用骄兵之计，联合成德、义武、昭义、振武、天德五镇，遣使奉册，共尊刘守光为尚父，以滋长其野心。刘守光却以为六镇是畏惧幽州兵威，更是骄狂。他得知尚父无权祭天、改元，不顾幕府诸将反对，于天祐八年（911年）八月在幽州悍然称帝，国号大燕，史称桀燕。是年十二月，李存勖命周德威兵出飞狐口（在今河北蔚县），联合成德镇、义武镇一同征讨刘守光。
天祐九年（912年），周德威夺取涿州，进围幽州。刘守光忙向后梁求救。朱温亲率大军北上，命杨师厚围攻枣强，又命贺德打蓚县（治今河北省景县）。但梁军虽攻破枣强，却在蓚县被晋将符存审、史建瑭击败。朱温羞愤发病，返回洛阳，不久便被其子朱友珪弑杀。
天祐十年（913年），朱友贞发动，诛杀朱友珪，夺取帝位，史称梁末帝。而晋军则连夺幽州镇统辖的顺州（治今北京顺义）、檀州（治今北京密云）、武州（治今河北宣化）、平州（治今河北卢龙）、营州（治今辽宁朝阳）等地。是年十一月，李存勖亲征燕国，攻破幽州，俘获刘仁恭（一直被刘守光囚禁）、刘守光父子。他留周德威镇守幽州。
天祐十一年（914年），李存勖返回太原，处死刘仁恭父子，以祭奠李克用。当时，李存勖南破后梁，北定桀燕，威震天下。王镕、王处直相继遣使入晋，共推李存勖为尚书令。李存勖依礼三辞，而后接受尚书令之职。他在太原开设霸府，建立行台，以唐朝皇帝的名义承制任命官吏。
天祐十二年（915年），魏博节度使杨师厚病逝。梁帝朱友贞趁机将魏博镇分为两镇，以削弱藩镇势力，结果引发魏博兵变。变兵囚禁新任节度使贺德伦，请降于晋。李存勖乘势进占魏州（治今河北大名东北），并处死变兵首领张彦等人，以威慑兵变士卒，稳定乱局。他收魏博牙兵为亲军，亲自兼领魏博节度使，随后又攻取德州、澶州（治今河南清丰西）。是年七月，李存勖进兵莘县，与梁将刘鄩展开对峙。
天祐十三年（916年），李存勖声言回师太原，以引诱刘鄩出战。刘鄩果然中计，欲趁机夺回魏州，结果遭到李存勖、李嗣源、符存审的三面夹击，在元城一战中全军溃败，逃奔滑州（治今河南滑县）。此后，李存勖又遣军接连攻取卫州（治今河南卫辉）、洺州（治今永年东南）、相州（治今河南安阳）、邢州（治今河北邢台）、沧州、贝州（治今河北清河西）等地。黄河以北除黎阳（治今河南浚县东）一地外，全部被晋国占领。梁晋形势从此发生逆转。
天祐十四年（917年），寿州刺史卢文进叛附契丹，并引契丹军南下。契丹皇帝耶律阿保机亲率五十万大军，入寇幽州。守将周德威孤军坚守幽州，同时遣使向李存勖求援。李存勖遂命符存审、李嗣源、阎宝统领七万步骑，北上救援。是年八月，李嗣源率援军抵达幽州城外，大败契丹军，解除幽州之围。此战，晋军俘斩以万计，缴获牛羊、辎重无数。