太宗命知边事、晓敌情的杨业担任知代州兼三交驻泊兵马部署之职，就这样，杨业成了潘美的部下。潘美与宋太祖的关系非同寻常，于公来说，潘美是宋太祖攻荆湖、讨南汉、灭南唐、征北汉的大将，为宋太祖立下过赫赫战功；于私来说，潘美之女嫁给了太宗的儿子赵恒为妻。自此，杨业的生与死、荣与辱都与潘美息息相关。
公元916年，杨业担任代州刺史之职，负责镇守代州。他深知雁门关是代州的咽喉所在，因而上任以后下令加紧修筑雁门、大石等关寨，使代州的军事防御力量大大地增强了。
代州位于天寒地冻的北方，冬天时人们身穿皮毛服装来取暖，而杨业丝毫不怕冷，身披一袭棉衣，在露天下处理军务。侍卫们冻得都要倒仆在地了，杨业却怡然自乐。杨业处理军务时干净利索，平易近人，对部下常常施以恩惠，因此他所率领的士兵都愿意为他效力。
当时，辽国和宋朝之间的战争不断。
公元980年，辽将耶律沙、耶律斜轸等人率领十万军队，向雁门关扑来。雁门位于代州的西北处，是宋朝防御辽军的重要门户。如果雁门失守，代州就非常危险了。
此时，宋朝负责守卫雁门的杨业手中仅有几千兵马。杨业深知，以自己目前所率领的几千人马根本不能与十万辽军硬拼。如果自己率兵与辽军进行正面交锋，辽军的骑兵就可以充分发挥优势。因此，要想在此战中取胜就必须智取。
杨业对自己的守地了如指掌，他认为雁门关东、西两面都是险峻的山地，只有中间有一条盘旋曲折的山路，雁门关就在雁门山的绝顶之上。
辽军骑兵在经过这段山路的时候，只能鱼贯而行，队伍不能展开，一旦在这里发生战斗，辽军骑兵不但无法发挥人多的优势，也无法发挥骑兵的威力。
杨继业命大部分人马坚守代州，亲率几百骑兵，顺着小路，绕到北口，从辽军的背后发起进攻。辽军一路南下，势不可挡。突然，背后烟尘滚滚，喊杀声四起，有一支骑兵似猛虎出山一般，冲了过来。辽军顿时大乱，吓得晕头转向，不知道究竟有多少宋军杀来，四散而逃。
杨继业率骑兵一路砍杀，杀死了很多辽兵。
杨业在此战中以数千人对十万人的悬殊比例获胜，究其原因在于他充分利用了熟悉的地形，守住了要害位置，然后从背后出其不意地袭击辽军，使辽军首尾不能相顾，无法发挥骑兵的优势。
此役，杨业将辽将节度使、驸马侍中萧咄杀落马下，活捉了马步军都指挥使李重诲。辽军主帅耶律沙、耶律斜轸落荒而逃。
从此，杨继业的威名远扬，有"杨无敌"之称。辽兵只要看到了带有"杨"字旗号的宋军，就远远避开。
这件事引起了一些将领的嫉妒。主将潘美曾经上奏宋太宗，讲了杨继业很多坏话，但是太宗一方面为了显示自己对杨继业的信任，一方面也为了让杨业知道他的一举一动都有人汇报，命人把奏章封好送给杨继业。