今山西北部地区，历史上长期为胡汉杂居之地，也是交战频仍之区，特别是在唐末五代之际，以当地李氏沙陀人为核心的武装集团能征惯战，先是助唐天子打击黄巢造反农民军，以后干脆入主中原，草创后唐王朝。于是，一时河东的胡汉男子蜂拥而起，从军如云，视军功为安身发迹要途，呼延琮、呼延赞父子自不例外。
    受到家庭环境与当地民风的熏染，呼延赞自幼习武，练就一身过人的功夫，年轻时便已从军，成为一名骁骑军的骑兵。正是因缘际会，这支队伍归属后周禁军统帅赵匡胤统辖，因此他在行军作战中的表现，自然受到未来宋家天子的留意。宋朝开国后，太祖皇帝因赏识这位士兵的强健勇敢，遂将其调入近卫部队，并很快提为殿前司东班承旨，也就是进入天子的宿卫诸班直卫士队列。而诸班直的卫士，通常非武艺绝伦者不得入内，由此足见呼延赞体质与武功之超群。
    据说，呼延赞因追慕唐初胡族名将尉迟敬德，遂自称小尉迟。这一名号就此传出，其后流传甚广，也为后世话本提供了素材。
    宋初，朝廷倾力征剿各地的割据势力，因此大批军队投入战场，呼延赞也被派往前线，参加了讨伐盘踞四川的后蜀之役。他作为前锋部队中的一员，冲锋陷阵，一路拼杀，结果身负多处创伤。战后，他因功升为骁雄军的一名副指挥使，并返回京师继续承担卫戍职责。这得说明，按照宋朝军制的规定，营级编制辖有五百士卒，以正、副指挥使来统领，也就是说呼延赞属于骁雄军中的营级副官。
    寻常的驻防工作不显山不露水，这位强悍的军官便难有用武之地，其能力便湮没于单调的练兵之中。故一直到太祖朝末年，呼延赞的军职都没有变动，始终停顿于下级军官之位上。
    舞剑盘槊的功夫
    一个人的命运起伏，既与自身的资质能力和所处的环境形势脱不了干系，也往往与偶然的机遇有关，政界军界人士更是如此。
    所谓一朝天子一朝臣。宋太宗登基不久，为了迅速控制兵权和笼络军心，就亲自出面考选禁军将校，以提拔一批效忠自己的武将。不用说，高级将帅首当其冲，而身居下位的军官也有了出头的机会。这一次，呼延赞因表现出众，被选为铁骑军指挥使，也就是由副转正，并调入更重要的一支骑兵队伍。从此，他开始踏上了军旅生涯的快速干道。
    太平兴国四年（979），太宗皇帝亲征北汉，呼延赞随同大军出征。在行军途中，这位武将身骑乌骓马，手持重达数十斤的多种自制兵器，铠甲衣装也不同寻常，又将额头涂成绛红色，令人望而生畏，也不免使人感到怪异。宋太宗目睹后，甚感不快，觉得诡异惑众，曾有过将其斩首的念头。在围攻北汉都城太原期间，呼延赞如同一头出笼张牙舞爪的猛兽，冒着刀枪锋镝冲锋在前，先后四次攀上城堞又坠下云梯，但全无惧色，依旧不顾死活地拼搏。天子闻听，大为惊叹，就此打消了此前的恶感，于是当面赐予金帛以示嘉奖。
    灭亡北汉后，宋朝大军继续北伐辽朝的行动功亏一篑，天子只得下诏班师，暂时屯军防守河北要地，此事前面已经说过。呼延赞随大将崔翰驻守于定州（今河北定州市），在随后抗击辽军进攻的活动中，他当然还是勇于拼杀，因此被主帅奏报到朝廷。此时，正是抗辽和筹划继续北伐之际，良臣猛将自然受到朝堂的关注，呼延指挥使遂被先后提拔为马军副都军头、内员寮直都虞候。他获得的这两个军职都属骑兵武官头衔，而后者更是宿卫皇帝的骑兵诸卫队之一的长官，能就任此职想必与太宗的印象深刻有关。
    雍熙三年（986），朝廷发动的第二次北伐又告失败。在这次三路伐辽军事活动期间，呼延赞作为负有宿卫职责的武官未能参加，失去了纵马挥戈疆场的机会。翌年，他升迁为马步军副都军头。还得说明，当时的马步军头司属禁军中的闲散机构，副都军头即为副长官。不过，呼延赞挂此官衔便标志着已跻身中级武将行列。根据他五代末从军时的年龄来推算，此时他四十七八岁。
    官爵地位的提高，肯定令人欣喜，由此带来的功名利禄之类好处自不须多说，呼延副都军头至此已超越父亲，算是将门有后，也可光宗耀祖。但这位执拗的将军却是志不在此，一心向往金戈铁马的沙场，内心炽热的血性总难以抑制，若就此过起闲散舒适的日子，又何必多年持续不断地苦练武功和研习作战阵法？于是，他主动向天子献上自己琢磨出来的作战阵图、用兵要略以及安营扎寨之法，同时请求赴边关任职。太宗皇帝看到这些后，心有所动，便决定专门召见这位武将。
    呼延赞接到入宫的通知后，想必异常激动，他精心准备，要抓住这次机会，通过展示自己浑身的解数，以表达武将们不甘屈服的决心。他还有四个儿子：长子必兴、次子必改、三子必求和四子必显，在他的亲自训练下个个都身手不凡，也有必要引荐给君王。于是，他带着儿子们全副披挂来到皇宫。在宫廷的大院内，天子下令呼延将军表演武艺，他身披全副盔甲，跨上战马，双手先后挥舞着两条铁鞭和一支枣形钢槊往来奔跑，时而疾驰，时而击杀，确是威风凛凛，锐不可当。他自己结束演示后，又请求陛下给予恭候在外的几个儿子操演的机会，得到太宗的欣然同意。呼延赞的四个儿子也全副戎装，先后都演示了一身的刀剑、矛槊的功夫，史书称迭舞剑盘槊。真是虎父无犬子，天子对呼延父子满门的武功自然赞叹，遂当即赏赐白银数百两，并赐给四位年轻人每人一套衣带。