吕端和兄长吕胤（后因避讳宋太祖名讳，改名余庆）都凭借父亲的官职特权，先后荫补入仕。吕胤以后进入赵匡胤幕府，参与了陈桥兵变，成为宋朝开国功臣，在宋太祖时代官至参知政事，属天子身边的亲信。而吕端踏入官场后，也很快熟知了许多的明规矩潜规则。不过与常人相比，这位富家公子往往不计较长短，不在意得失，一句话便是缺乏急功近利之心，因此不免给某些精明者留下糊涂的印象。
    本朝建立时，年方25岁的吕端调任浚仪县（今河南开封）知县，也就是都城直辖县的长吏，位处天子脚下。以后，胞兄在朝中的地位多少使他受益，遂顺风顺水，一路从知县做到知州。有一年，朝廷派遣使臣出使辽朝，他被选出担任副使，因他当时的官阶不够，还被特别假以更高的太常寺少卿的官名履职。到太祖皇帝晚年，他已出任西南重镇成都府的知府。须知，蜀地人烟稠密、物产丰饶，从来是称王割据的宝地。宋初以来，此地时常动荡不安，故非朝廷极信任者不能到此就任。到开宝九年（976）兄长因病故去时，他已41岁，不能说政治上完全成熟，倒也深明大义，懂得了政坛的基本路数。
    吕端的性格决定了他从政的特点，便是为政宽简，抓大放小，所到之处上下相安，百姓也免了不少折腾，故官声口碑颇佳。
    太宗皇帝登基后，皇弟秦王廷美出任开封府尹。亲王挂名首都长官，自然不可能亲自料理各种庶务，朝廷须配置得力官员予以辅佐。于是，吕端被朝廷相中，从成都召回京城，出任开封府判官，成为京师地面上的实际管事者。
    上面说过，太宗以非常手段登上宝座，出于巩固皇位的需要，打出了金匮之盟的旗帜，秦王廷美一时加官晋爵，并沿袭太宗过去的惯例，挂帅开封府。但老练的政治家早已洞悉其中的隐情，且不说赋闲在外的元老大臣赵普猜到个中内幕，看起来糊涂的吕端也明了此间的微妙之处。话说回来，他毕竟是有底线的人，既在其位就要谋其政，不能怕棘手便袖手旁观，既要尽本分，也要对自己的顶头上司能帮就帮。
    太平兴国四年（979）二月，天子亲征北汉前夕，考虑委任秦王为京师留守，负责内部一应事务。当幼稚的廷美打算接受如此重任时，吕判官立即私下劝说道：陛下不顾风雨辛劳，吊民伐罪，殿下乃天子至亲，应当做扈从皇上的表率，若就这样留在京城，怕是不合适的。听罢如此肺腑之言，秦王马上明智过来，便恳求随驾出征，就此赢得了太宗的好感，答应了这一要求。此举足以说明吕端在大事上的清醒程度，非常人可比。
    有道是，自古在京城当官都是件不易的差事，且不说当年皇亲国戚、公卿百官定居于城内，还有各种来头的人也都群聚于斯，稍不留意，就立马惹来议论，弄不好还反映到宫里。故吕端在开封府的日子，总少不了高高低低、七七八八的事情。不过，他忙碌归忙碌、操心归操心，却是习性不改，但凡遇见细碎琐事，多大而化之，或交由下属处理，有时实在抹不开面子就随口应承。因此在朝臣中留下办事糊涂的看法。这样的糊涂，有时不免要付出代价。
    时间久了，秦王府内一些亲随人员熟知了吕判官的脾气，便找他通融办事。对上司身边的人，他不能不给点方便，于是发生了贩卖违禁货物的事。此事举报出来，天子就借机敲打威胁皇位继承人秦王，于是下诏查办。吕端因此遭到惩罚，被连降几级，贬为商州（今属陕西）司户参军。殊不知此次贬官，却意外地使他及时脱离秦王府的圈子，避免了日后的危难，还成就了一番功业。
    二
    宋朝政坛的规矩还有值得称道的地方，官员只要没有重大罪行，遭贬之后总有复出的机会，这在中国历史上相当突出。吕端贬谪外地后，不急不躁，淡然处之，时过境迁，也就被宽恕了。不久，他便获得迁转，先后在地方州衙、中央御史台及太常寺任职。
    吕端自幼聪颖好学，成年后属于有大智慧大聪明的人。他自知无科举功名，学养欠缺，与当日政坛讲究科举出身的潮流不符，于是一面自己读书，一面虚心求教他人。据记载，他入仕之初虽官位不高，却因家底殷实，已开设专门的厨房，招揽文人食客，谈古论今，讲经论典，以弥补早年学业不足的缺陷，这一习惯一直保持多年不变。如此一来，随着学识的不断提升和阅历的日渐丰富，加上为人宽厚沉稳，练达人情，他在政治上迅速成熟起来，从而受到高层的关注。
    当朝廷讨论派使臣赴高丽国时，吕端再次入选。此时他的官阶已够，自然成为正任使节。在出使途中，暴风一度吹折了帆樯，船夫们惊恐起来，他却镇定自若，如往常一般照旧读书，如此豁达气概，令同行者钦佩不已。回朝之后，他的表现想必给天子留下深刻印象，于是不久就被钦点为皇储身边的属官。
    自皇弟廷美和皇侄德昭被逼死后，天子就开始考虑自己的继承人。太宗共有九个儿子，长子元佐最早被作为太子培养，先后册封为卫王、楚王。但当秦王廷美遭到父皇迫害时，这位皇嗣对官员们群起围攻的做法深为不满，不谙世情的他曾孤立无援地为皇叔求情，却无法说动父皇，为此他深感痛苦，郁闷不堪。当秦王冤死荒山的消息传入京城后，他受到刺激，悲痛欲绝，精神失常，以至于持刀随意伤人，甚至纵火焚烧宫室。雍熙二年（985）九月，天子眼见楚王不可救药，只得将其废为庶人。此事对太宗的心理打击不小，也算是一种报应。