马大山和郑占方四处打听才知道吕半仙住在县城西南方向的四门洞里，虽然吕半仙在沂水城也算是小有名气，但他的住址却鲜为人知，也许是隔得远的缘故，每次出事的时候，吕半仙都会自己突然出现在事主的面前，这也是他神乎其神的主要原因之一。
吕半仙这人平时自诩是八仙老大的吕洞宾的后代，逮着谁就和谁吹牛，说他的祖先当年带领七个手下，从东海拿着砍刀一路砍到南海，所过之处，鸡飞蛋打，最后逼的四海龙王不得不每月交纳保护费。
这段故事虽然被吕半仙描绘的绘声绘色，但大家也只相信它是一段故事，而吕洞宾的另一段故事，在民间却广为流传，其中也关联着商会会长刘天耀和他的刘南宅。
据说吕半仙现在居住的四门洞就是当年吕洞宾修道的地方，也是他和白牡丹搞对象的地方。当年的吕洞宾一见到白牡丹，口水流了一地，假装熟人去拍人家肩膀，没想到真拍到白牡丹心里去了，从此之后，一仙一妖便你侬我侬，海誓山盟。
话说离四门洞不远的地方有一个寺院，名叫望仙院，里面的主持是一个老和尚，道行不在吕洞宾之下。
这一天，老和尚掐指一算，心中嘿嘿一笑，从蒲团上跳起来，蹦蹦跳跳地跑向四门洞。
四门洞外，吕洞宾和白牡丹正相依在一起聊人生，谈理想。看到老和尚前来，吕洞宾急忙前去迎接。
老和尚行礼道:“贫僧稽首了。”
吕洞宾也拱手道:“贫道还礼了。”
两人行礼毕，老和尚突然指着白牡丹的肚子大叫，“哇！有没搞错，非法同居，未婚先育，被官府捉到是要罚款的，要是不交钱，官府会先找地痞把你捉起来，关到异地他乡的小黑屋里，整天毒打你，逼着你把钱缴出来。”
“这么严重？”老和尚的一番话把吕洞宾吓出了层层细汗“那我该怎么办？”
老和尚嘿嘿一笑，摸着下巴的白胡须，“其实也简单，这事嘛！天知，地知，你知，我知，只要能把我的嘴堵住，什么事都不会发生。”
吕洞宾一听，感情这老和尚在敲诈他啊！勃然大怒道:“好你个死秃驴，敢来讹诈于我，让你看看我的厉害。”说完，吕洞宾当即运作全身神力，周身仙气奔腾呼啸，瞬间汇聚指尖。
只听得吕洞宾大喝一声，“呀……”
噗……
手指没入身边的大树，大树树干上留下一个小洞，吕洞宾哈哈大笑:“知道我的厉害了吧？”
老和尚冷哼一声，不甘示弱，口中诵咒，金光罩顶，佛法护体，右手抬起，速度如电似掣。
噗……噗……
树上又多了两个手指插的黑洞。
就这样，两人你来我往，插来插去，插了整整三天三夜，把四门洞外的大树插倒了个遍，也未能分出谁胜谁负。
老和尚见斗他不过，回去后写了一纸诉状送至天庭，揭发吕洞宾违反天条，仙妖相恋。字里行间还隐约威胁天庭，倘若天庭护短，自己也要找个女妖精来个旷世绝恋，并且也不还俗，带着和尚的身份一边念经一边行男女之事。
天庭震惊，连如此德高望重的老和尚都能拿自己的名望威胁天庭，可见吕洞宾实在过分，于是毫不犹豫，降下天劫。
吕洞宾为躲天劫，算出本地有一人为日后的吏部天官，姓刘名应宾，若是找他帮忙，躲过特定的那个时辰，灾祸可免。
既以算出渡劫的方法，吕洞宾立即前往刘家求助刘应宾。刘应宾问他如何助之躲过天劫，吕洞宾回答躲进刘应宾写字的笔内。刘迎宾见吕洞宾块头这么大，他的那支上等的狼毫笔这么细，岂不是要被他撑成碎末，这还是他每晚给老婆抠脚心，每抠一百下一个铜板换来的，如何能让吕洞宾这般糟蹋了，于是将上等狼毫笔藏起来，换了一支普通的毛笔，不过这并不影响吕洞宾躲过天劫。
据说天劫那天，吕洞宾化作小虫钻入刘应宾的笔内，时辰一到，无论外面闪电滚雷，还是狂风暴雨，刘应宾都没有放下毛笔，一直在不停地书写。另有野史那些小道消息记载，当时雷神还变化出几个少女勾引刘应宾放下手里的笔，但刘应宾只是擦了下额头上的汗，还是不停地书写下去。
天劫时辰过后，天庭鸣金收兵，天兵神将只能回去复命。吕洞宾从毛笔里钻出来，对刘应宾又是作揖又是感谢的，可刘应宾站在书桌前面一句话也不说，手拿毛笔悬在半空不停的颤抖。
吕洞宾上前查看，见刘应宾写了满满几大张的纸，全都写的是一句话，“上还是不上……上还是不上……”过了好长一会儿，刘应宾方才缓过神来，哭丧着脸说道：“一辈子都没见过这么漂亮的女人。”
吕洞宾为报答刘应宾的救命之恩，帮刘应宾修了刘南宅，用太极八卦之法封印，别说是妖魔鬼怪，就是苍蝇蚊子不让它进来，它也休想飞进来一寸。而后，吕洞宾又请了八仙之一的铁拐李在大堂的墙壁上画了《日月星辰图》。铁拐李画好后嘱托刘应宾过了七七四十九天后方可打开，不过刘应宾的家人太过好奇，时间未到，便将大堂的门打了开来，里面墙壁上的日月星辰如同真的一样，惟妙惟肖，可谓壮观。只可惜图未成形，仙气很快流失，短短一炷香的时间后，《日月星辰图》化为灰尘从墙上脱落，消散到空气之中去了。
没过多久，刘应宾中了进士，刘家也日渐兴盛。以后数百年来，刘南宅代表的是千顷浩荡的土地和强大鼎盛的家族势力，其子孙们曾经以“从沂水到临沂，喝不了人家的水，踩不了人家的地”而沾沾自喜，而且每一代宅主都在朝廷里担任要职，地位显赫，非同一般。
而数百年下来之后的今天，刘南宅传到了刘天耀的手里，虽然日渐式微，刘天耀也未在政府部门任职，但其在商界的地位却是影响甚大，无可撼动的，以致于蒋委员长都会派人到府上登门拜访，其厉害程度，由此便可见一斑。