在童年时期，男孩儿们总是取笑马斯克不同寻常的名字。这个名字最早来自于他的外曾祖父约翰·埃隆·霍尔德曼。约翰出生于1872年，在伊利诺伊州长大，后来又来到明尼苏达州生活。在那里，他遇到了后来的妻子，比他小五岁的阿尔梅达·简·诺曼。1902年，夫妻二人在明尼苏达州中部小镇佩科特的一间小木屋里安顿下来，并生下了儿子约书亚·诺曼·霍尔德曼，也就是马斯克的外祖父。约书亚后来成长为一个古怪又特立独行的人，并最终成为马斯克心中的偶像。[1]
约书亚·诺曼·霍尔德曼小时候是一个体格矫健且独立的男孩儿。1907年，他们举家搬到萨斯喀彻温省的草原。在他刚满7岁的时候，父亲就去世了，于是他便开始帮忙维持家庭生计。约书亚很快就学会了开垦荒地、驯养野马、拳击和摔跤，经常因为帮助当地农民驯马而受伤。他还组织了加拿大第一支牛仔竞技表演队。在一张全家福中，约书亚穿着挂满饰物的服饰，表演牛仔甩绳套的技能。十几岁的时候，约书亚来到艾奥瓦州，并在那里的帕尔默按摩学校（Palmer School of Chiropractic）获得了一个学位，然后又回到萨斯喀彻温省当了一个农夫。
在经济大衰退袭来的20世纪30年代，约书亚陷入了金融危机。他无法偿还用来购买设备的银行贷款，导致5000亩土地被查封。“从那时起，父亲不再相信银行，并且不再存钱。”斯科特·霍尔德曼说。他后来获得了和父亲同一所按摩学校的按摩师学位，并成为世界顶尖的脊柱病治疗专家。1934年，失去农场的约书亚开始四处漂泊，而几十年后自己的孙子也重复着这种生活。斯科特身高6英尺3英寸（约1.9米），在成为一名按摩师之前，做过诸如建筑工人和牛仔竞技表演者等各种工作。[2]
1948年，约书亚娶了一位加拿大舞蹈老师温妮弗雷德·约瑟芬·弗莱彻（温），并成立了一家欣欣向荣的按摩诊所。那一年，在有了一对儿女之后，他们又迎来了双胞胎女儿卡耶和梅耶——也就是马斯克的母亲。孩子们住在一幢三层楼高，有20个房间的大房子里，里面还有一个舞蹈教室，温可以在那里继续教舞蹈。约书亚不断尝试新的事情，开始学习驾驶飞机并购买了私人飞机。据说约书亚和妻子把孩子放在那架单引擎飞机的后座上，带着他们在北美洲大陆四处游历。
约书亚会经常驾驶飞机出席各种政治活动或者与按摩相关的会议，后来还和妻子合写了一本书，名为“飞行的霍尔德曼家族：可怜一下这个穷苦的飞行员吧”（The Flying Haldemans：Pity the Poor Private Pilot）。
1950年，当约书亚似乎已经拥有一切的时候，他却决定放弃一切，准备重新开始。这个医生兼政治评论家长期抨击加拿大政府作风官僚，爱管闲事，干扰个人生活。作为一个在家里禁止说脏话、吸烟，不许喝可口可乐，不许食用精制面粉的男人，约书亚认为加拿大的道德已经开始堕落。此外，他还有蠢蠢欲动的冒险渴望。于是几个月之内，一家人卖掉了他们的大房子、舞蹈教室和按摩诊所，决定搬往南非——一个斯科特从来没有去过的地方。斯科特·霍尔德曼还记得，他曾帮助父亲拆解了一架1948年制造的贝兰卡（Bellanca Cruisaire）飞机，并打包装进木箱里，然后运往南非。到了南非之后，他们重新组装好飞机，然后驾驶飞机横穿整个国家，去寻找适合居住的地方。最后，一家人终于在比勒陀利亚定居下来，并重新开了一家按摩诊所。
这个家庭的冒险精神似乎是无穷无尽的。1952年，约书亚和温驾驶飞机完成了一次2.2万英里的往返旅行，从非洲北上一直飞到苏格兰和挪威。温没有飞机驾驶执照，她大部分时候担任领航员，但有时候也会自己驾驶。1954年，这对夫妻的驾驶事业达到顶峰，他们飞行3万英里往返于澳大利亚。
报纸报道了这次飞行旅途，他们被认为是唯一驾驶单引擎飞机从非洲飞到澳大利亚的私人飞行员。[3]
除了飞行，霍尔德曼和家人还曾经深入丛林，用了一个月的时间去寻找失落之城。传说中这座古城位于南部非洲的喀拉哈里沙漠（Kalahari Desert）。一张全家福展现了当时的情景。在非洲丛林里，5个孩子围绕在一堆篝火旁，篝火上面是一口被加热了的大锅。孩子们看起来很放松，他们交叉着双腿坐在折椅上看书，身后有一架宝石红贝兰卡飞机、一顶帐篷和一辆汽车。但画面中的宁静掩盖了这次旅程的凶险。在一次事故中，他们的卡车撞上了一个树桩，导致保险杆穿透了散热器。他们于是被困在这片没有通信设施的蛮荒之地，约书亚花了3天时间才修好车，而其他人则到处猎食。夜晚的时候，土狼和豹子会在篝火周围徘徊。一天早晨，一家人醒来发现一头狮子就站在离桌子3英尺远的地方。约书亚马上抓住他能找到的第一件物品——一盏灯，朝狮子挥舞着，并叫狮子滚开，没想到狮子还真的逃走了。[4]
