就在霍英东准备参加大学入学考试时，太平洋战争全面爆发，不久日军飞机轰炸启德机场，整个香港陷入了战乱之中。防空警报时不时地响遍全城，处处是断壁残垣，人心惶惶，大批难民逃离香港。
    随着香港的沦陷，皇仁书院校长奥干拿与港督杨慕琦等人被关进了日军的集中营，学校被迫停课。校舍被日军占用，课室成了日军的马房，书桌做了马槽。
    日军占领香港后，霍英东的母亲和人合伙购置的“兴和”小火轮被日军强行征用，霍家刚有点起色的生活又被打破了。
    作为家中唯一的男丁，18岁的霍英东做出了他人生的第一个重大决定——退学务工。面对生活的艰辛与无奈，母亲也不得不默许他的决定。
    就这样，霍英东毅然挑起了家庭的重担。不久他找到了一份工作，在轮船上做火夫。所谓“火夫”，也就是铲煤工，这是霍英东人生的第一份工作。
    当时的轮船都是烧煤的，铲煤可以说是轮船上最为繁重的工作。火炉在船舱底部，闷热难耐，霍英东得抡着铁铲，站在炉口，不停地把原煤一铲一铲地投进炉膛里。这看似只凭体力就可以完成的工作，实际上是有一定技巧的，如果煤炭抛进灶膛太急，会压着火势，甚至会令火舌熄灭；如果抛得太慢，又会使火炉失去火力，火势接不上。铲煤工离火炉最近，炉口不断喷吐着火苗，滚滚的热浪不停地袭来，炙热的高温烘烤着皮肤，不一会儿，就汗流浃背。