Han blev kaldt "direktøren". Men Ole Peter Espersen var ikke fin på den og han kom ikke på arbejde til direktørtid - han mødte kl. 04.00 hver morgen.
Da Lene Espersen bliver født 26. september 1965, sker det i bedsteforældrenes kælder. Der bor Ole og Inger Espersen fordi de stadig ikke har penge til at købe deres eget hus.De to er blevet gift, da Inger Espersen bliver gravid, og faren ser slet ikke slet ikke babyen det første halve år af hendes liv, fordi han er i Italien og sælge fisk. Men han har besluttet, at den førstefødte skal hedde Lene, fordi han engang har gået i klasse med en pige med det navn. Den Lene tog altid de svage i forsvar. Senere får Ole Peter Espersen Lene Espersen til at love, at hun altid vil forsvare dem, der bliver drillet i skolen og på legepladsen. Det fremgår af biografien "Bare kald mig Lene" af Kim Kristensen og Esben Agerlin Olsen.
Familien fra Hirtshals med de tre piger har altid haft et meget tæt forhold til hinanden. Og måden, Ole og Inger opdragede de tre piger på, har haft betydning for deres livssyn og drivkraft, måske også den drivkraft, der har drevet Lene Espersen til tops i politik.
Ole og Inger Espersen er begge unge da de får Lene og lillesøsteren Marie Louise, og de behandler fra en tidlig alder børnene som voksne. Men forældrene går også op i, at døtrene skal være høflige, give hånd og opføre sig ordentligt, når de er ude.
Selv om Ole Espersen er uddannet maskinmester, er han kendt som "direktøren" og familien bliver kaldt "de fine". Men familien har ikke villa med udsigt over havnen, men bor på den helt almindelige Islandsgade.
Og Ole Espersen møder bestemt ikke til direktørtid. Han tager hjemmefra i mørket kl. 04.00 om morgenen for at nå den første fiskeauktion. Han kommer hjem midt på dagen, spiser frokost, sover en halv time og tager afsted igen. Barndomshjemmet er også det sted, hvor alle kvarterets børn helst mødes for at lege.
Lene Espersen mangler aldrig forældrenes tillid og opbakning, og beskriver sin opvækst som "meget, meget tryg". Alle tre søstre har et veludviklet salgstalent og et "fælles showgen". De kan lide at være på, og har en kraftig konkurrencementalitet. Men so det sker for mange forældre, lægger Ole Peter og Inger Espersen de fleste af deres ambitioner og forventninger i skødet på det ældste barn, Lene.
Hun er den ældre, ansvarlige storesøster, og det giver hun selv som en del af forklaringen på hendes senere politiske karriere.
