Frank woonde de eerste jaren van zijn leven met z’n ouders en jongere broertje in een wagon van de Blauwe Tram op het terrein van het familiebedrijf aan de Loggerstraat op Scheveningen. Bij ‘Frank Vrolijk Antieke Bouwmaterialen’ werden aanvankelijk stenen uit slooppanden schoongebikt voor hergebruik bij restauraties van monumentale panden. 

Van lieverlee breidde het assortiment uit van bakstenen naar oude marmeren schouwen, antieke deuren en lambriseringen. Frank hielp af en toe mee in de zaak maar wilde die niet overnemen. Dat deed z’n broertje Nico. Frank ging rechten studeren in Leiden, werd actief lid van een studentenvereniging, en ging vervolgens werken bij een grote verzekeraar.