Aufgewachsen auf einem Bauernhof in Rabenwald mit zehn Geschwistern, wurde Franz Höfler schon früh mit körperlicher Arbeit vertraut gemacht. Die Tugend des Fleißes lernte er von klein auf, wovon er im späteren Berufsleben immens profitierte.