Het bedrijf is ontstaan in Hvitsten, een klein stadje aan de Oslofjord in Noorwegen, in 1848 toen drie broers Olsen – Fredrik Christian, Petter en Andreas – hun eerste schepen kochten en een internationale rederij begonnen. Nu in de vijfde generatie van de familie, exploiteren ze bedrijven die bekwaam zijn in verschillende aspecten van de cruise- en passagiersvaart, evenals de luchtvaart, scheepsbemanning, scheepsbouw en offshore-industrie. Naast de transportsector heeft de Fred Olsen-groep ook belangen in de luxehotelsector, vastgoedbeheer, vastgoedontwikkeling en elektronicabedrijven.