Tytuł piosenki odnosi się do poematu "Albatros" autorstwa słynnego francuskiego poety Charles'a Baudelaire'a z jego zbioru "Kwiaty zła" (1857). Wiersz opisuje los albatrosa, królewskiego ptaka, który w locie jest majestatyczny, ale na ziemi staje się niezdarny i bezradny, co jest metaforą losu artysty w społeczeństwie. Dassin nie odtwarza wprost tego wiersza, ale jego piosenka nawiązuje do podobnych symboli wolności, alienacji i wędrówki. Utwór opowiada o albatrosie jako symbolu wolności i podróży, ale również osamotnienia.