Początki tej piosenki są niejasne. [3] Najwyraźniej wyewoluował na początku XX wieku z wielu podobnie zatytułowanych pieśni gospel, w tym „Kiedy święci maszerują” (1896) i „Kiedy święci wkraczają na koronację” (1908). [4] Pierwsza znana nagrana wersja została wydana w 1923 roku przez Paramount Jubilee Singers na Paramount12073. Chociaż tytuł podany na etykiecie brzmi „When All the Saints Come Marching In”, grupa śpiewa współczesne teksty zaczynające się od „When the saints go marching in”. Na etykiecie nie ma autora. Kilka innych wersji gospel zostało nagranych w latach 20. XX wieku, z nieco różnymi tytułami, ale z tymi samymi tekstami, w tym wersje autorstwa The Four Harmony Kings (1924), Elkins-Payne Jubilee Singers (1924), Wheat Street Female Quartet (1925), Bo Weavil Jackson (1926), Deaconess Alexander (1926), wielebny ED Campbell (1927), Robert Hicks (AKA Barbecue Bob , 1927), Blind Willie Davis (1928) i Pace Jubilee Singers (1928). [5] Najwcześniejsze wersje były powolne i dostojne, ale w miarę upływu czasu nagrania stały się bardziej rytmiczne, w tym wyraźnie przyspieszona wersja autorstwa Sanctified Singers z British Parlophone w 1931 roku . Mimo że piosenka miała korzenie ludowe, wielu kompozytorów twierdził autorskie w nim w latach późniejszych, w tym Luther G. Presleya [6] i Virgil Oliver Znaczki , [7] RE Winsett . [8] Melodia jest szczególnie kojarzona z miastem Nowy Orlean . Standardem jazzowym , został nagrany przez wielu artystów jazzu i popu.