Sværd-skovlilje har væsentligt kortere støtteblade samt de karateristiske, sværdlignende stængelblade. Derudover er der ingen andre forvekslingsmuligheder i Danmark.

Den kan vokse, hvor der er så meget skygge, at den er den eneste plante i skovbunden. Den bestøver hovedsageligt sig selv, men bier og humlebier kan sandsynligvis også deltage i bestøvningen. Er der for meget skygge på dens voksested, kan den leve en underjordisk tilværelse i mange år takket være sit store net af rødder. Bliver lysforholdene bedre, dukker den frem over jorden og blomstrer. Planten blomstrer i juni og juli.

Hvidgul skovlilje vokser i løvskove og krat, hvor der er kalk i jorden, ofte tæt på kysten. Den er også fundet i gamle haver.

Arten er sjælden i Danmark. Den er fundet et enkelt sted i Østjylland og nogle få steder på Midt- og Sydsjælland, på Møn og på Falster.

Orkidéen vokser i skove med lang kontinuitet, altså områder, som ikke har været udsat for skovdrift i længere tid.