Hvidgul skovlilje har længere støtteblade. Derudover er der ingen andre forvekslingsmuligheder i Danmark.

De næsten duftløse blomster bestøves af bier, humlebier og bladhvepse. Den blomstrer i juni lidt før hvidgul skovlilje.

Sværd-skovlilje vokser i skove ligesom rød skovlilje og hvidgul skovlilje, men stiller færre krav til voksestedet end de to andre skovliljearter. Den findes både på fugtig og tør jord og i lys og skygge, men næsten altid, hvor der er kalk i jorden. Den vokser i krat, på enge og overdrev og i gamle haver.

Sværd-skovlilje er meget sjælden. Den vokser et par enkelte steder i Vest- og Østjylland, lidt flere steder på Midt- og Sydsjælland og et enkelt sted på Bornholm. Tidligere fandtes den flere steder spredt over Danmark og var hyppig på Bornholm.

Arten er særligt udsat for græsning fra rådyr, som æder blomsterknopperne.