Japan-pileurt kan blive 1-3 meter høj og danner ofte meget tætte bestande med ca. 80 skud pr. m2. Stænglerne er tykke, hule og bambusagtige, foroven rigt grenet og ofte rødlige. Bladene er 5-12 x 5-8 cm og sidder spredt på stænglerne. De er helrandede, ægformede og har et læderagtigt udseende. Oversiden er kraftigt grøn, mens undersiden er lysere grøn. Bladbasis er lige afskåret. Blomsterne dannes i aks, og er små og hvide til cremefarvede. Frøene er små (2-4 mm lange) skinnende trekantede nødder med vinger. Rødderne kan gå omkring 2 meter ned i jorden og være op til 15 meter lange.