De mannelijke Sperweruilen zijn meestal 36 tot 42,5 cm lang. Vrouwtjes zijn iets groter met een lengte van 37 tot 45 cm. Zowel de mannelijke als vrouwelijke Sperweruilen hebben een spanwijdte van ongeveer 45 cm. Het verenkleed van de Sperweruil is relatief donker bruin met een gebroken wit vlekkenpatroon op alle rugdelen van het lichaam, met uitzondering van de achterkant van de nek, die een zwart v-vormig patroon heeft. Het verenkleed is op de voorzijde meestal wit of gebroken wit met bruine banden op de borst en buik.

De Sperweruil heeft een lange staart met bruine strepen. Het verenkleed loopt door tot op de tenen. Het gezicht is wit met een zwarte rand, een platte kop, gele ogen en een geel gebogen snavel. De Sperweruil dankt zijn naam aan zijn uiterlijk en gedrag welke op een Sperwer lijkt. In Noord-Amerika wordt zijn verschijning in vlucht vaak vergelijkbaar beschouwd als een Cooper’s Hawk (Accipiter cooperii). Dit is de enig levende soort in het geslacht Surnia van de familie Strigidae, de ’typische’ uilen (in tegenstelling tot kerkuilen van de familie Tytonidae).