De Klein waterhoen wordt ca. 17 tot 19 cm groot, en zijn daarmee iets kleiner dan de Porseleinhoen. De Kleine waterhoen heeft een korte rechte snavel, geel met een rode basis. Ze hebben groene poten met lange tenen en een korte staart die aan de onderkant zwart en wit is gestreept. In tegenstelling tot andere gelijksoortigen, heeft deze soort een sterk seksueel dimorfisme: volwassen mannetjes hebben voornamelijk bruine bovendelen en blauwgrijze gezichten en poten. Ze lijken sterk op het Kleinst waterhoen, die sterk gestreepte flanken heeft en iets kleiner is. Vrouwtjes hebben een bleekgele buik en zijn alleen grijs op het gezicht. Juveniele vogels lijken op het vrouwtje, maar hebben een wit gezicht en witte borst. De donzige kuikens zijn zwart, zoals bij alle rallen.