Das nach Rossau eingemeindete Straßendorf hieß "parua Rossowe". Der Name ist wendischen Ursprungs.Im Mittelalter hatte das Kloster Krevese hier Besitz. Später gehörte die Siedlung zum Anwesen der Familie derer von Bismarck auf Krevese. Nach 1375 gab es in Klein Rossau keinen Rittersitz mehr, jedoch einen Pfarrer. Heute präsentiert sich der Ort als ein sehenswürdiges und interessantes Dorf.
In Klein Rossau ist das Gotteshaus ein frühgotischer Bau aus der ersten Hälfte des 13. Jahrhunderts. Es ist zweiteilig und besteht aus dem Westturm und einem saalartigen Glockenstuhl aus Eichenholz. Hier hängen zwei Glocken, die eine stammt aus dem Jahr 1925 und ist aus Gussstahl. Sie wurde als Ersatz angeschafft für die im Jahre 1876 zu Kriegszwecken abgegebene Glocke. Die andere wurde 1466 aus Bronze gegossen. Einen entscheidenden Einschnitt in die Ausgestaltung des Innenraumes erlebte die Kirche 1962.
Über eine Orgel verfügt die Kirche auch. Erbaut hat sie der Magdeburger Orgelbaumeister Böttcher und 1889 wurde sie auf der Westempore installiert.