In heller Licht der Geschichte tritt Elsdorf durch die Gräfin Ida von Elsdorf. Sie ist die Nichte des Kaisers Konrad III. und Tochter des Pfalzgrafen von Schwaben. Ihr erster Gemahl, Graf Lippold von Stade, hatte ihr seine Güter bei Elsdorf als Witwensitz hinterlassen. Dort hat sie oder ihr Sohn aus zweiter Ehe -Burchard- später Erzbischof von Trier- die Burg Elsdorf erbaut. Ihre Tochter Richenza oder Rixa wurde die Stammutter der Oldenburger Grafen.
Nachdem Idas Sohn aus erster Ehe, Egbert, um 1052/53 zu Wistedt durch seinen Vetter, den Grafen Udo II. von Stade, erschlagen worden war, hat die schwergeprüfte und vereinsamte Frau auf den Rat ihres Oheims, des Papstes Leo IX., trotzdem die Stader Grafen zu Erben ihres ausgedehnten Besitzes eingesetzt. Diese Tat christlicher Versöhnung mit politischer Einsicht hat auf die Chronisten den größten Eindruck gemacht. Die Nachfolge der Stader Grafen haben später die Schulte von der Lühe zu Burg-Sittensen angetreten. Wie und wann die Burg Elsdorf zerstört wurde ist unbekannt. Im eigentlichen Dorf siedelten um die Kirche herum die "Hintersassen", später Meier des Herrensitzes.
Die im 11. Jahrhundert bezeugte Allerheiligenkirche mag die Nachfolgerin einer ersten Taufkirche gewesen sein. Sie wurde 1797/98 durch den heutigen Bau ersetzt.
Die Reformation soll schon 1525 "ohne Kampf und Unruhe still und friedlich" eingeführt worden sein. Aber im 30 jährigen Krieg durchzogen erst die kaiserlichen, dann Graf Königsmark v. Schweden die Gegend. Auch in späteren Kriegen hatte der Ort und das Kirchspiel Elsdorf viel zu leiden. Am Ende des 2. Weltkrieges wurden zahlreiche Gebäude und die Kirche in Mitleidenschaft gezogen. In zäher Aufbauarbeit wurden die Gebäude nach dem Kriege wieder hergerichtet oder neu erbaut. Die aus Ostdeutschland geflüchteten oder vertriebenen Menschen mußten untergebracht und in den Arbeitrsprozeß eingegliedert werden.
1750 31 Feuerstellen (sprich Häuser)
1939 78 Häuser 610 Einwohner
1950 80 Häuser 1018 Einwohner
1983 1864 Einwohner
1998 1920 Einwohner