Der Gempfinger Pfarrhof bildet zusammen mit den beiden Gotteshäusern ein weithin sichtbares, malerisches Ensemble. Die Errichtung des Pfarrhauses fällt in die Zeit des Spanischen Erbfolgekrieges. Man kann davon ausgehen, dass der alte Vorgängerbau damals vollständig zerstört wurde. Denn in einem Eintrag des Hofmarkrichters Paul Widtmann heißt es: „Bei der Hofmarch Gempfing seien weder Häuser noch Stadel ja sogar kein Schweinstall noch Bakofen übrig verblieben, sondern leider Gott erbarms durch die in das Land gerathene [...] Feindsvölker in die Aschen gelegt worden.“ Der Neubau von 1709 wurde mit Walmdach und Volutengiebel sehr stattlich ausgeführt und erinnert in seiner Art an ein Prälatenschlösschen.
Fast zwanzig Pfarrherren hatten in dem Haus gelebt, die eine wechselvolle Geschichte erlebt hatten: Die Amtszeit des Pfarrers Benedikt Grünwald (1712 bis 1742) war geprägt von ständigen Streitereien mit dem Patronatsherrn, dem Kloster St. Walburg in Eichstätt. In einer dieser Auseinandersetzungen ging es um die vom Kloster betriebene Wiedereinsetzung eines Präbendars in Gempfing. Völlig zermürbt bezeichnete sich der unterlegene Priester als einen der "verlassensten Landpfarrer". Auch in der Folgezeit ist gab es Turbulentes aus dem Pfarrhaus zu berichten: Als Pfarrer Thomas Lipp (1742 bis 1754) im Jahre 1742 seine Stelle in Gempfing antrat, musste er den Pfarrhof mit vier Offizieren teilen, die sich während des Österreichischen Erbfolgekriegs samt Tross einquartiert hatten. Pfarrer Thomas Lipp gehörte übrigens zu den engagiertesten Seelsorgern in der Geschichte der Pfarrei. Durch die Förderung der Maria-Trost-Bruderschaft und der öffentlichen Verehrung des Kreuzpartikels machte er den Gempfinger Kirchberg zu einem viel besuchten religiösen Zentrum in der Region.
Zu Beginn des 20. Jahrhunderts war der Pfarrhof sehr heruntergekommen. Als Pfarrer August Mattes 1925 das Pfarrhaus bezog, herrschte Wildnis. Eine Blume oder Beerenstrauch war im Pfarrhof nicht anzutreffen, schilderte der Geistliche die Situation. Dem entsprachen die Verhältnisse im Innern des Pfarrhauses, wo nach Aussage des Pfarrers an manchen Zimmern seit Jahrzehnten nichts gerichtet worden war. Es gab also viel Arbeit, urteilte der Priester aus der Rückschau. Auch er musste das Wohnhaus im Zweiten Weltkrieg dem Miltär zur Verfügung stellen. Im Amtszimmer hatten nämlich amerikanische Soldaten eine ganze Woche lang eine Radioempfangsstation eingerichtet.
Aufgrund des allgemeinen Priestermangels ist der Pfarrhof seit 2002 unbewohnt.