Die Bischöfe von St. Andrä hatten nicht einmal ein eigenes Haus, sie residierten zum Beispiel in Friesach oder auf der Festung Twimberg in Wolfsberg. Erst mit der Zeit konnte man durch Ankauf von anrainenden Bürgershäusern den so genannten „Bischofshof“ begründen, der erst im 17. Jahrhundert zur bischöflichen Residenz ausgebaut wurde. Nach Verlegung des Bischofssitzes nach Marburg, im Jahre 1859, kam der Jesuitenorden in den Besitz der Residenz. Das Gebäude dient heute schließlich der Caritas als Wohnheim für ältere Menschen unter dem Namen "Haus Elisabeth".