Fue construido a los pies del templo por don Gutierre Vargas Carvajal para su residencia en esta villa donde pasaba largas temporadas. Se comunicaba con la Iglesia Parroquial a través de la galería Renacentista que comunicaba la iglesia y dicho Palacio por el arco exterior. En este lugar se van a desarrollar importantes acontecimientos de la vida de ese obispo, como son los ejercicios espirituales que le recomendaron que hiciese los Padres de la Compañía de Jesús, aquí recibiría también a San Francisco de Borja. Según Luis de Toro, ese Palacio Episcopal que fue uno de los edificios de feliz recuerdo que nos dejó don Gutierre, lo aumentó su sucesor, el inquisidor Ponce de León, quien moriría aquí también el 17 de Enero de 1573.

Tras su muerte, los criados del obispo ocuparían dicho palacio durante algún tiempo, como así lo atestigua un documento hallado en el archivo histórico provincial de Cáceres del fondo de Vicente Paredes Guillén. Su fecha es del 18 de Enero de ese mismo año, un día después de la muerte del Obispo Ponce de León y está escrito por Baltasar García, escribano de dicho Obispo quien el 17 de Enero le otorga testamento cerrado ante él.

Este palacio episcopal queda arruinado durante la guerra de Sucesión así como otros de los edificios notables de la villa.

Según la respuesta de este ayuntamiento a la V.R.A.E.: "ai un palacio correspondiente a la dignidad episcopal queestá arruinado y sereconoce habersido de buena arquitectura.

Campomanes, en su viaje a Extremadura escribió: Que el Palacio Episcopal se halla arruinado y sus fagmentos son de la propia arquitectura de las Casas Consistoriales.

La última referencia que se conoce de ese palacio, es que en 1798, estuvo en manos de los Condes de Santiesteban, según López y dice así: los Condes de Santiesteban conservan oi las ruinas de un sumptuoso palacio de los Obispos de Plasencia.

Del suntuoso palacio se conservan restos de los gruesos muros, arcos, bóvedas, la portada que fue de granito, adornándose la entrada con dos piedras de granito a modo de flameros, sobre pilastras cajeadas, de idéntica factura a los del templo.

Texto extraido de "Una villa episcopal. El legado de un Obispo" de Ismael Monteno