Szepesy Ignác püspök építtette Piatsek József pécsi mérnökkel a népies klasszicizmushoz közelálló, rusztikus, mégis nemes szerkezetű palotát.
Az épületbe 1832-ben költöztették Klimo György nyilvános, püspöki könyvtárát. Itt láthatjuk Klimo püspök 1783-ban készült márványepitáfiumát, pozsonyi születésű Sartory József művét. Ebben az épületben található a többezer kötetes Klimo könyv-gyűjtemény. Ennek értékei között 8 kódex, 27 ősnyomtatvány, és 700 különösen értékes régi magyar vonatkozású mű található