A realizzarla vicino al Castello, nel 1591, fu Camillo Caracciolo. Ingentissimi danni all’edificio furono provocati dagli attacchi subiti nel 1646, al tempo della rivoluzione di Masaniello.
 Nell’Ottocento, come si legge nei diari di viaggio dell’epoca, il palazzo fu trasformato in taverna e albergo mobiliato per la sosta dei viaggiatori che da Napoli si recavano nelle Puglie.
La costruzione, che si può visitare, si sviluppa intorno a un cortile a pianta quadrata, che portava alle scuderie e al parco. Caratteristica, nel cortile, è la fontana semicircolare che fungeva da abbeveratoio.