Conegut popularment com les Voltes de Ca l'Oliver, el casal fou construït el 1862 per Pere Oliver, besavi patern de Joan Oliver. El projecte inicial, obra de l'arquitecte Gabriel Batllevell, incloïa disset porxades a la Rambla. El 1862 se'n construïren les cinc centrals, mentre que les dotze restants no s'arribaren a bastir mai. Els edificis que es construeixen a la Rambla durant el segle XIX són el reflex del creixement econòmic de la ciutat: grans casals i torres, regles d'habitatges de promoció unitària, vapors, despatxos i alguns serveis.

La seu actual del Casal Pere Quart correspon a la residència familiar dels Oliver, encara que Joan Oliver no nasqué en aquest edifici sinó a la casa del carrer del Jardí, 8.

Després de la guerra, l'edifici passà a mans del Movimiento i va ser la seu de diferents entitats, entre les quals, la Falange i l'OJE. També hi tingué la seu Ràdio Sabadell i Diari de Sabadell.

Amb la democràcia passà a l'Ajuntament, que n'inicià la rehabilitació l'any 1982. Aquesta rehabilitació es va a dur a terme en diferents fases i s'acabà el 1987. La rehabilitació començà per la planta baixa i els altells, que van ser ocupats l'any 1983 pel Servei d'Informació Juvenil i els Serveis Territorials de Joventut de la Generalitat.

Les funcions i activitats que acull actualment caracteritzen el Casal Pere Quart com a centre de promoció cultural i associativa, espai d'exposicions i seu de diversos serveis públics.