Oorspronkelijk deed het pand dienst als kapittelhuis: een plek waar de monniken van het Gentse bisdom samenkwamen. Later kwam het in handen van de adellijke familie de Giey, die het gebruikte als winterverblijf. Zo kreeg het gebouw al vroeg een rol als plaats van samenkomst en gastvrijheid.
Karel Van der Cruyssen – ondernemer en visionair
De meest markante bewoner was Karel Van der Cruyssen. Als jonge ondernemer maakte hij van het pand een kloppend hart voor de Gentse middenstand. In 1883 richtte hij samen met een collega de eerste Belgische middenstandsorganisatie op: Dieu et Patrie – de voorloper van UNIZO. Onder zijn impuls groeide het gebouw uit tot een bruisend clublokaal waar ideeën en ambities tot leven kwamen.