Klášter piaristů, který je zcela výjimečným architektonickým počinem na celém Jesenicku, pochází z klasického období baroka.
Jeho stavbu financovala nadace majitele Bílé Vody Jakuba Arnošta z Lichtenštejna-Kastelkornu, který povolal do Bílé Vody řád piaristů. Z nadačních prostředků byl pro kolej, triviální školu a gymnázium v letech 1723 až 1733 postaven rozsáhlý klášter (kolejní) a školní (seminární) areál, který je stavebně propojen s kostelem Navštívení Panny Marie.
Budova koleje je rozdělena na dvě nádvoří, se dvěma ambity s arkádami a rajskou zahradou. Do základního kamene koleje byly uloženy ostatky sv. Jana Nepomuckého.