Pierwszy budynek „Aten Wałeckich” został postawiony przez Jezuitów na Górze Mniszej w 1662 r., drugi zbudowano na tzw. Górze Burmistrzowskiej (Rybiej) w 1672 r. Trzeci wzniesiono w 1702 r. dzięki pomocy opata klasztoru Cystersów w Oliwie, Michała Hackiego. W 1752 r. położono nowy dach, wzmocniono ściany i w takim stanie budynek dotrwał do rozbiórki w 1798 r.