Kiedy jezuici przybyli do Nysy w 1622 roku osiedlili się przy Rynku Solnym gdzie objęli gotycki kościół pw. Wniebowzięcia Najświętszej Marii Panny oraz średniowieczny klasztor po bożogrobcach, który stał w miejscu dzisiejszego Carolinum.
Pierwotny – znacznie mniejszy od dzisiejszego budynek seminarium powstał w 1630 roku z fundacji Anny Gebauer, która na mocy testamentu ofiarowała zakonnikom kilka kamienic w północnej pierzei Rynku Solnego. Ówczesny budynek pomimo nieznacznych kształtów musiał prezentować się wyjątkowo ciekawie, ponieważ była to jedna z pierwszych barokowych budowli w Nysie. Kamieniczki skupione wokół seminarium były najczęściej jednopiętrowe i posiadały proste zdobienia – najczęściej w postaci profilowanych portali i renesansowych obramowań okiennych – których relikty zachowały się w skrzydle od ulicy Kramarskiej. Skrzydło to zdaje się wręcz falować w stosunku do stosunku do ulicy – jednak taki stan rzeczy jest podyktowany późniejszą rozbudową i wtopieniem kilku kamienic w późniejsze skrzydło.
Pierwotne założenie przy Rynku Solnym zostało znacznie uszkodzone podczas wojny 30-letniej. Odbudowa, a właściwie budowa nowego kompleksu przypadła na lata 1656-57, kiedy to pracami kierował Melchior Werner, a budynek uzyskał nowy kształt w formie podkowy. Główna elewacja obejmowała całą pierzeję Rynku Solnego, natomiast od strony ulicy Kramarskiej powstało „nowe” skrzydło – dzięki przebudowie i adaptacji kilku kamienic. Praktycznie nie zachowało się skrzydło od strony ulicy Tkackiej, którego jedyną dziś pozostałością jest wysoki, kurtynowy mur przez który przechodzi brama z półkolistym zamknięciem. Z północnej strony kompleks był zamknięty zabudową kamienniczą. Całość tworzyła zwarty kompleks z małym dziedzińcem pośrodku, który na parterze obiegały krużganki, zachowane do dziś. Całość budowli dzięki zastosowaniu pilastrów małego porządku z zwieńczeniami, które są zbliżone do stylu jońskiego, a na drugim piętrze mają charakter kwiatowy – przypomina niemal żywcem wyjęty włoski pałac miejski.
W 1810 roku władze pruskie przejęły majątek Kościoła, ponieważ potrzeba było pieniędzy na spłatę kontrybucji, po przegranej wojnie z Francją. Barokowa budowla przeszła wtedy kompleksową przebudowę na fabrykę broni, a następnie na magazyn. Te decyzje, zmieniły już nieodwracalnie charakter całego założenia pozbawiając go pierwotnego układu wnętrz, wszystkich zdobień oraz dawnego wyposażenia. Osobną kwestią pozostaje rok 1807, kiedy to Nysy była przez 3 miesiące oblegana przez wojska francuskie. Nie zachowały się żadnego przekazy dotyczące ewentualnych zniszczeń seminarium i tutaj możemy jedynie domniemywać decyzji o przebudowie na fabrykę broni.
Rok 1945 przyniósł ogromne zniszczenia. Szczęśliwie decyzją ówczesnych władz miasta, barokowe budowle w tej części miasta zostały przeznaczone do odbudowy, na którą seminarium czekało ponad 20 lat. Co ciekawe – w pierwszych publikacjach dotyczących historii miasta i turystyki, które ukazywały się po II wojnie światowej, autorzy niemal tłumaczyli dlaczego odbudowa zabytkowego śródmieścia trwa tak długo, a trzeba pamiętać, że śródmieście pełne było jeszcze zabytkowych kamienic, które przetrwały akcję rozbiórką. W trakcie podjęcia odbudowy zdecydowano przekazać obiekt pod działalność szkoły muzycznej, która w bardzo prostej formie zaczęła działalność w tzw. „domu metalowca”, przy ulicy Marcinkowskiego w Nysie od 1957 roku.
Po zakończeniu remontu, Państwowa Szkoła Muzyczna przeniosła się w 1969 roku do nowej siedziby przy Rynku Solnym, w którym znajduje się do dziś.