V současné době slouží objekt dětem - jde o Základní uměleckou školu Karla Ditterse z Dittersdorfu.
Původní gotická tvrz byla postavena na přelomu 13. a 14. století a ve 2. polovině 14. století byla začleněna do městské fortifikace Vidnavy. V 1. polovině 17. století nechal Jáchym Reideburg tvrz přestavět na renesanční zámek. Na konci 17. století byl znovu upraven. Od roku 1906 patří městu, které tu zřídilo nejdříve archiv a muzeum. Po rekonstrukci v roce 1967 byla do zámku přemístěna Základní umělecká škola Karla Ditterse z Dittersdorfu.