Zamek w Rybnicy był prawdopodobnie macierzystą siedzibą znanego śląskiego rodu von Reibnitz. Zamek przypuszczalnie wzniesiono w XIII w. Do 1758 r. na jednej z ścian widniała data "1243", która potwierdza tą tezę. Powstanie zamku przypisywane jest także królowi czeskiemu Karolowi IV, który miał go wznieść w latach 1364–1369. Zamek otrzymał łacińską nazwę "Laudis Palatium", która w późniejszych czasach uległa przekształceniu na "Läusepeltz".

Pierwsze źródła pisane potwierdzające istnienie zamku pochodzą z roku 1365, kiedy na zamku przebywał Karol IV. Obecnie badacze historii zamków śląskich skłaniają się ku tezie, że zamek w był własnością rycerza Mikołaja z Rybnicy. Zamek został zniszczony w XV w., w wieku XVI-XVII odbudowany i przebudowany. Od początki XVIII w. zamek zaczął niszczeć. W drugiej połowie XVIII przeprowadzono remonty, po czym w XIX w. opuszczony popadł w całkowitą ruinę.