Obiekt, wymieniany już w źródłach z XVIII w., wielokrotnie zmieniał właścicieli. Ostatni właściciele – Krzywiccy, puścili dwór w pierwszych dniach września 1939 r. Zaraz po wkroczeniu Niemcy przejęli majątek w Dębem. Wyznaczono niemieckiego zarządcę. Z kolei we dworze już w październiku 1939 r. urządzono wartownię Grenzschutzu (straży granicznej), gdyż Dębe znalazło się przy granicy Rzeszy i Generalnego Gubernatorstwa. Dwór najbardziej ucierpiał w czasie walk rosyjsko–niemieckich na jesieni 1944 r. Po zakończeniu II wojny światowej majątek znacjonalizowano i rozparcelowano w ramach reformy rolnej. Dwór nie został odbudowany, niszczał i w 1967 r. został rozebrany. Obecnie w jego miejscu znajduje się budynek Krajowej Szkoły Sądownictwa i Prokuratury.
Klasycystyczny, piętrowy obiekt, prawdopodobnie przebudowany w XIX w., miał wymiary 10 x 14 m i kubaturę 1060 m3. Został zbudowany z cegieł. Elewację frontową wykonano z kamieni polnych, a dach pokryto gontem. Dwór był położony na wysokiej skarpie nad Narwią, co zapewniało piękny widok, w dodatku był otoczony sporym parkiem o powierzchni 8 ha.
Od strony rzeki znajdowała się przybudówka o wymiarach 9 x 3 m, stykająca się z dworem jednym rogiem. Łącznie w budynku było jedenaście pokoi i dwa alkierze. Pomieszczenia ogrzewano piecami kaflowymi w kolorze białym. Budynek był podpiwniczony (trzy pomieszczenia). Niedaleko znajdowały się zabudowania gospodarcze (folwarczne): stodoła z filarami wymurowanymi z kamienia, kryta słomą oraz drewniana stajnia.