Pierwsze wzmianki o Żydach w Serocku i okolicach pochodzą z XVIII w. Początkowo prowadzili karczmy a potem zajmowali się głównie handlem i rzemiosłem. Społeczność zamieszkiwała przede wszystkim w kwartale tworzonym przez dzisiejsze ulice Pułtuską, 11 Listopada, Rynek i Kościuszki. Na tym obszarze były między innymi dwie synagogi i siedziba kahału (gminy żydowskiej). Mykwa (łaźnia rytualna) znajdowała się przy trakcie spacerowym łączącym ulice Poniatowskiego i Radzymińską.
Seroccy Żydzi należeli początkowo do kahału w Nasielsku i zmarłych chowali na tamtejszym cmentarzu. Cmentarz w Serocku powstał prawdopodobnie w latach 20. XIX w. na gruntach sąsiadujących z wsią Wierzbica.W 1884 r. zajmował działkę o powierzchni ok. 0,3 ha a potem został powiększony do 1,3 ha. Przypuszczalnie nekropolia była ogrodzona i umieszczono na jej terenie dom przedpogrzebowy. Do cmentarza można było dojechać od dzisiejszej ulicy Retmańskiej a potem prawdopodobnie także od obecnej ulicy Czeskiej. Biorąc pod uwagę dane demograficzne, można oszacować, że na terenie nekropolii spoczywa ok. 1,5 tys. osób.
Pierwsze ofiary II wojny światowej pochowano na cmentarzu już we wrześniu 1939 r. 5 września Niemcy zbombardowali miasto i bomby trafiły między innymi w kamienicę Jakowa Rozenberga na rogu dzisiejszych ulic Pułtuskiej i Kościuszki. W piwnicy zginęło ok. 70-100 Żydów z Serocka oraz uciekinierów.
5 grudnia 1939 r. Niemcy wypędzili z miasta całą ludność żydowską a później nastąpiła dewastacja cmentarza. Prawdopodobnie na początku lat 40., na polecenie Niemców,nagrobków użyto do ułożenia schodów prowadzących na wzgórze grodowe Barbarka przy ulicy Radzymińskiej. Do zniszczeń doszło też zapewne latem i jesienią 1944 r. w czasie walk rosyjsko-niemieckich. Zdjęcia lotnicze pokazują, że były tam okopy.
Po wojnie, cmentarz pozbawiony naturalnych opiekunów – potomków zmarłych, dalej niszczał i służył za pastwisko. W latach 70. znalazł się w obrębie ośrodka wypoczynkowego „Narew”, należącego do Centralnego Związku Rzemiosła, a później do KC PZPR. Jego obszar przeznaczono na cele rekreacyjne.
W połowie lat 80. nekropolią zainteresowali się działacze Społecznego Komitetu Opieki nad Cmentarzami i Zabytkami Kultury Żydowskiej w Polsce, wyrazili zaniepokojenie profanacją kamieni nagrobnych znajdujących się na wzgórzu Barbarka, i bez skutku apelowali do władz.W 1989 r. Konserwator Zabytków Miasta Stołecznego Warszawy wszczął z urzędu postępowanie o wpisanie cmentarza do rejestru zabytków ale mylnie określono lokalizację nekropolii (podano wzgórze Barbarka) i procedurę przerwano.
W 1990 r. Socjaldemokracja Rzeczypospolitej Polskiej, jako następczyni PZPR, przeniosła prawo własności OW „Narew” na bank PKO BP. W obrębie cmentarza znajdowały się altany oraz plac zabaw. Prawdopodobnie z tego lub nieco wcześniejszego okresu pochodzą istniejące asfaltowe alejki, niewielki betonowy plac i górka z kamieniami.
W 1992 r. władze Miasta i Gminy Serock doprowadziły do wydobycia kilkudziesięciu destruktów macew ze wzgórza grodowego Barbarka. Nagrobki złożono na zboczu znajdującym się na skraju cmentarza. W 2003 r. Sławomir Jakubczak oczyścił macewy, połączył rozbite fragmenty i wykonał dokumentację fotograficzną.
Na początku XXI w. społeczność żydowska czyniła starania o odzyskanie cmentarza.
W następstwie tego, 28 września 2011 r. Wojewoda Mazowiecki wydał decyzję o nabyciu przez Związek Gmin Wyznaniowych Żydowskich (ZGWŻ) w RP prawa własności do działek wchodzących w skład cmentarza. ZGWŻ przekazał nekropolię Fundacji Ochrony Dziedzictwa Żydowskiego (FODŻ). Pod koniec 2013 r. FODŻ rozpoczęła prace na cmentarzu i w 2014 r.w jego północno-zachodniej części ukończono i odsłonięto lapidarium. W 2015 r. cmentarz ogrodzono.
W październiku 2021 r. z inicjatywy władz samorządowych Miasta i Gminy Serock na cmentarzu przeprowadzono prace porządkowe z udziałem uczniów-wolontariuszy, obejmujące wycinkę niepielęgnowanej roślinności. Akcja została dofinansowana ze środków Ministra Kultury, Dziedzictwa Narodowego i Sportu, przyznanych Fundacji Dziedzictwa Kulturowego na działania Koalicji Opiekunów Cmentarzy Żydowskich w Polsce.
Od jesieni 2021 r., na wniosek samorządu Miasta i Gminy Serock, trwały uzgodnienia ze stroną żydowską w sprawie przyszłości cmentarza. Władze samorządowe zadeklarowały wówczas chęć przyjęcia cmentarza na własność gminy oraz otoczenia go opieką. 14 czerwca 2022 r. podpisano umowę darowizny i od tej pory właścicielem terenu nekropolii jest Miasto i Gmina Serock.
16 listopada 2022 r. Miasto i Gmina Serock zawarło z Województwem Mazowieckim umowę o dofinansowanie realizacji operacji pn. „Zagospodarowanie terenu dawnego Cmentarza Żydowskiego w miejscowości Serock i Wierzbica.” Zadanie to było realizowane w ramach poddziałania „Wsparcie na wdrażanie operacji w ramach strategii rozwoju lokalnego kierowanego przez społeczność” w ramach działania „Wsparcie dla rozwoju lokalnego w ramach inicjatywy LEADER” objętego Programem Rozwoju Obszarów Wiejskich na lata 2014-2020 w zakresie zachowania dziedzictwa lokalnego.
Prace,finansowane ze środków Miasta i Gminy Serock oraz z ww. dotacji, były prowadzone od kwietnia do lipca 2023 r. Polegały one na przewiezieniu, oczyszczeniu i instalowaniu nagrobków żydowskich odnalezionych na terenie Serocka (głównie na wzgórzu Barbarka). Udało się ocalić 31 całych macew, około 50 większych oraz około 60 mniejszych fragmentów. Pozostałe prace dotyczyły renowacji ogrodzenia i chodników, zamontowaniu furtek i bramy technicznej, a także wykonaniu dojścia od strony ścieżki prowadzącej od ul. Retmańskiej wzdłuż brzegu jeziora.
12 września 2023 r. odbyło się otwarcie cmentarza po zakończeniu prac, poprzedzone Marszem Pamięci Serockich Żydów. Na uroczystość przybyli przedstawiciele krajowych instytucji i organizacji żydowskich oraz potomkowie serockich Żydów mieszkający za granicą. W spotkaniu uczestniczyli także przedstawiciele Narodowego Instytutu Dziedzictwa, Narodowego Instytutu Konserwacji Zabytków, Muzeum Getta Warszawskiego, władze i radni Miasta i Gminy Serock, regionaliści, młodzież szkolna oraz mieszkańcy miasta.
Cmentarz został oznakowany specjalną tablicą w ramach projektu Ministerstwa Kultury i Dziedzictwa Narodowego realizowanego przez Narodowy Instytut Dziedzictwa. Na tablicy znajduje się kod QR, dzięki któremu można dotrzeć do informacji o nekropolii.