1924. augusztus 11-én papi ruszin családban Holovács István és Lyachovics Irén gyermekeként Miszticén született.
Tanulmányait helyben és az ungvári papneveldében végezte. 1947. szeptember 14-én Romzsa Tódor püspök szentelte pappá.
A rahoncai Nagy Szent Bazil templom parókusa lett. Két évet szolgált itt, Árok és Sztripa falvakban.
1949. június 6-án, a Szentháromság ünnepén mutatta be utolsó Szent liturgiáját Rahoncàn. Ezután a szovjet hatóságok bezáratták a görögkatolikus templomokat.
Elköltözött a faluból és Felsődomonyán telepedett le. Fizikai munkásként dolgozott. Megbetegedett és kórházba került, ahol később ápolóként működött.
Feleségével, Hladonyik Erzsébettel négy gyermeket neveltek: Lászlót, Józsefet, Máriát és Alexandrát. Neje 1979. július 1-jén hunyt el.
József atya lelkiismeretesen végezte titokban papi hivatását, ezért az egyházmegye elöljárói úgy döntöttek, hogy előléptetik. 1983. március 15-én Chira Sándor püspök karagandai lakásán Holovács Józsefet püspökké szentelte.
1984-ben nyugdíjba ment és a szabadidejét az egyháznak szentelte. Felsődomonyai lakásán teológiai tanfolyamot szervezett. Papnövendékeket készített fel, akiket Chira Sándor titokban szentelt pappá.
1989 tavaszán a görögkatolikusok keresztutakat végeztek. Ősszel a hatóságok elismerték a Munkácsi Görögkatolikus Egyházmegyét. Szemedi Iván ordinárius mellett Holovács József és Margitics Iván segèdpüspökökre hárult az új egyházi közösségek megszervezése, koordinálása.
A hivatalos állami bejegyzéseket, az egyházi ingatlanok visszavételét és egyéb adminisztrációs teendőket végeztek.
Akkor vették újra birtokba az ungvári székesegyházat, a munkácsi Mária Mennybemenetele templomot, illetve egy sor vidéki Isten házát.
1990 virágvasárnapján, az atya 41 év után újra Rahonca parókusa lett. A Munkácson megszervezett papi szeminárium rektora volt.
Holovács József 2000. június 18-án,76 éves korában hunyt el Felsődomonyán.
Szívünkben őrizzük emlékét, Isten nyugosztalja!