Johannes Hyrkan, endnu en søn af Simon, blev advaret om at man stræbte ham efter livet. Han pågreb sine potentielle mordere og overtog styret og embedet som ypperstepræst efter sin far.

Josefus fortæller at Johannes Hyrkan i begyndelsen var discipel af farisæerne og støttede dem. Men på et tidspunkt irettesatte farisæerne ham fordi han ikke ville opgive embedet som ypperstepræst. Det førte til et dramatisk brud. Johannes Hyrkan forbød farisæernes religiøse vedtægter. Som en yderligere straf sluttede han sig til deres religiøse modstandere, saddukæerne.