Jeszcze później określenie to nabrało bardziej religijnego niż etnicznego znaczenia. Odnoszono je do członków sekty religijnej z okolic starożytnych miejscowości Szechem i Samaria, wyraźnie różniącej się od judaizmu niektórymi zasadami wiary (Jn 4:9).

Do ostatecznego rozdzielenia Żydów od Samarytan doszło zdaniem niektórych po wybudowaniu, prawdopodobnie w IV w. p.n.e., świątyni na górze Garizim, mającej stanowić konkurencję dla świątyni w Jerozolimie. Inni uważają, że zaostrzenie stosunków nastąpiło ponad sto lat później. Gdy Jezus rozpoczynał swą służbę, świątynia na górze Garizim nie istniała już od ok. 150 lat, ale oba narody wciąż dzieliła ogromna przepaść (Jn 4:9).