Από ό,τι φαίνεται, σκοπός του Ιωσήφ είναι να εγκατασταθούν οικογενειακώς στην Ιουδαία, ίσως κοντά στη Βηθλεέμ, όπου ζούσαν προτού καταφύγουν στην Αίγυπτο. Μαθαίνει όμως ότι βασιλιάς της Ιουδαίας είναι τώρα ο Αρχέλαος, ο μοχθηρός γιος του Ηρώδη. Σε ένα ακόμη όνειρο, ο Θεός τον προειδοποιεί για τον κίνδυνο. Γι’ αυτό, ο Ιωσήφ και η οικογένειά του συνεχίζουν το ταξίδι τους προς τα βόρεια και εγκαθίστανται στη Ναζαρέτ της Γαλιλαίας, μακριά από την Ιερουσαλήμ που ήταν το κέντρο της Ιουδαϊκής θρησκευτικής ζωής. Ο Ιησούς μεγαλώνει σε αυτή την πόλη, σε εκπλήρωση άλλης μιας προφητείας: «Θα αποκληθεί Ναζωραίος».​—Ματθαίος 2:23.

Ο Ιησούς μεγαλώνει στη Ναζαρέτ, μια σχετικά μικρή και ασήμαντη πόλη. Η Ναζαρέτ βρίσκεται στα βόρεια, στους λόφους της Γαλιλαίας, δυτικά της μεγάλης λίμνης που είναι γνωστή ως η Θάλασσα της Γαλιλαίας.

Ο Ιησούς είναι περίπου δύο χρονών όταν ο Ιωσήφ και η Μαρία τον φέρνουν εδώ από την Αίγυπτο. Φαίνεται πως ακόμη δεν έχουν άλλα παιδιά. Αργότερα, όμως, γεννιούνται οι ετεροθαλείς αδελφοί του Ιησού​—ο Ιάκωβος, ο Ιωσήφ, ο Σίμων και ο Ιούδας. Ο Ιωσήφ και η Μαρία αποκτούν επίσης κόρες, τις ετεροθαλείς αδελφές του Ιησού. Ναι, ο Ιησούς έχει τουλάχιστον έξι μικρότερα αδέλφια.

Βέβαια, ο Ιησούς έχει και άλλους συγγενείς. Ξέρουμε ήδη για την Ελισάβετ και τον γιο της, τον Ιωάννη, οι οποίοι ζουν πολλά χιλιόμετρα νοτιότερα, στην Ιουδαία. Πιο κοντά, στη Γαλιλαία, ζει η Σαλώμη, που είναι προφανώς αδελφή της Μαρίας και θεία του Ιησού. Άντρας της Σαλώμης είναι ο Ζεβεδαίος. Επομένως, οι δύο γιοι τους, ο Ιάκωβος και ο Ιωάννης, είναι πρώτα ξαδέλφια του Ιησού. Δεν ξέρουμε αν ο Ιησούς κάνει πολλή παρέα με αυτά τα παιδιά ενόσω μεγαλώνουν, αλλά τελικά γίνονται στενοί του σύντροφοι καθώς υπηρετούν ως απόστολοί του.

Ο Ιωσήφ χρειάζεται να δουλεύει πολύ σκληρά για να συντηρήσει την οικογένειά του που μεγαλώνει. Είναι ξυλουργός. Ανατρέφει τον Ιησού ως δικό του γιο, γι’ αυτό ο Ιησούς αποκαλείται «ο γιος του ξυλουργού». (Ματθαίος 13:55) Ο Ιωσήφ διδάσκει και στον Ιησού την τέχνη του ξυλουργού, και εκείνος τη μαθαίνει καλά. Μάλιστα, αργότερα κάποιοι ρωτούν για τον Ιησού: «Δεν είναι αυτός ο ξυλουργός;»​—Μάρκος 6:3.

Η ζωή της οικογένειας του Ιωσήφ έχει ως επίκεντρο τη λατρεία του Ιεχωβά. Σε αρμονία με τον Νόμο του Θεού, ο Ιωσήφ και η Μαρία παρέχουν στα παιδιά τους πνευματική διδασκαλία “όταν κάθονται στο σπίτι τους και όταν περπατούν στον δρόμο και όταν ξαπλώνουν και όταν σηκώνονται”. (Δευτερονόμιο 6:6-9) Στη Ναζαρέτ υπάρχει συναγωγή, και ασφαλώς ο Ιωσήφ πηγαίνει τακτικά την οικογένειά του εκεί για λατρεία. Αργότερα λέγεται πως ο Ιησούς πήγε στη συναγωγή «όπως συνήθιζε την ημέρα του Σαββάτου». (Λουκάς 4:16) Εκτός αυτού, ως οικογένεια απολαμβάνουν πολύ τα τακτικά τους ταξίδια στον ναό του Ιεχωβά στην Ιερουσαλήμ.