儘管有人說亞瑪力人的祖先不是以掃的孫子亞瑪力，認為他們的淵源要早得多，卻又未能提出確鑿的證據。這個說法其實是根據巴蘭的一句話：「亞瑪力人是列國的先鋒，他最終的結局卻是滅亡。」（民24:20）問題是，巴蘭在這裡不是一般性地談到各國各族的歷史，也不是談在此之前七八百年各民族的起源。當時，巴蘭是受雇去詛咒快要進應許之地的以色列人，談的純粹是這個民族的歷史。巴蘭列舉以色列人的仇敵如摩押、以東和西珥後指出，在以色列人離開埃及往巴勒斯坦途中，列國中帶頭攻擊他們的「先鋒」是亞瑪力人，而亞瑪力人最終的結局就是「滅亡」。

以色列人離開埃及，到達西奈山附近的利非訂時，亞瑪力人無故襲擊他們，是列國中帶頭攻擊他們的「先鋒」。因此耶和華作出判決，下令把亞瑪力人滅盡。（民24:20；出17:8-16；申25:17-19）一年後，以色列人罔顧耶和華的指示，企圖硬闖應許之地，結果被亞瑪力人擊退。（民14:41-45）在士師的日子，跟以色列人作對的亞瑪力人兩度進犯，其中一次是在摩押王伊磯倫在位的時候。（士3:12,13）此後，亞瑪力人跟米甸人和東方的人聯手攻擊以色列人達七年之久，最終被基甸和他的三百個勇士擊潰。（士6:1-3,33；7:12；10:12）