Kargalı Köyü Adıyaman iline 80 km , Besni ilçesine 35 km, Çakırhöyük Beldesi’ne 7 km, Kesmetepe Beldesi’ne 6 km uzaklıktadır. Köyün batısında Aşağısöğütlü Köyü ve Çövenek Deresi, güneyinde Kesmetepe Beldesi ve İnce Araplar Köyü, doğusunda Çakırhöyük Beldesi ve Camurçu Köyü bulunmaktadır. Köyümüz kuzeyinde bulunan tepenin yamacına yerleşmiştir.