Legenda setempat menyebutkan bahwa dahulu kala, ada seorang pertapa sakti bernama Ki Ageng Silawe yang tinggal di sekitar kawasan tersebut.