옛날 차귀도는 "사귀선(뱀섬)" 이라고 불리워지기도 하였다. 먼 옛날에는 이곳에 차귀사당이 있어 춘추로 제사를 지냈다고 한다. 또한 고려 16대 예종 때에 중국의 호종단을 보내어 제주에서 인재가 나지 못하도록 제주도의 9혈을 찾아 모두 자르라는 명을 받고 8개혈은 처리하고 1개혈(지장샘=서귀포서흥리)은 처리를 하지 못하여 귀국선을 타고 차귀도에 이르렀을 때 한 마리의 날쌘 매가 날아와 폴풍을 일으키며 그 배를 침몰 시켰다. 이는 한라산 수호신이 매로 변하여 호종단의 횡포에 복수를 한 것이라고 전해진다. 이 때 한라산 영실에 있던 5백장군중의 하나가 이곳으로 달려와 호종단을 때려 잡았다고 하고 그 한 개가 이곳에 떨어져 나온 장군석이라는 것이다. 그래서 한라산의 5백 장국석을 엄밀히 헤아려보면 5백개가 되지 못하고 499개 뿐이라고 한다. 이렇게 하여 호종단이 제주도의 혈의 기운을 지우려고 왔다가 실패하여 돌아가는 그를 때려잡은 섬이라 하여 차귀도라는 명칭이 생긴 것이라고 전해온다.