Kayaköy, veya  eski ismi ile Levissi, çok uluslu Osmanlı İmparatorluğu'nun sona yaklaştıktan sonra, Yunanistan ve Türkiye hükümetleri etnik ulus devletler olmak için nüfus mübadelesi tarihinde sonuçlanan 1923 yılına kadar bir Rum kasabasıydı. Bu antlaşmaya göre, Türkiye'nin tüm Rum Ortodoks nüfusu Yunanistan'ın tüm Müslüman nüfusu karşılığında Türkiye'ye sürgün edilecekti.

Ancak, bu bölgeye yerleşenler arazinin ekim alanalarının az olması ve yaşam yerlerinin de bu sebepten dağların yamaçlarında yer alamsından dolayı zor bir yer oldu. 1957 yılında meydana gelen büyük deprem dolayısı ile Kayaköy bu günkü haline bırakıldı.
Kayaköy  eski zamanda yerel bir gazete , çok sayıda okul ve mağazaları içinde barındırıyordu. Ama bugün Keçiler , Kınalı ve yaklaşık 2 km kuzeyinden 2 km batısında yer alan mahallelerde bir avuç eski Kayaköylü kalmıştır. Bu sebepten kayaköyün diğer ismi olan "hayalet kasaba" denmeye başlanmıştır.