Adapun asal nama mula Desa Candi dan dusun yang ada di Desa Candi,mempunyai cerita tersendiri,sebagai berikut :
Di sebelah timur pasar Candi tepatnya utara sumur Agung sekitar 100 meter,ada sebuah kuburan kuno berkisar 1 Abad lamanya, masyarakat menyebutnya “pujuk” Kuburan tersebut tempat disemayamkannya K. SYAFI’IE dan NYI NAFISAH, dimana pujuk tersebut sebagai pusat kegiatan rutin tahunan bagi masyarakat desa candi untuk bersama sama beristigosah kepada Allah SWT. Kemudian dari kegiatan rutin memuja atau istigosah tersebut, maka masyarakat menyebutnya dusun Poja.
Dinamakan Dusun gunung karena masyarakat yang tinggal berada pada dataran tinggi berbatu yang terletak di bagian timur selatan dari pusat desa candi.
Dinamakan Leke karena pada jaman peninggalan nenek moyang dulu ada sebuah sungai /kali yang dimanfaatkan oleh masyarakat untuk mengairi sawah untuk bercocok tanam atau bertani dari nama sungai tersebut kemudian masyarakat menyebutnya “Leke”
Disamping cerita dusun tadi nama Desa Candi diambil dari sebuah peninggalan nenek moyang yang bersejarah yaitu berupa Candi , tetapi sampai sekarang sudah tidak ada bentuknya lagi, yang ada hanya sisa pondasinya. Lokasi candi berada di dataran tinggi masuk dusun Gunung. Dari adanya bangunan candi itu masyarakat menamakan desa Candi.
