Bu llawer o ofid ynglŷn ag adeiladu Eglwys Elian, neu fel y gelwir heddiw, Eglwys Ilan. Nid y man lle y saif yr eglwys heddiw ydyw’r fan cyntaf y penderfynwyd adeiladu’r eglwys. Saif y llecyn gwreiddiol tua hanner milltir i’r de o’r fan y lle y saif yr hen eglwys yn bresennol. Adnabyddir y llecyn heddiw yn hawdd iawn, oherwydd y mae chwarel yn ei hymyl. Heddiw saif yr eglwys ar ben cwm bychan a elwir Cwm Eglwysilan.

Dechreuwyd adeiladu yr eglwys ar y llecyn gwreiddiol, ond er syndod i bawb, bob bore cafwyd holl waith y diwrnod blaenorol wedi ei ddinistrio, a’r cerrig a’r priddfeini, a phethau eraill a ddefnyddir at adeiladu wedi eu symud oddi wrth y fan honno i’r lle saif yr eglwys arno yn bresennol.

Ni wnaed llawer o sylw y bore cyntaf, ond pan cafwyd yr un peth ar y boreuon eraill ac a gawsant y bore cyntaf, dechreuasant i chwilio yn fanwl i fewn i bethau. Cafodd yr adeiladwyr yr un peth bob bore pan aethant i’w gwaith, fod pob peth a ddefnyddiwyd i adeiladu wedi eu cludo i fwrdd i’r man lle y saif yr eglwys bresennol. Felly daethant i’r penderfyniad hyn, fod ysbrydion yn mynychu y llecyn yn y nos, ac yn cludo y peiriant a’r cerrig ymaith i’r man lle y cawsant hwy bob bore.

Brawychwyd hwy, a chredasant mai man anffodus yr oeddent wedi ei ddewis i adeiladu yr eglwys arno, gan fod y llecyn yn cael ei fynychu gan ysbrydion. Yr oeddynt yn ofergoelus iawn a meddyliasent fod y man lle y cludwyd yr holl offer yn llecyn ffodus, a bod yr ysbrydion yn dangos y llecyn iddynt, trwy gludo y cerrig i’r fan honno. Felly oherwydd hyn, adeiladwyd yr eglwys lle y saif yn awr.