Tích xưa ghi rằng, vào đầu thế kỷ 19, một nhà sư từ miền Trung vào sống ẩn dật ở một hang đá trong rừng, dân làng đi rừng nghe tiếng tụng kinh từ hang đá phát ra. Biết bị lộ nhà sư bỏ hang đá ra đi để lại tấm bản đồ chỉ dẫn vị trí xây dựng ngôi chùa bên sườn núi Linh Sơn. Vì thế, khi ngôi chùa được xây xong thì người dân đặt tên là chùa Linh Sơn.
