Sử tích ghi lại rằng: Linh Quang tự khởi đầu chỉ là ngôi chùa tranh đơn sơ được xây dựng từ năm 1747 để thờ cúng và làm nơi ở cho các vị trụ trì. Song, vào cuối thế kỷ 18 ngôi chùa này không may bị hỏa hoạn thiêu rụi, bao di sản cổ quý giá trong chùa đều bị hư hại, chỉ còn lại những tượng Phật bằng đồng, đất nung.
