Khi giặc Minh xâm lược Đại Việt (1407) chùa bị phá hủy nặng nề, tượng phật Quỳnh Lâm bị cướp mang về Kim Lăng. Đầu đời Lê, chùa được dựng lại. Vào thời Vĩnh Khánh (1729-1732) Uy Nam Vương Trịnh Giang cấp tiền, rồi lấy dân ba huyện Đông Triều, Thủy Đường, Chí Linh, tu tạo quy mô, bài trí lộng lẫy. Đến đầu đời Vĩnh Hựu (1735-1746), lại lấy dân các huyện Hiệp Sơn, Thủy Đường, Đông Triều, Kim Thành và Thanh Hà sửa sang lần nữa, rộng lớn hơn có cả chuông đồng, khánh đá...
Tấm bia Trùng tu tái tạo Tiên Du sơn đệ nhất Quỳnh Lâm tự bi năm 1629 cho biết chùa đã được dựng lại quy mô tổng cộng 103 gian, gồm: Tam quan, tiền đường, tòa thiêu hương, hành lang tả hữu, gác chuông, nhà tăng...
Năm 1727, chùa dựng tháp Tịch Quang bằng đá xanh. Tháp này là mộ của nhà sư Chân Nguyên, một nhà sư có công lớn đối với chùa. Tháp gồm bảy tầng, cao 10 m, đỉnh tháp hình búp đa, trên tháp có gắn tấm bia ghi lại tiểu sử của sư Chân Nguyên. Đến thời Nguyễn, niên hiệu Thiệu Trị thứ sáu (1845) chùa bị bọn thổ phỉ người Tàu đốt cháy mất chính điện và tiền đường. Tất cả các tượng gỗ đều cháy, duy tượng vua Trần Nhân Tông là còn nguyên. Trải qua thăng trầm của lịch sử, các công trình kiến trúc cổ của chùa Quỳnh Lâm đã bị huỷ hoại rất nhiều. Ở sân trước chùa có nhiều tháp cổ, trong đó có tháp Tịch Quang là tháp mộ Thiền sư Chân Nguyên (1727). Trên tháp có tấm bia Tuệ Đăng Chính Giác Hòa thượng Chân Nguyên Thiền sư ghi tiểu sử của Thiền sư Chân Nguyên. Đặc biệt, chùa còn giữ một tấm bia thời Lý cao 2,43m, ngang 1,54m, khắc chữ hai mặt, và một số di vật bằng đá, đất nung cổ.