Chùa Tứ Giáp xưa thuộc xã Nhã Nam, tổng Nhã Nam, phân phủ Lạng Giang có tên là Đại Phúc. Phần lớn công trình tín ngưỡng, tôn giáo này đã bị thực dân Pháp phá hủy vào năm 1885. Đến năm 1886, nhân dân xã Nhã Nam và 2 xã Dương Lâm, Lý Cốt góp công, góp của phục dựng lại trên đất làng Nguộn.
Vào dịp Tết Nguyên đán năm 1948, đồng chí Hoàng Mai, Giám đốc Công an Khu XII, gửi thư và biếu Bác Hồ tờ báo “Bạn Dân” số tết để xin ý kiến Bác về nội dung, hình thức của báo. Ngày 11-3-1948, Chủ tịch Hồ Chí Minh gửi thư cho Công an Khu XII và đồng chí Hoàng Mai đã nhận, trực tiếp mở bức thư của Bác tại ngôi chùa Tứ Giáp. Trong bức thư có nêu 6 điều dạy về tư cách người công an cách mạng, từ đó, ngôi chùa trở thành nơi khởi nguồn 6 điều Bác Hồ dạy Công an nhân dân.
Thời gian qua, chùa Tứ Giáp bị xuống cấp. Tháng 1-2021, UBND thị trấn Nhã Nam và Công an tỉnh Bắc Giang tổ chức lễ động thổ tu bổ, tôn tạo lại chùa. Bộ Công an, Tỉnh ủy, UBND tỉnh Bắc Giang, công an các đơn vị, địa phương, nhà hảo tâm, nhân dân địa phương đóng góp gần 23 tỷ đồng.
Đến nay, dự án tu bổ, tôn tạo đã cơ bản hoàn thành giai đoạn 1. Giai đoạn 2 dự kiến hoàn thành vào dịp kỷ niệm 75 năm ngày Bác Hồ có 6 điều dạy Công an nhân dân (11-3-1948 - 11-3-2023).
