Đền Chài xa xưa gọi là đình Chải thuộc thôn Ngân Hà, xã Đồ Sơn, năm 1934 Thực dân Pháp xây dựng pháo đài ở khu vực có đình tọa lạc, đình dời chuyển về bến Thốc. Sau này, sang chế độ mới chức năng chính trị xã hội của đình không còn nên người dân gọi là Đền Chài. Tên gọi đó tồn tại cho đến ngày nay. Đền Chài còn có tên gọi đầy đủ khác là Đền Vạn Chài. Bởi ngôi đền của dân cư làng đánh cá (Vạn trong tiếng Hán là làng đánh cá).
Men theo con đường nhỏ chạy ven bờ biển thuộc khu 1, Đền Vạn Chài hiện lên đầy uy nghi, nằm tựa lưng vào chân núi Đầu Vái - vị trí trung tâm của dãy núi Chín Rồng. Đây là vị trí thế đất phong thủy linh địa đầu con chim phượng. Theo các tài liệu của địa phương để lại, đền Vạn Chài xưa là đình Chài thuộc thôn Ngân Hà, xã Đồ Sơn. Năm 1934, thực dân Pháp xây dựng pháo đài ở khu vực có đình tọa lạc nên đình được di dời về Vạn Thốc.
Đền được xây dựng vào giữa thế kỷ 19, thờ Tứ vị Thánh Nương, các bậc Thánh bảo hộ giúp đỡ che chở cho những cư dân làm ăn trên biển. Ngôi đền nằm ở vị trí cửa biển có khí hậu khắc nghiệt nên trải qua thời gian bị xuống cấp nghiêm trọng nên đã nhiều lần được trùng tu, tôn tạo lại; lần mới đây nhất vào năm 2018.
Theo truyền tụng của nhân dân địa phương, ngay sau khi đền được xây dựng vào cuối thế kỷ 19, người dân Vạn Chài được mùa đánh bắt hải sản ba năm liền, cá từng đàn về trắng đầy bến Vạn Thốc. Không chỉ vậy, trong những năm kháng chiến chống thực dân Pháp, đền Vạn Chài còn là nơi hoạt động của lực lượng Việt Minh; nơi hội họp học tập, tuyên truyền đường lối chính sách của Đảng. Cũng có thời điểm, đây là nơi bình dân học vụ của con em cư dân miền biển.
Trải qua thăng trầm của lịch sử, sau nhiều lần tu sửa, đền Vạn Chài hiện có kiến trúc mặt bằng theo kiểu chữ tam, gồm ba gian tiền đường, ba gian trung đường và ba gian hậu cung. Toà tiền đường gồm bố bộ vì, vì kiểu bốn hàng chân cột, các cột được kê trên chân tảng đá xanh cổ; các kiện gỗ được chạm khắc theo các đề tài truyền thống như lá lật, hoa lá thiêng.
Ngôi đền ngày nay nằm trên một khuôn viên thoáng mát, với cảnh sắc phong thủy hữu tình, núi, biển cận kề; đặc biệt, bao bọc quanh ngôi đền là năm cây gạo cổ thụ. Vào mùa hè, những cây gạo với cành lá xum xuê; các cành lớn vươn dài tỏa bóng che mát cho toàn bộ khu trung tâm khuôn viên của ngôi đền.
Theo các bậc cao niên ở đây kể lại, năm cây gạo đã có trên trăm tuổi, mang ý nghĩa tên một loại ngũ cốc nuôi sống con người. Đồng thời, loài cây này cũng tượng trưng cho ước mọng, mong muốn của người dân miền biển cầu Quốc Mẫu Vua Bà phù hộ, giúp đỡ cho sự sinh sôi, phát triển, thịnh vượng.
Đền Vạn Chài là một công trình kiến trúc cổ truyền, đáp ứng nhu cầu sinh hoạt văn hóa tâm linh, tín ngưỡng của người dân miền biển. Ngày nay, nhân dân địa phương đang từng bước khôi phục lại những nét sinh hoạt văn hóa lễ hội truyền thống, để ngôi đền được xếp hạng di tích lịch sử cấp thành phố trường tồn mãi theo thời gian.
Đền Vạn Chài