Đền Vạn Ngang Đồ Sơn xưa có tên là Thủy Tiên Am được xây dựng năm Thái Ninh thứ 3 triều Lý thờ Chư Vị Thánh Tiên. Đây là nơi các bậc văn nho chức sắc tổ chức bình thơ xướng họa. Truyền thuyết kể rằng: Lưu Đình Chất người làng đông khê xã Quỳ Chữ khí chưa đỗ đạt ông có nằm mộng sẽ gặp đc một vị long thần phù giúp trong thời gian ông đi du xuân ngắm cảnh và có mặt trong cuộc bình văn thơ năm Hoằng Định thứ 7 đó đã được âm phù của thánh hoàng sau đó ông đỗ đạt lúc đó ông đã ngoại tứ tuần. Vào năm niên hiệu Vĩnh Tộ thứ tư đền chính thức được xây dựng hoàn thành bằng gạch lợp ngói nối kiến trúc hình chữ nhị, có cổng tam quan, đài cửu thiên, bia hạ mã. Cây đa cổng đền do tiến sĩ Lưu Đình Chất hậu tạ thánh ân đã phù hộ đỗ đạt. Tên đền Hoành Sơn Linh Từ được đặt vào năm Vĩnh Tộ thứ tư. Xong ngồi đền cổ này bị Pháp phá hủy vào năm 1886 để mở đường xây dựng nhà nghỉ thống sứ bắc kì. Sau đó nhân dân và nhà thầu xây dựng lại ngôi đền nhỏ để phụng sự xong ngồi đền nhỏ đó cũng bị phá hủy vào năm 1974. Đến năm 1991, Thủ Nhang Lưu Đức Thắng – Một người cả đời chăm chút cho ngôi đền đã cùng các con nhang, đệ tử thập phương xây dựng lại. Đền Vạn Ngang Đồ Sơn ngày nay rất khang trang, tố hảo nằm cheo leo bên một vách đá nhìn ra biền Đồ Sơn đầy gió tại nên một cảnh sắc Sơn Thủy Hữu Tình.
Tương truyền rằng vào một đêm cuối xuân năm niên hiệu Khai Thái thứ 5 các bậc nho sinh đang bình thơ tại Đền Vạn Ngang Đồ Sơn, bổng xuất hiện một vị tiên bà xưng là Tiên Bằng Công Chúa cùng xướng họa thơ ca và chỉ dạy thời cuộc cho người đương thời lúc bấy giờ biết được thời cuộc đổi thay, dạy cho nhân dân biết khai hoang trông trọt, biết về thời tiết, để khi ra khơi vào lộng tránh được sự sóng gió bất bình của thiên nhiên. Vì vậy nơi đây thờ Tiên Bằng Công chúa.
Vào năm niên hiệu Hoằng Định thứ 6 vào đêm ngày mồng 6 rạng ngày mồng 7 tháng 3 các bậc nho sinh bình văn đọc thơ bổng xuất hiện một vị nho sinh mặt mày khôi ngô tuấn tú mặc sắc phục trắng xưng danh là Đệ Tam Thái Tử cùng bình văn đọc thơ. Rạng ngày hôm sau thì không thấy vị nho sinh đâu nữa. Vì thế, người đời sau cứ mỗi độ xuân về lại tổ chức các cuộc bình văn đọc thơ để mong các bậc thần tiên giáng phàm. Cũng vì vậy, Đền Vạn Ngang Đồ Sơn đã lập thờ Quan Đệ Tam Thái tử tức Quan Hoàng Bơ là quan thủ đền.
Đền Vạn Ngang