Miếu bà Hoàng Phi Yến hay còn gọi là An Sơn miếu là nơi thờ bà Phi Yến – Thứ phi của chúa Nguyễn Phúc Ánh (Nguyễn Ánh), Bà có tên thật là Lê Thị Răm. Năm 1783, Nguyễn Ánh bôn đào ra Côn Đảo để tránh sự theo dõi của lực lượng Tây Sơn. Vì thất bại liên tục nên ông đưa hoàng tử Hội An (có tên tục là hoàng tử Cải) tháp tùng cùng Bá Đa Lộc sang Pháp làm con tin để cầu viện. Bà Phi Yên ngỏ lời khuyên Nguyễn Ánh rằng: “Việc đánh nhau với Tây Sơn là chuyện trong nhà, thiếp nghĩ chúa công không nên nhờ vả ngoại bang, nếu thắng được Tây Sơn thì chẳng vẻ vang gì mà e còn lắm điều rối rắm về sau…” Chỉ mấy điều khuyên can ấy mà chúa Nguyễn Ánh nổi trận lôi đình, nghi bà Phi Yến có ẩn ý thông đồng với quân Tây Sơn. Nếu không có các quan cận thần hết lời xin giảm án cho bà, ắt bà không thoát khỏi tội chém đầu. Tuy nhiên, Nguyễn Ánh vẫn truyền lệnh giam cầm bà vào một hang đá trên hòn đảo hoang vắng nằm về phía Tây Nam của quần đảo Côn Đảo (Hòn Bà ngày nay).

Vừa truyền lệnh giam cầm Thứ phi – Phi Yến xong thì Nguyễn Ánh được tin quân Tây Sơn sắp ra đến Côn Đảo, ông liền cùng đoàn tùy tùng xuống thuyền chạy tiếp. Lúc bấy giờ đứa con duy nhất của bà Phi Yến cùng với chúa Nguyễn Ánh là hoàng tử Hội An (5 tuổi) khóc lóc đòi mẹ bị Nguyễn Ánh ném xuống biễn, xác trôi tấp vào làng Cỏ Ống. Ngày nay tại làng cỏ ống còn ngôi mộ và miếu thờ hoàng tử Hội An (Thiếu Gia Miếu). Theo truyền thuyết dân gian kể lại, bà Phi Yến đã được hai con vật rất khôn ngoan, trung thành cứu sống, đó là vượn bạch và hắc hổ. Chúng đưa bà đến làng Cỏ Ống nơi có nấm mộ hoàng tử Hội An. Dân làng Cỏ Ống hay tin đã dựng cho bà một ngôi nhà ở gần đó để tiện bề lui tới bên nấm mộ của con trai mình.

Tháng 10 (Âm Lịch) năm 1785, làng An Hải (nơi có ngôi An Sơn Miếu ngày nay) tổ chức hội làm chay tế lễ trong làng. Họ rước bà Phi Yến đến tham dự cho thêm phần long trọng. Đêm hôm ấy, tại làng An Hải bà đã bị tên Biện Thi (một tên đồ tể) lén vào cấm phòng của bà dở trò sàm sở, song Biện Thi chỉ vừa nắm được tay bà thì bà đã kịp tri hô cho dân làng bắt giam chờ xét xử. Cũng đêm hôm ấy bà Phi Yến đã liều mình tự tử để được vẹn toàn danh tiết.

Số phận đã an bà cho bà Thứ Phi – Phi Yến yên nghỉ tại làng An Hải, dân làng đã lo việc tống táng và lập miếu thờ bà – Người phụ nữ “Trung trinh tiết liệt”. Hàng năm cứ vào ngày 18 tháng 10 (Âm Lịch), nhân dân Côn Đảo đều tổ chức lễ giỗ bà rất long trọng và thường là làm cỗ chay để tưởng nhớ cũng vì một hội làm chay mà bà phải bỏ mình.