Tương truyền, năm 858, cao tăng Tuệ Ngạc đi thỉnh bức tượng Quan Âm Bồ Tát từ núi Ngũ Đài về Nhật bằng tàu. Khi ông đi qua Phổ Đà Sơn, trên mặt biển xuất hiện nhiều hoa sen khiến tàu không thể di chuyển. Cao tăng thầm hiểu Quan Âm không muốn sang Nhật Bản, liền chuyển bức tượng vào đảo, dựng ngôi chùa “Quan Âm Bất Kháng”.
