มีตำนานเล่าว่าสมเด็จพระนเรศทรงบูรณะวัดเพื่อเป็นอนุสรณ์แก่นางปลื้มซึ่งเป็นชาวบ้านอยู่บริเวณนี้ เป็นวันที่นักท่องเที่ยวไม่ค่อยรู้จักมากนัก มีพระพุทธรูปหลวงพ่อขาวให้สักการะบูชา เขตพุทธาวาสสำหรับนักท่องเที่ยวเข้าไปชมวัดอยู่ทางซ้ายมือของถนนที่มาจากตลาดหัวรอ