วัดนารายณิการามเดิมชื่อว่าวัดในเหล เหตุที่ชื่อว่าวัดนารายณิการามเพราะมีการขุดค้นพบเทวรูปนารายณ์ในบริเวณวัด โดยในปี พ.ศ. ๒๕๒๒ พระครูโสภณประชานุกูล เจ้าอาวาสวัดนารายณิการามได้นำภิกษุและสามเณรไปช่วยกันขุดโคนต้นตะแบก พบเศียรและชิ้นส่วนของเทวรูปพระนารายณ์ พระลักษมณ์ และนางสีดา จึงนำมาประดิษฐานไว้ที่วัด โดยเทวรูปดังกล่าวทำด้วยหินขนาดใหญ่มีความสูงเท่าตัวคน(คนสิบคนยกไม่ขึ้น) เป็นศิลปะแบบปัลลวะ อินเดียใต้ ประมาณพุทธศตวรรษที่ ๑๒-๑๔ ต่อมาเทวรูปพระนารายณ์ได้ถูกย้ายไปประดิษฐาน ณ พิพิธภัณฑ์สถานแห่งชาติถลาง จ.ภูเก็ต โดยกรมศิลปากรได้ทำองค์จำลองไว้ให้ที่วัดแทน ตัวเจ้าอาวาสเองมีฝีมือในการแกะสลักหิน จึงได้สร้างเทวรูปจำลองอื่น ๆ เพิ่มเติมด้วยตนเองโดยส่วนตัวเจ้าอาวาสท่านนี้มีภูมิลำเนาอยู่ในจังหวัดฉะเชิงเทรา แต่เมื่อมาเห็นวัดจึงอยากจะบูรณะปฏิสังขรณ์ ด้วยเล็งเห็นว่ามีโบราณสถานหลายแห่งในบริเวณวัดและใกล้เคียงที่ควรจะอนุรักษ์เอาไว้ พิพิธภัณฑ์วัดเปิดให้เข้าชมตั้งแต่ปี พ.ศ. ๒๕๒๔ ตัวพิพิธภัณฑ์อยู่ในศาลาใกล้กุฏิเจ้าอาวาส จัดแสดงโบราณวัตถุที่สำคัญได้แก่ องค์นางสีดา จักรของเทวรูปพระนารายณ์ เศียรส่วนนบนของพระนารายณ์ ชายผ้าพระนารายณ์ ฐานบัวที่พระนารายณ์ประทับยืน มือของเทวรูปพระลักษณ์ ศิวลึงค์ใหญ่ โบราณวัตถุเหล่านี้ทำด้วยศิลา และยังมีภาชนะดินเผาจำนวนหนึ่ง ตลอดจนเครื่องมือทำมาหากินของคนโบราณ รวมทั้งหมดกว่า ๓,๐๐๐ ชิ้น โดยมีคำบรรยายเป็นบางชิ้น แรกเริ่มที่ขุดค้นพบเทวรูปนารายณ์ทำให้มีปัญหากับกรมศิลปากรเกี่ยวกับการส่งมอบเทวรูปนารายณ์ เพราะกรมศิลปากรถือว่าเป็นสมบัติของชาติและกรมศิลปากรได้ขึ้นทะเบียนไว้ การจัดแสดงของในพิพิธภัณฑ์ได้เจ้าหน้าที่พิพิธภัณฑ์ กรมศิลปากรภาค ๑๒ คุณประภัสสร โพธิ์ศรีทอง เข้ามาช่วยเหลือ