ينظر إليه زوار المسجد نظرة استغراب، فيرى البعض أنه تصرف خبيث من المهندس النمساوي الذي أشرف على بناء المسجد، ويرى أخرون أنه يدل على التسامح الديني في ذلك الوقت، وأخرون يكتفون فقط بالاندهاش.
توجد الصلبان المسيحية، والآيات القرآنية جنبًا إلى جنب، تزين جدران مسجد الرفاعي، حيث يقع المسجد فى منطقة الخليفة في القاهرة، مقابل لقلعة صلاح الدين الأيوبي، كما يوجد بجانبه مسجد السلطان حسن، ومجموعة كبيرة من أثار العصور الإسلامية.
المفتش الأثري بالمسجد محمد عثمان يشير إلى أن السيدة خوشيارهانم، والدة الخديوي إسماعيل، هي صاحبة فكرة إنشاء هذا المسجد، وإنها ندرت ندرًا لله أثناء حكم ابناها، مضيفًا أنها إذا مرت الظروف الصعبة التي تعاصرها البلاد، فستقوم ببناء مسجد، وحدث ذلك بالفعل، فكلفت مهندس القصور الملكية ورئيس دائرة الأوقاف حسين فهمي باشا، بوضع التصميم الهندسي للمسجد، ورغم أن خوشيار هي صاحبة فكرة المسجد، إلا أنه لم ينسب إليها.
ثم استند أحمد الأيوبي في توضيح ذلك إلى المؤرخ تقي الدين المقريزي، لأنه كتب أن موقع المسجد كان يشغله مسجد صغير من العصر الفاطمي، وكانت هناك زاوية صغيرة عرفت باسم "الزاوية البيضاء" أو "الزاوية الرفاعية"، تلك الزاوية كانت مقرًا لشيوخ الطريقة الرفاعية، وبعد موتهم أُلحقت بها قبورهم، وحين شرعت والدة إسماعيل في بناء المسجد، لم يعرفوا العامة المسجد باسمها، وعرفوه باسم الرفاعي.
ويضيف " الأيوبي" أن بناء المسجد توقف عام 1885، بعد أن ارتفع مترين عن سطح الأرض، بسبب وفاة خوشيار هانم، وظل العمل متوقفًا مدة ربع قرن، إلى أن جاء الخديوي عباس حلمي الثاني عام 1905، وعهد إلى أحمد خيري باشا مدير الأوقاف الخصوصية بإتمام المسجد.
ويوجد داخل المسجد ضريح لجنانيار هانم شقيقة فريندنال ديلسبس، مهندس قناة السويس، التي تزوجها الخديوي إسماعيل، هذا الضريح مصمم على طراز العمارة المسيحية ويعلوه صليب أسفله آيات قرآنية، ولذلك يستغرب الزائرون من المزج الغريب، ويدفعهم إلى التساؤلات كثيرًا، ولكن عندما يعرفون سرد تاريخ المسجد تزول الدهشة، بينما تسود عدم المنطقية لدى أخرين.
يستكمل محمد عثمان حديثه، أن المهندس النمساوي يدعى ماكس هرتز باشا، ومساعده الإيطالي كارلو فيرجيليو سيلفايني، أشرفا على بناء المسجد، وتم تصميمه على الطرازين المملوكي والأوروبي، ويضيف أن المسجد تم بناؤه فعليًا في عهد الخديوي عباس حلمي الثاني، واستغرق 40 عامًا في بناءه، وافتتح المسجد رسميًا للصلاة عام 1912.
ضريح جنانيار ليس الوحيد الذي يضمه مسجد الرفاعي، ففي الجانب الشمالي فيه 6 أبواب، منها 4 توصل إلى المدافن، و2 يوصلان إلى رحبتين بين تلك المدافن، وحجرة أشكال يوجد بها 4 قبور لأبناء الخديوي إسماعيل هم: (علي جمال الدين، والسيدة توحيدة، والسيدة زينب، وإبراهيم حلمي)، وعلى يسارها من الجهة الغربية إحدى الرحبتين، التي توصل إلى القبة الثانية وتضم قبرين، الأول للخديوي إسماعيل، والثاني للسيدة خوشيار هانم.
وتضم الرحبة الثانية قبور زوجات الخديوي إسماعيل إذ يوجد قبر "شهرت فزا هانم"، وقبر "جشم رفت هانم"، وهما تركيتان، بجانب قبر "جنانيار هانم"، شقيقة ديلسبس.
وفي حجرة مجاورة، يوجد قبران أحدهما للسلطان حسين كامل ابن الخديوي اسماعيل، والآخر لزوجته السيدة ملك
وفي الجزء الآخر من المقابر الملكية في الواجهة الغربية، يوجد قبر الملك فؤاد الأول، وقبر آخر لوالدته الأميرة فريال، وثالث للملك فاروق، وهو أخر الملوك الذين تولوا حكم مصر.
ويضم المسجد أيضًا قبر شاه إيران محمد رضا بهلوي، الذي جاء إلى مصر عقب اندلاع الثورة الإيرانية، ودفن في هذا المكان الذي خصص له، بسبب علاقة المصاهرة بينه وبين الملك فاروق، إذ إن الشاه كان متزوجًا الأميرة فوزية شقيقة الملك.
كما يضم المسجد ضريحي الأميرة فادية، الابنة الصغرى للملك فاروق، وشقيقتها الأميرة فريال، ودفنت في هذا المكان بناء على طلب أسرتها لتكون بجوار أبيها.
وفي زاوية صغيرة أمام المدخل الرئيسي للمسجد، يوجد ضريحان للشيخين علي أبي شباك، ويحيى الأنصاري، وهما من شيوخ الطريقة الرفاعية.