הברון הצרפתי-קתולי דה פיילה, שהגיע לירושלים בשנת 1874, נחרד מהיעדרן של אכסניות מתאימות לקליטת צליינים קתולים מצרפת. בשנת 1884 רכש הברון שטח בן 4,000 מ”ר בסמוך לבית החולים סט. לואי (צרפתי). אבן הפינה למנזר הונחה ביוני 1885 והמנזר פתח את שעריו בשנת 1888 (טרם השלמתו). עם סיום השלמת האכסנייה בשנת 1904 החלה תנועת צליינות גדולה ומאורגנת מצרפת, ספרד, אוסטריה ואיטליה, שהביאה לפריחת האכסנייה.
תכנית הבניין נעשתה בידי האב אטיין בובה, איש המסדר, בסגנון המשלב ארכיטקטורה ניאו קלאסית ומודרנית, תוך שימוש במוטיבים מזרחיים. ממדי המנזר המרשימים נועדו לענות על צרכי קבוצות הצליינים הגדולות שמנו לעיתים עד 1,000 איש ויותר.
מבנה המנזר מלבני, אורכו כ-90 מטרים, במרכזו כנסייה (קפלה) ומשני צדיו אגף ניצב שאורכו כ-45 מטרים. הבניין מתנשא לגובה ארבע קומות גבוהות וקומת מרתף וגובהו הכולל כ-23 מטרים. תכנית הבניין במקורה עשויה הייתה אולמות ציבור בקומת הקרקע וחדרי צליינים בקומות העליונות. במרכז כל הקומות העליונות מסדרון אמצעי צר ומשני צדדיו שורת חדרים. החדרים קטנים בגודל של 4×2.5 מטר, יש בכל אחד מהם חלון אחד והם נועדו במקורם למגורי ארבעה צליינים. ב-410 החדרים שבבניין יכלו אפוא להתאכסן בתקופות השיא למעלה מ-1,600 צליינים בעת ובעונה אחת.
על גג המנזר שני מגדלי פעמונים מתומנים, הבולטים בעיצובם בדמות צריחי טירות; הגג מוקף מעקה אבן, מגולף בצורת עיגולים ובתוכם צלב. צמד מגדלי הפעמון נבנו בשלב מתקדם של הבנייה, ופסל המדונה ובנה הותקן לפני חנוכת הבניין ב-1904. סגנון המגדלים: בצורת מתומן בעיטורי זיג-זג בראש כותרת המגדל אשר אופייניים לסגנון הברוק גדוש הפאר וההדר.
לאחר שנסתיימה בניית המנזר ובית החולים סט. לואי שלידו, דרשה ממשלת צרפת מהטורקים לאפשר את פריצת החומה מול המנזר, כדי להקל על המעבר לרובע הנוצרי, ואכן ב-1889 נפתח השער השביעי בחומת העיר העתיקה ששמו נקר- “השער החדש”. עם פרוץ מלחמת העולם הראשונה הוכרזו הנזירים האסומפסיוניסטים, שניהלו הבניין מאז הקמתו, “נתיני אויב” וגורשו מהבניין. הצבא הטורקי השתלט על הבניין, הציוד שבו נבזז וחלק ממתקניו נהרסו. כאשר כבשו הבריטים את ירושלים ב-1918 חזרו הנזירים האסומפסיוניסטים לאכסנייה. הצליינות הקתולית הגדולה פסקה כמעט כליל והבניין איבד מחשיבותו הגדולה לפני מלחמת העולם הראשונה. במלחמת העולם השניה הופקע המנזר בידי צבא הבריטי, שהחזיק בו עד מלחמת השחרור.
היהודים והערבים כאחד המתינו לעזיבת הבריטים כדי להשתלט עליו, וזאת בשל חשיבותו הצבאית, בהיותו ממוקם בנקודה גבוהה, שחלשה על הסביבה. הערבים רצו להמשיך מכאו ללב ירושלים העברית, ואילו היהודים ביקשו לשלוט מכאן על העיר העתיקה ועל שער שכם. כנופיות של עיראקים ומתנדבים ערבים מצפון אפריקה פרצו למנזר והחלו משתלטים על אגפיו, אך לפני שהצליחו לבסס את אחיזתם, נכבש המקום במבצע “קלשון”, שנועד לתפוס את מעוזי הבריטים בירושלים מיד עם עזיבתם.
כיבוש נוטרדאם נעשה כמעט באקראי: יחידה של לח”י ניסתה לפרוץ לעיר העתיקה דרך השער החדש החדש. לאחר שלוחמיה הגיעו לכיכר צה”ל (אז רחבת אלנבי), הם נלכדו באש שנורתה ודרך נסיגתם נחסמה. שתי מחלקות של “ההגנה” חשו לעזרתם, אך נתקלו בכנופיות הערביות שבמנזר. בקרב הקצר שהתנהל בחצר המנזר ברחו הערבים והמנזר נפל לידי כוחותינו. האויב הבין את משמעות השליטה בנוטרדאם וניסה לשוב ולכובשו. טור של הלגיון שכלל משוריינים, תותחנים וחיל רגלים הסתער על המנזר. התוקפים התכוונו לכובשו ולהמשיך לירושלים העברית. בקבוק “מולוטוב” שהשליך נער בן 16 מהקומה השנייה, הצית את המשוריין הראשון שכבר הגיע לבניין. כשנפגע המשוריין השני, החל האויב בהסתערות, אך נתקל באש חזקה ופתח במנוסה, כתוצאה מהקרב חלק מקירות המנזר קרסו.
בתום הקרבות במלחמת העצמאות נמצא המנזר בקו הפסקת האש בשטחנו. צה”ל הפקיע לצרכיו את האגף המזרחי, אשר מגגו הרחב ניתן לתצפת על העיר העתיקה, ובמיוחד על הפינה הצפונית. המנזר עצמו הוחזר לבעליו, וחלקו המשיך לשמש כבית מלון, בעיקר לצליינים שחיפשו מקום לינה זול, אך גם יהודים התגוררו בו באופן זמני. גג המלון שימש נקודת תצפית לתיירים לעיר העתיקה ואתריה.
לאחר מלחמת ששת הימים נערך במקום טקס צנוע, שבו החזיר מפקד חטיבת ירושלים את האגף המופקע לידי נציג המנזר. בסיום הטקס נמסר לידי הנזירים שי – קופסת עץ זית ועליה כתובת: “לאבות הכנסייה נוטרדאם דה פראנס, בהוקרה ובברכה מצבא ההגנה לישראל”. בתוך הקופסא היה מפתח, שסימל את החזרת האגף שהופקע לידי בעליו.
בשנת 1970 לאחר שהבניין עמד בשיממונו כמה שנים אחרי איחוד העיר, מכרו אותו האבות האסומפסיוניסטים ל”הימנותא”, חברת בת של קרן הקיימת לישראל שעסקה בגאולת קרקע. פעולה זו נעשתה ללא אישור הכס הקדוש ברומא, והביאה למאבק משפטי נמרץ להחזרת הנכס. בינתיים העבירה החברה את הבניין לרשות האוניברסיטה העברית, וזו עמדה להופכו למעונות סטודנטים. בית המשפט הישראלי דחה את עתירת הכנסייה להחזרת הנכס, אך מחוץ לכתליו הושגה פשרה בין המדינה לוותיקן והבניין הושב לידי הכנסייה הקתולית. האפיפיור פאולוס השישי החליט להחזיר עטרה ליושנה ולשקם את הבניין כאכסנייה יוקרתית.
בשנת 1973 התבקש האדריכל האמריקני-איטלקי פרנצ’סקו מונטנה (Francesco Montana) להכין תכנית לשיפוץ המבנה הקיים ולבניית כמה מבנים אחרים בשטח המתחם. מונטנה הכין תכנית כוללת לכל המתחם. עפ”י תכנית זו שופץ הבניין הקיים כמלון צליינים יוקרתי, מול החומה נבנה אגף מנהל חדש. החללים שבקומת הקרקע שופצו והיו לאולמות קבלה, חדרי אוכל וקפיטריות. שני חדרים מקורים שבקומות העליונות אוחדו לחדר אחד גדול, שבו הותקנו שירותים נפרדים, במתכונת המקובל בבתי מלון מודרניים ויוקרתיים. המדרגות, עבודות השיפוץ, השינויים והתוספות נמשכו קרוב לעשר שנים (1975- 1985) והיו מהמקצועיות והמעולות ביותר שנעשו בירושלים בתקופה זו, תוך כדי שמירה אופטימלית על אופי הבניין המקורי והקפדה רבה על הפרטים ועיבודי האבן. הבניין נפתח רשמית ב-27 בדצמבר 1978 בנוכחות מכובדים רבים מהארץ ומחוצה לה.