סיפורו של בית החולים החל כ-30 שנה לפני הפעלתו. בתרל”ג (1873) יצאו שני שליחים לגרמניה בקשר לעזבון גדול. בשהותם שם, נפגשו עם הרב במברגר, מנהיג היהדות החרדית בדרום גרמניה, וסיפרו לו על תלאות יהודי ירושלים וסבלם מהמיסיון, המושך אליו את עניי העדה, בהגישו עזרה רפואית ותרופות חינם. הם ביקשו שיעודד את יהודי גרמניה לסייע למוסדות הרפואיים שפעלו אז בירושלים, בהם בית החולים ביקור חולים ובית החולים רוטשילד.
בשנת 1888 הוצע לרכוש את בניין הקונסוליה הגרמנית הישן בעיר העתיקה לצורך הקמת בית החולים. הקונסול הגרמני ניסה לסייע בהסרת התנגדות השלטונות הטורקים והמו”מ עמם נמשך שלוש שנים. לבסוף נדחתה הבקשה בשל התנגדות התושבים המוסלמים ובנימוק ש”בית החולים חייב לקום ברובע היהודי” (ולא ברובע המוסלמי). התכנית נגנזה זמנית וכעבור מספר שנים נמכר בניין הקונסוליה.
ב-1890 נשלח לארץ הד”ר ולאך מטעם “ועד יהודי פרנקפורט” כדי לסייע ליהודי העיר העתיקה במצוקתם. מאז נקשר שמו ל”שערי צדק” שהוקם לימים ביוזמתו ואף נקרא על שמו. ד”ר ולאך פיתח תחילה קליניקה ובית מרקחת בעיר העתיקה אלא שלא היה בכך כדי לענות על צרכי היישוב היהודי המתפתח והוחלט על הקמת בית חולים גדול ומשוכלל מחוץ לחומות. בעזרת יהודי גרמניה ובראשות ד”ר ולאך, נרכש מגרש גדול במערב בעיר שהיה ממוקם רחוק מהאוכלוסיה היהודית בעיר העתיקה ומהשכונות הראשונות שמחוץ לחומות. תכנית בית החולים הוכנה בידי האדריכל הגרמני תיאודור סנדלר, שתכנן גם את בית החולים הגרמני ברחוב הנביאים (ביקור חולים). הבניין החדש היה בן שתי קומות והוקף בגן שנתחם בחומה. לצד הבניין הראשי הוקמו שני מבנים נוספים האחד לאחיות והשני לטיפול במחלות מדבקות. מלאכת הבניין נעשתה ביד פועלים יהודים וערבים, זה לצד זה, דבר שעורר הדים רבים באותם הימים. ניהול העבודה נמסר לידי הקבלן והבנאי היהודי הירושלמי ר’ יעקב מן. בעלי המקצוע בענף הבנייה והנגרות היו הערבים כשהיהודים למדו מהם את המלאכה.
א. שער הכניסה הראשי לבניין – מורכב ממשקוף אבן מפואר עם מרפסת מעליו שהינה בעלת כרכובים המעוצבים באבן מיוחדת. דלת הכניסה עשויה עץ מגולף שמעליו סורג מסוגנן הכולל את תאריך חנוכת הבניין (תרס”א – 1901). באמצעות הפאר הרב של הכניסה האמצעית מודגשת הסימטריה של הבניין.
ב. מבואת אולם הכניסה הראשי – שער הכניסה מוביל לאולם מפואר המכולל ארבעה עמודים וקשתות שיש מפואר.
ג. חלל בית הכנסת ודלת הכניסה – כהמשך לציר הסימטרי של שער הכניסה הראשי ואולם הכניסה ישנו בית כנסת עם דלת כניסה המגולפת עץ. ריהוט העץ של בית הכנסת אופייני לריהוט הקרוקי של מבני דת יהודיים מתחילת המאה ה-19.
ד. חלונות הבניין – ממוקמים בקצב קבוע בקירות הבניין שהם בעלי פרופורציות אנכיות. מזוזות ומשקופי החלונות מעובדים בעיצוב מיוחד.
ה. פינות הבניין של החזית מודגשות בעיבוד אבן מיוחד (טובזה גס) בקונטרסט לעיבוד האבן העדין יותר (טלטיש) של יתרת קירות האבן.
בית החולים נחנך בטקס חגיגי בתרס”ב (1902) בהשתתפות כל המי ומי של ירושלים באותם הימים – הפשה הטורקי, הקונסול הגרמני, האדריכל תיאודור סנדלר, נכבדי הקהילה ומוזמניה. בית החולים הוקם בסמוך לשכונת שערי צדק ומכאן שמו, אך בפי העם רווח גם השם בית החולים ולאך ע”ש האיש שקשר את גורלו ועתידו למוסד זה. מאז הקמתו מלווה בית החולים את היישוב הירושלמי ותורם את חלקו. במלחמת העולם הראשונה נפסקה זמנית תמיכת יהודי גרמניה והד”ר ולאך החליט לבסס את בית החולים כגוף הנושא את עצמו. נקנו פרות שסיפקו את צרכי המוסד בחלב ובבשר, עובדה שסייעה רבות לבית החולים בהמשך, כולל במלחמת העצמאות.
עם כיבוש ירושלים בידי הבריטים הגיע אלנבי לשערי צדק ומפתחות העיר נמסרו לידי האנגלים. במלחמת העולם השנייה החמיר מצב בית החולים. הכספים לכיסוי הגרעונות שנתרמו עד אז על ידי יהודי גרמניה נפסקו. למרות זאת המשיך בית החולים למלא את יעודו . במלחמת העצמאות מילא בית החולים תפקיד חשוב בהגשת עזרה לנפגעי הקרבות באזור ירושלים, בייחוד לאחר שהקשר עם הר הצופים נותק. חצר בית החולים שימשה בזמן המלחמה כבית קברות שאפשר לראותו בסמוך למבנה ובו קבור בין השאר קבור ד”ר וולך, מייסד בית החולים.
במעבר בית החולים למשכנו החדש בסמוך להר הרצל ביקשה הנהלת בית החולים מרשויות התכנון להתיר להרוס את הבניין הישן, כדי להגדיל את תכסית שטח הקרקע הפנוי לבנייה חדשה. רשויות התכנון אשרו תוספת בנייה משמעותית במתחם, אך זאת כתנאי לשימור ושיפוץ הבניין הקיים ושילובו בבינוי החדש (שעדיין לא נבנה). לאחר חנוכת שערי צדק בשנת 1980, הוזנח הבניין הישן והיה נתון בתהליך של הרס ו-ונדליזם מתמיד במשך כעשור שנים. בתכנית המתאר העירונית 2097 בשנת 1994 הוחלט לשמר את הבניין בשל היותו סמל לבניינה של ירושלים החדשה, כנכס היסטורי שהטביע את חותמו על העיר. כיום רשות השידור רכשה את המתחם למשרדי ההנהלה בירושלים.