ראשיתה של טליתא קומי בשנת 1851 עם בואן של האחיות הרחמניות הדיאקוניסיות מקירטוורט שבגרמניה לירושלים, לפי דרישת הבישוף גובט. האחיות הדיאקוניסיות נודעו בפעילותן בתחומי סיעוד, טיפול בחולים וחינוך בקרב האוכלוסיה המקומית, במטרה לקרבה לאמונה הנוצרית. הגרעין הראשון של המוסד הוקם בבית צנוע שהושכר למטרה זו בעיר העתיקה, ליד הכנסייה האנגליקנית. הצפיפות הרבה ותנאי המגורים הקשים הניעו את פעיליו בשנת 1856 לרכוש מגרש מחוץ לחומות, מערבה לרחוב יפו. גודל המגרש היה כ-28 דונם במקום והוא היה גבוה יחסית.
ייעודו של המבנה נקבע לצורך שיקומן של נערות יתומות מאזור ארץ ישראל. הבנייה החלה בשנת 1866 כשהבניין נחנך ב-27 בינואר 1868. מספר החניכות שהתגוררו בפנימייה היה כ-120 וסך הכל מנה המוסד 225 חניכות. הצוות כלל 12 אחיות, ביניהן עובדות בית, מחנכות ומורות. בראשן עמדה האחות שרלוטה פילז, שניהלה את המוסד במשך 50 שנה (1903-1853). החניכות קיבלו חינוך פרוטסטנטי גרמני ומקצועי במקצועות משק בית ובעבודות סעד בקרב הנזקקים בעיר. במלחמת העולם הראשונה גירשו האנגלים את המורות הגרמניות, כנתינות ארץ אויב. בשנת 1918 נתקל המוסד בבעיות תקציב חמורות עד כדי כך שמוסדות של יהודים נחלצו לעזרתו כדי לספק מזון ובגדים לילדות.
במלחמת העולם השנייה הלאימו הבריטים את הבניין ואכלסו בו משרדי ממשלה עד יציאתם מהארץ ב-14 מאי 1948. בהסדר השילומים של ממשלות ישראל וגרמניה נקבע כי הבניין יועבר לרשות מינהל מקרקעי ישראל. המנהל השכיר את חדרי הבניין למשרדים ומגורים, בו התגוררו בין השאר דן בן אמוץ, יורם קניוק, פנחס שדה, נתן זך ואחרים.