הבניין תוכנן על ידי אדריכל איטלקי לא ידוע ונבנה בסגנון הרנסנס האיטלקי בתוספת מוטיבים יהודיים, והוא גדוש בעמודים, כרכובים, אבני ראשה מעוטרות ומגני דוד. “הארמון” הוא בניין מלבני דו קומתי ובעל קומת מרתף באורך כ-55 מטר וברוחב כ-20 מטר. חזיתו הראשית ארוכה ומרשימה, גדושת עמודים, כרכובים, חלונות וסורגים מסוגננים, עמודים מעוטרים ומגני דוד. החזית המזרחית מפוארת עם מדרגות עגולות, ופתח כניסה הדור בקומה העליונה. תכנית קומת הקרקע והקומה העליונה מתבססת על שורת חדרים ומסדרון העובר לאורך הבניין. ל”ארמון” שתי כניסות ראשיות, האחת מובילה ממרכז החזית הראשית לקומת הקרקע, ומשם דרך גרם מדרגות רחב לקומה העליונה. כניסה נוספת מובילה באמצעות מדרגות חיצוניות עגולות ישירות לקומה העליונה, מצד החזית המזרחית הצדדית. גרם מדרגות נוסף מקשר את קומת הקרקע עם החצר מצד מערב.
על פי האגדה רצה אלישע יהודיוף להכין את הבית בו יוכל המשיח להתגורר ולקבל את אורחיו כשיגיע לירושלים. כך מנסה המסורת הירושלמית להסביר את בניית הבית המפואר ביותר בשכונה, שהיה אחד המבנים היהודים המרשימים ביותר בארץ לפני מלחמת העולם הראשונה. בזמן מלחמת העולם הראשונה הפך הארמון למפקדה צבאית טורקית, ומיד לאחר הכיבוש הבריטי נערך במקום סדר פסח לחיילים בצבא הבריטי. בחודש מאי 1918 נערכה במקום קבלה פנים מפוארת לגנרל אלנבי. הרברט סמואל, הנציב העליון הראשון, התארח בסוכה לבוש בגדים בוכרים. משתים רבים נערכו בשכונה – היו אלו אירועים משמחים, צבעוניים וגסטרונומיים. מספרים שבעל הבית נהג גם להלביש את אורחיו במעיל של משי ולהעניק להם מתנות כטוב לבו. בסוף ימי המנדט הבריטי שימש הבניין בסיס לוחמי האצ”ל במלחמתם נגד הצבא הבריטי, ועל אחד ממשקופי הבית אפשר עד היום לקרוא את הכיתוב “הלאה האימפריאליזם האנגלי” .