בשנת 1928 הניח הלורד פאלמר, הנציב העליון הבריטי בארץ ישראל, את אבן הפינה לבניית בנין י.מ.ק.א תכנון המבנה נמסר לאדריכל האמריקני הידוע ארתור לומיס הרמון, שתכנן במקביל את בניין האמפייר סטייט בניו יורק. הפיקוח על מלאכת התכנון והביצוע בארץ הופקד בידי האדריכל אדמסון, האדריכל הקבוע של י.מ.ק.א .
בניין י.מ.ק.א כולל שלושה אגפים:
האגף הצפוני – בו נמצא אולם הכינוסים והקונצרטים הגדול והמפואר, המעוצב בסגנון ביזאנטי-מזרחי. “האולם המוזהב של הידידות”, יש בו 630 מקומות ישיבה כולל היציע ועוגב גדול בעל 3,200 חלילים. בכיפה הגדולה המכסה את האולם 12 חלונות, המסמלים הן את 12 שבטי ישראל והן את 12 שליחיו של ישו ו-12 ממשיכיו של הנביא מוחמד. מהכיפה משתלשת נברשת מפוארת, בה משתלבים צלב, סהר ומגן דוד.
חזית הבניין הראשי – עליו חרוטות שלוש כתובות יהודית, נוצרית ומוסלמית. בצד ימין “ה’ אלוקינו ה’ אחד” בעברית; במרכז “אני הדרך” בארמית; ובצד שמאל “אין אלוהים מבעדי אללה” בערבית. מהבניין, מעל רחבת הכניסה, מתנשא מגדל לגובה של כ-50 מטר (152 רגל). בראש המגדל מרפסת תצפית לעבר הפנורמה השלמה של העיר וסביבותיה מארבע רוחות השמיים, למפלס זה חדר הפעמונים, שבו 35 פעמונים בגודל שונה. בחזיתו המזרחית תבליט עצום בגובה כחמישה מטרים וברוחב שני מטרים וחצי בדמות השרף שבחזון ישעיהו. לו שש כנפיים, ובידו רצפה שלקח מעל המזבח, כמתואר בפסוקים: “שש כנפיים לאחד בשתים יכסה פניו ובשתים יכסה רגליו ובשתים יעופף… ויעף אלי אחד מן השרפים ובידו רצפה במלקחיים לקח מעל המזבח” (ישעיהו ו’, 2,6).
האגף הדרומי – אולם ההתעמלות והכדורסל, שהיה אולם ההתעמלות הראשון בארץ עם רצפת עץ תקנית. מתחתיו ברכת השחייה המחוממת הראשונה בארץ, אולמות להיאבקות, אגרוף, טניס שולחן וסקווש, וכן חדרי הלבשה ומחסנים.
ברצפת הכניסה הראשית לבניין המרכזי מעוטר העתק מדויק של מפת מידבא, פסיפס מן המאה השישית המתאר את ירושלים. בגן הכניסה לבניין י.מ.ק.א ניתן לראות את לוח הקרמיקה בשלוש השפות עברית, אנגלית, וערבית קטע מנאום ההקדשה לפתיחת בניין י.מ.ק.א ע”י לורד אלנבי באפריל 1933. “מקום זה – השלום שורר בו, יריבות מדינית ודתית תישכח, אחדות בין העמים תטופח ותפותח”.
תכניות הפיתוח והבניה לא פוסחות על מתחם י.מ.ק.א. המגרש המיתולוגי של בית”ר ירושלים נחפר בימים אלו על פי תכנית בינוי עיר מס’ 4715 ב’. בשטח יבנו 250 יחידות דיור ו-950 מקומות חניה. תמורת הבניה י.מ.ק.א תקבל מהיזמים מרכז ספורט משוכלל בגודל 10,000 מ”ר ומגרשי חניה.