לאחר רכישת הקרקע ברחוב יפו ניתן התכנון לבניית סניף הראשי בירושלים, לידי האדריכל הגרמני יהודי אריך מנדלסון שעלה ארצה בשנת 1934 והיה מגדולי אבות “הסגנון הבינלאומי” של שנות ה-20 וה-30 וממבשריו של סגנון הבאוהאוס הגרמני בשנות ה-30. מנדלסון בנה בארץ בין השנים 1934-1936 12 פרויקטים, ביניהם בית שוקן, ספרית שוקן, בית ויצמן, בי”ח הדסה הר הצופים, בי”ח רמב”ם, מכון זיו, הפקולטה לחקלאות ברחובות, והבניינים בקמפוס האוניברסיטה העברית בהר הצופים. לאחר פרוץ מלחמת העולם השנייה בשנת 1941 הוא היגר לארצות הברית.
בניין הבנק הלאומי הראשי בירושלים נחנך ביוני שנת 1939. הבניין מצטיין בפרופורציות נאות ובבנייה מלבנית מדויקת. השימוש באבן נוטש כאן את הקו המסורתי, כחומר בנייה האופייני לבנייה ירושלמית, ומנוצל לציפוי בלבד האבן נעדרת עיבודים או אלמנטים עיטוריים כלשהם. דלתות הכניסה הראשיות עשויות מברונזה, ומרוקעים בהם זוג אריות הראלדיים שמסמלים את הביטחון והעוצמה שהבנק מעניק ללקוחותיו.
חלל האולם המרכזי מתנשא לשתי קומות, ומרשים בתקרתו הגבוהה. האור העמום, החודר דרך חלונות קטנים בתקרה, מחזק את תחושת העומק והחלל הגדול של האולם. הבניין המרשים מתנשא לגובה של שבע קומות מחזית רחוב יפו, החלק הנמוך פונה לרחוב כורש בן שלוש קומות בלבד. הבניין משתלב היטב עם הבניינים הסמוכים (בניין הדואר ובניין ג’נרלי). החלונות המסורגים, קטנים יחסית לבניינים האחרים שתכנן מנדלסון באירופה, זאת בשל תנאי האקלים בארץ. קישוטי המתכת בין החלונות, בדמוי לפידים המשמשים כמנורות ותרני הדגלים המובלטים בחזית, נועדו להפחית את המונוטוניות של חזית האבן רחבת הממדים.
החלונות הקטנים והעגולים (בפינת רחוב ידידיה), מזכירים צוהר אנייה, אופייניים לבניינים שתכנן מנדלסון בארץ, שעליהם נמנה בין השאר גם בית החולים האוניברסיטאי בהר הצופים ובית חיים וייצמן ברחובות. בשנות ה-70 המאוחרות ביצע הבנק שיפוצים, שפגעו באופיו המקורי של האולם המרכזי. החלל הותאם לצורכי שנות ה-80, כגון תקרה אקוסטית, אורות נאון, ריהוט מצופה פורניר שהיה בצורה מגושמת וזכה לביקורות נוקבות.
ההצעות לתוספות הבנייה שבוטלו
בשנת 2003 הנהלת בנק לאומי הציעה תכנית להרחבת הסניף על ידי האדריכל אלי ארמון לתוספת חמש קומות מוקפות בזכוכית כחולה וגשר שיחבר בין שני אגפי הבניין שמעל האגף הנמוך ברחוב כורש. המועצה לשימור אתרים התנגדה לתכנית וקראה להנהלת בנק לאומי להימנע משינוי צורתו החיצונית של הבניין, אשר נחשב למוקד עלייה לרגל ולאחד מיצירותיו החשובות של אריך מנדלסון.בנק לאומי לישראל