Родился 17 декабря 1930 года в Тильзите, Восточная Пруссия (ныне — Советск Калининградской области России) в многодетной семье банковского служащего.
В 1949 году в Берлине окончил консерваторию по специальности учитель музыки. С 1952 года играл на сцене берлинских театров. В 1960 году началась его карьера в кино: после роли в фильме Франка Байера «
Пять патронных гильз» о Гражданской войне в Испании Мюллер-Шталь встречался с Фиделем Кастро и Эрнесто Че Гевара. Стал лауреатом государственной премии ГДР за исполнение роли офицера госбезопасности в фильме «
Невидимое забрало». В результате зрительских опросов 5 раз подряд был назван лучшим актером. За время своей карьеры в ГДР сыграл более в чем 60 фильмах.
В 1976 году Армин Мюллер-Шталь подписал открытое письмо протеста против лишения гражданства ГДР барда Вольфа Бирмана, после чего его все реже стали снимать в кино. В 1980 году эмигрировал в Западный Берлин.
На Западе он играл у известных режиссёров в картинах «
Лола» и «
Тоска Вероники Фосс» Райнера Вернера Фасбиндера, «
Любовь в Германии» Анджея Вайды, «
Полковник Рёдль» Иштвана Сабо.
В конце 1980-х Мюллер-Шталь получил приглашение в Голливуд. За роль отца еврейского семейства в картине Барри Левинсона «
Авалон» (1990) он был номинирован на премию «
Оскар». В 1991 году снимался в фильмах Стивена Содерберга «
Кафка» и Джима Джармуша «
Ночь на Земле», где он выступил в роли таксиста-эмигранта из Восточной Германии. В 1996 году состоялся режиссёрский дебют Мюллер-Шталя — фильм «
Разговор с чудовищем».
Одни из его последних работ — «вор в законе» в фильме Дэвида Кроненберга «
Порок на экспорт» (2007) и роль в российском военном сериале Александра Буравского «
Ленинград» о блокаде Ленинграда.