​1916 offentliggjorde Gösta Mittag-Leffler, tillsammans med makan Signe, planerna på att deras bostad med tillhörande matematiskt bibliotek efter deras död skulle förvandlas till ett matematiskt institut. En stiftelse sattes upp för ändamålet, men finanskraschen i början på 1920-talet lämnade Mittag-Leffler vid ruinens brant, och vid hans död 1927 fanns inte tillräckligt med medel för att sätta igång verksamheten.
Verksamheten kom till slut igång 1969, efter att Lennart Carleson tagit initiativ till att fullfölja Mittag-Lefflers intentioner.

Idag är institutet ett fungerande matematiskt forskningsinstitut under Kungliga Vetenskapsakademien, som bedriver års- eller halvårslånga forskningsprogram inom olika matematiska specialområden. Forskare från hela världen inbjuds att delta i dessa program för kortare eller längre perioder.

Institut Mittag-Leffler ger även ut de matematiska tidskrifterna Acta Mathematica och Arkiv för Matematik.