Après une carrière remarquable en Argentine, notamment avec le club du CA Rosario Central, il rejoint l'Europe en 1996, où il joue successivement pour les clubs danois du AaB Ålborg et de l'AC Milan. C'est à partir de cette période que ses réalisations au tir de coup franc et sa capacité à marquer régulièrement de longues tirs directs deviennent le symbole de son style de jeu.
Il est sélectionné pour la première fois avec l'équipe d'Argentine en 1995. Il prend part à deux Coupes du Monde, en 1998 et 2002. Sa performance lors de la Coupe du monde 1998, en France, est exceptionnelle. En plus de marquer trois buts, il réalise un record historique pour un gardien en inscrivant un but à chaque match de poule, contre la Croatie, l'Angleterre et l'Afrique du Sud.
En 2001, il rejoint le club français du Paris Saint-Germain. Il y reste deux saisons avant de revenir en Argentine et de mettre fin à sa carrière de footballeur professionnel.
José Luis Chilavert est reconnu comme l'un des plus grands gardiens de buts de tous les temps. Sa capacité exceptionnelle au tir de coup franc et sa personnalité forte lui ont valu le surnom de « El Mágico ». Il est également connu pour son sens de l'humour et ses remarques caustiques sur les arbitres et ses adversaires, qui ont souvent été la source de controverses.
Depuis sa retraite sportive, José Luis Chilavert a continué à être présent dans le monde du football en tant que commentateur sportif et consultant pour des chaînes de télévision argentines. Il est également un fervent défenseur des droits des animaux et participe régulièrement à des actions en faveur de l'environnement.