Il commence à travailler pour l'Organisation mondiale de la santé en 1962 comme fonctionnaire d’administration et du budget. Depuis, il a été en poste à la Commission économique des Nations unies pour l’Afrique, à Addis-Abeba en Éthiopie, à la Force d’urgence des Nations unies (FUNU II) à Ismailia, au Haut Commissariat des Nations unies pour les réfugiés à Genève, puis au Siège des Nations unies à New York, comme sous-secrétaire général à la gestion des ressources humaines et coordonnateur des Nations unies pour les questions de sécurité (1987-1990) puis comme sous-secrétaire général à la planification des programmes, au budget et à la comptabilité, puis contrôleur (1990-1992). En 1990, après l’invasion du Koweït par l’Irak, M. Annan a reçu du secrétaire général pour mission spéciale d’organiser le rapatriement de l’Irak de plus de 900 fonctionnaires internationaux et ressortissants de pays occidentaux. Il a ensuite dirigé la première équipe des Nations unies chargée de négocier avec l’Irak sur la question de la vente du pétrole pour financer l’aide humanitaire.

En 1993, il est promu sous-secrétaire général de Boutros Boutros-Ghali. Il commence son premier mandat de secrétaire général de l'ONU le 1er janvier 1997. Le 29 juin 2001, sur recommandation du Conseil de sécurité, l’Assemblée générale l’a réélu par acclamation pour un second mandat, commençant le 1er janvier 2002 et s’achevant au 31 décembre 2006.

Le 8 mars 2006, il a affirmé que selon lui, le monde est prêt à voir une femme à la tête des Nations unies.

Dans son discours d'adieu au poste de secrétaire général auquel lui a succédé le sud-coréen Ban Ki-moon à la fin du mois de décembre 2006, Kofi Annan a fustigé la politique des États-Unis qu'il appelle à suivre la voie du multilatéralisme en acceptant notamment l'élargissement du Conseil de sécurité et à respecter les droits de l'Homme "jusque dans sa lutte contre le terrorisme".

Il a repris la formule historique de l'ancien président des États-Unis Harry Truman dont il a invité les dirigeants actuels à suivre l'exemple : "la responsabilité des grands États est de servir et non pas de dominer les peuples du monde ".

Kofi Annan a été nommé le 14 juin 2007 à la tête de l'Alliance pour une révolution verte en Afrique (AGRA), un organisme créé en 2006, financé par la fondation Bill-et-Melinda-Gates et la Fondation Rockefeller et regroupant des dirigeants, hommes d’affaire, agriculteurs et chercheurs. Le but de l’alliance est d’aider les paysans africains à améliorer leur rendement.

Le 4 octobre 2007, Kofi Annan est devenu le nouveau Président de la Fondation de soutien à l'Organisation mondiale contre la torture, la plus importante coalition internationale d'ONGs actives dans la protection des droits de l'homme dans le monde (regroupant 282 membres dans 92 pays), et ce afin de contribuer à la prise de conscience de l'érosion du respect des droits de l'homme et des normes internationales, notamment dans le cadre de la lutte contre le terrorisme et des politiques sécuritaires. Il préside également, depuis sa création en 2007, l'African Progress Panel, rassemblement de personnalités internationales (notamment Tony Blair, Bob Geldof et Michel Camdessus) engagées dans la défense du continent africain et chargé, notamment, du suivi des engagements du sommet du G8 de Gleneagles de 2005.