En 1974, Mengistu est l'un des officiers du comité qui destituent l'empereur Haile Selassie lors d'un coup d'état. Ce comité prit officiellement, vers la fin du mois de juin, le nom de Comité de Coordination des Forces armées, de la Polic et de l'Armée Territoriale; devenu célèbre dans le monde entier sous son nom amharique abrégé, le Derg. La junte révolutionnaire marxiste prend alors le pouvoir et lance le slogan "Etiopia tikdem" ("l'Éthiopie d'abord", littéralement "que l'Éthiopie dépasse") qui devient la devise nationale. Le Derg exécute 61 personnalités dont des ministres, des membres de la famille royale. En 1975, l'empereur est assasiné dans son palais. Mais le Derg ne s'arrête pas là, des centaines de jeunes étudiants sont tués peu avant les fêtes du premier mai de 1975 et 1976 alors qu'ils manifestaient en brandissant des panneaux "Qeï Shibir" (terreur rouge) faisant référence au rouge communiste de Mengistu.
En 1977, le colonnel lieutenant Mengistu Haile Mariam devient chef de l'État et dirigeant incontesté du Derg. Son nouveau régime s'affirme marxiste-léniniste, il lance la réforme agraire, créée des fermes d'Etat et alphabétise les masses. Cependant ses années au pouvoir sont marquées par un style de gouvernement totalitaire et une militarisation massive du pays soutenue par l'URSS et Cuba; l'Éthiopie aura l'armée terrestre la plus grande au monde. De 1977 à 1978, des dizaines de milliers d'opposants présumés au Derg sont torturés ou tués lors d'une grande purge, appelée la "Terreur rouge".En 1977, les Somalis vivant dans la région de l'Ogaden en Éthiopie s'engagèrent, après la chute de l'empire éthiopien d'Addis Abeba, dans une lutte armée pour leur rattachement à la Somalie. Les rebelles étaient soutenus et armés par la Somalie, qui envoyait des troupes. Dès la fin de 1977, les Somalis contrôlèrent la majeure partie de l'Ogaden. En 1978, l'Éthiopie, aidée par Cuba et l'URSS qui avait opéré un spectaculaire renversement d'alliance, lança une contre-attaque, reprit le contrôle de la région.
Son gouvernement devra notamment faire face à de grandes sécheresses et à la terrible famine de 1984-1985. Des insurrections éclatent également dans la province nord du pays, l'Érythrée. Les rebelles renversent le régime du Derg en 1991. Mengistu doit alors fuir l'Éthiopie à destination du Kenya d'abord, du Zimbabwe ensuite, avec environ 3 000 hommes du Derg. Il a obtenu l'asile politique au Zimbabwe et y vit depuis lors malgré les tentatives de l'Éthiopie d'obtenir son extradition.
Ces dix-sept années de règne ont connu de nombreuses violations des droits de l'homme, les exécutions déjà citées auparavant, la migration contrainte de centaines de milliers de fermiers dans les années 1980, l'utilisation de napalm et de bombes à fragmentations contre les civils dans les régions rebelles, le recours aux famines comme arme de guerre. Le Derg est responsable, selon les estimations de la mort de plus d'un demi million de civils. D'après certaines sources, le nombre de victimes est certainement bien plus élevé.
Le 13 décembre 1994, Mariam Mengistu Hailé fait partie d'une longue liste d'individus mis en accusation notamment pour crime de génocide. Un procès s'ouvre le 13 décembre en 1994 devant la Haute Cour par la lecture d'un acte d'accusation contre 73 accusés encore en vie, dont 26 se trouvent à l'étranger, en particulier Mengistu. Parmi les crimes reprochés aux accusés figurent le meurtre de 1'823 victimes identifiées, dont l'ancien empereur, des atteintes à l'intégrité corporelles de 99 victimes identifiées et la disparitions de 194 personnes identifiées. La politique de déplacement forcé de population, qui causera la mort d'environ 100'000 personnes au milieu des années '80 apparaît également dans l'acte d'accusation. Le Procureur général annonce en 1997 la mise en accusation supplémentaire de 5'198 personnes pour crimes commis durant la régime du Derg, dont 2'246 se trouvent en détention. En raison de la multiplicité des affaires et du nombre important de témoins à entendre, les procès sont lents (voir "contexte" pour plus de détails). Le 11 mai 2001, dans une allocution devant le parlement éthiopien, le procureur spécial de la Haute Cour a souligné que des efforts diplomatiques ont été engagés par le ministère des Affaires Etrangères pour que le colonel Mengistu, en exil au Zimbabwe, puisse comparaître. Le Zimbabwe a toutefois refusé sa collaboration.
Le 11 janvier 2007, il est condamné, par contumace, à la prison à vie par la Haute Cour fédérale du pays. Cependant, rien n'inquiète l'ancien Negus rouge, le Zimbabwe refuse d'extrader. "En dépit de la décision judiciaire en Ethiopie, le camarade Mengistu reste toujours un invité spécial du gouvernement zimbabwéen", a déclaré Paul Mangwana, ministre de l'information par intérim.