L'origine de la ville est antérieure au XIIIe siècle, juchée stratégiquement à 1855 m d'altitude sur une colline de granit dans l'escarpement oriental de la vallée du Rift,fondée par l'émir Nur Ibn-Mujahid au début de XVI siècle, Harar domine la grande plaine désertique du Danakil au nord et les plaines des Somali au sud ; favorisant son développement en tant que centre important pour la culture islamique et carrefour commercial. Point de rencontre entre différentes cultures et important carrefour commercial, la ville s'entoura, au XVI siècle, d'un rempart de pierre de 4 mètres de haut pour se protéger des raids incessants des peuplades voisines. Une période d'instabilité a conduit à l'affaiblissement de son pouvoir traditionnel entre le XVIe et le XVIIIe siècle mais, au cours du XIXe siècle, elle a reconquis son importance. La ville devint un centre puissant et révéré d'enseignement et de pouvoir islamique. Pendant des siècles, les missionnaires musulmans de Harar rayonnèrent sur une vaste région qui s'étendait jusqu'aux royaumes situés au-delà du fleuve Gibe.
Son renom de quatrième ville sainte de l'Islam, son importance commerciale au XIX siècle et son occupation successive par les Égyptiens, les Italiens et les Amharas, ont amené de fortes influences extérieures. Arthur Rimbaud, poète français aussi connu pour son traffic d'armes et de drogues, signa en 1878 un contrat à Aden, au Yémen, pour le compte d'une entreprise commerciale. Il se rendit à Harar pour se livrer au négoce et organiser des caravanes. Il entreprit plus de dix fois le trajet qui menait de Harar à la mer Rouge en bravant les insolations, les maladies et les attaques meurtrières des peuples danakil. La ville abrite 99 mosquées et plus de 300 sanctuaires consacrés à des saints musulmans. Lors de l'invasion de l'Ogaden par la Somalie en 1977, Harar fut assiégée pendant deux mois avant qu'une contre-offensive de l'armée éthiopienne, soutenue par des armes de l'URSS et de Cuba, ne parvienne à repousser les troupes somaliennes hors de Dire Dawa et de Harar.
Bien que la ville moderne se soit lentement développée hors des murs, Harar a d'une façon générale, préservée une apparence harmonieuse. La cité ancienne est congestionnée, ce qui rend difficile le développement d'infrastructures modernes comme les canalisations d'eau et l'accès aux véhicules. La vieille ville de Harar est l'une des rares cités éthiopiennes qui se soient développées à partir des traditions architecturales islamiques. En même temps, elle conserve une combinaison exotique de différentes cultures éthiopiennes.