Johan Krarup er født i 1976 og vokset op i en meget musikalsk familie; Gunnar og Vibeke Krarup på hhv. violin og bratsch og storesøster Louise på violin. Johan Krarup begyndte at spille cello som otte-årig og kort tid efter dannede familien Krarupkvartetten, der eksisterede i mange år fremover. 

Johan Krarup er uddannet på Det Jyske Musikkonservatorium hos professor Harro Ruijenaars. Siden blev han optaget i solistklassen på Det Kgl. Danske Musikkonservatorium hos professor Morten Zeuthen. Endvidere har Johan Krarup deltaget i masterclasses med navne som Gert von Bülow, Erling Blöndal Bengtsson, Dmitri Ferschtmann, Mats Lidström og Anner Bylsma. 

Sideløbende med soliststudierne har Johan Krarup gjort sig bemærket i det danske orkesterliv. Først med ansættelse i Det Kongelige Kapel og siden hen i fast stilling i DR Radiosymfoniorkesteret. Han har desuden været tilknyttet Sjællands Symfoniorkester som solo-cellist.

Johan Krarup er en meget efterspurgt kammermusiker og kendt fra en række kammerensembler. I sin tid i Det Kgl. Kapel stiftede han Det Kgl. Kapels Strygetrio, med hvilken han blev prisvinder ved P2’s kammermusikkonkurrrence 2002. Af andre kendte ensembler han har medvirket i kan nævnes Cailinkvartetten og Kontrakvartetten. Han er i dag fast medlem af Zapolskikvartetten.

Johan Krarup er modtager af en række legater, bl.a. Albert Henriksen og Hustrus legat, Poul Plate og Hustrus Legat, Fanny og Karin Daninas Fonds Legat og Toyota-Fondens rejselegat.