Tijdens zijn studie geschiedenis in Leiden richtte hij zich op sociaaleconomische geschiedenis en de geschiedenis van de natuurwetenschap. Na zijn promotie in 1974 op het vernieuwingsstreven in de Nederlandse sociaaldemocratie in het eerste decennium na de Eerste Wereldoorlog was hij werkzaam bij het Museum Boerhaave in Leiden en vanaf 1982 als hoogleraar Geschiedenis van de Natuurwetenschap aan de Universiteit Twente.

Met zijn boek De herschepping van de wereld. Het ontstaan van de moderne natuurwetenschap verklaard won Cohen in 2008 de Eurekaprijs voor wetenschappelijke literatuur voor een breed publiek. Zijn boek Isaac Newton en het ware weten (2010) werd lovend ontvangen. Cohen is voorzitter van het Huizinga Instituut, landelijke onderzoekschool voor cultuurgeschiedenis, en ook voorzitter van het Descartes Centre voor Wetenschapsgeschiedenis en Wetenschapsfilosofie, dat onderzoekers verenigt die zich binnen de Universiteit Utrecht bezighouden met de geschiedenis of wijsbegeerte van hun vakgebied.