Ο Μιχάλης Καρχιμάκης γεννήθηκε στη Σητεία της Κρήτης. Σπούδασε Πολιτικές Επιστήμες στην Νομική Σχολή του Πανεπιστημίου Αθηνών και συνέχισε τις σπουδές του με μεταπτυχιακό στην Περιφερειακή Ανάπτυξη από το Πάντειο Πανεπιστήμιο.
Εξελέγη βουλευτής Λασιθίου με το ΠΑΣΟΚ στις εκλογές του 1996 αλλά έχασε την έδρα στο Εκλογοδικείο, ενώ επανεξελέγη κανονικά στις εκλογές του 2000, 2004, 2007 και 2009. Το διάστημα 1993–1995 διετέλεσε ειδικός σύμβουλος του τότε Πρωθυπουργού Ανδρέα Παπανδρέου. Από τον Οκτώβριο του 2009 είναι Υφυπουργός Αγροτικής Ανάπτυξης και Τροφίμων στην Κυβέρνηση Γεωργίου Παπανδρέου 2009. Από το Σεπτέμβριο 2010 είναι Γενικός Γραμματέας του Εθνικού Συμβουλίου του ΠΑΣΟΚ.
Έχει διατελέσει υπεύθυνος του Γραφείου Αλληλεγγύης του ΠΑΣΟΚ, ενώ ήταν και υπεύθυνος του Τομέα Τεκμηρίωσης, και αποκάλυψε πολλά σκάνδαλα των κυβερνήσεων Καραμανλή το 2004-2009.
Μετά τη νίκη του ΠΑΣΟΚ στις εκλογές της 4ης Οκτώβρη του 2009 ανέλαβε τα καθήκοντα του Υφυπουργού Αγροτικής Ανάπτυξης και Τροφίμων.
Στις 14 Σεπτεμβρίου 2010 προτάθηκε από τον πρόεδρο του ΠΑΣΟΚ Γεώργιο Α. Παπανδρέου ως γραμματέας του Εθνικού Συμβουλίου του ΠΑΣΟΚ και εξελέγη με ποσοστό αποδοχής περίπου 82%. Στις πρώτες εκλογές του 2012 κατάφερε να εκλεγεί ξανά βουλευτής (6 Μαΐου) αλλά στις επόμενες εκλογές (17 Ιουνίου 2012) απέτυχε να επανεκλεγεί.
Είναι παντρεμένος με την Μαρία Ταλιούρη και έχουν δύο γιους.