Seinen ersten Violoncellounterricht erhielt Jakob Mitterer an der Musikschule Meran. Im Anschluss besuchte Mitterer den Vorbereitungslehrgang der Universität für Musik und darstellende Kunst Wien in der Klasse von Wolfgang Aichinger.
Nach der Matura mit Auszeichnung absolvierte Mitterer das Konzertfachstudium an der Universität für Musik und darstellende Kunst Wien in den Klassen von Robert Nagy und Peter Somodari. Außerdem führte ihn ein Studienaufenthalt für ein Jahr ans Conservatoire national supérieur de la musique et de danse de Paris zu Raphaël Pidoux und Marc Coppey.
Bereits im Studium sammelte Mitterer in Projekten der Gustav Mahler Akademie, des Concertgebouw Orkest Amsterdam und des Ensemble Intercontemporain in Paris Erfahrungen als Orchestermusiker. 2021-2022 wirkte Mitterer als Tuttist auf der Basis eines Zeitvertrags bei den Wiener Symphonikern. Seit Januar 2023 ist Mitterer Cellist im Tiroler Symphonieorchester Innsbruck. Als Gast arbeitet Mitterer mit Orchestern wie dem Haydn Orchester von Bozen und Trient, dem ORF Radiosymphonieorchester Wien, den Wiener Symphonikern und den Münchner Philharmonikern zusammen.
Neben seiner Orchestertätigkeit profilierte sich Mitterer auch als Solist und vor allem als Kammermusiker. Als früheres Mitglied des Artel Streichquartetts Wien war er Stipendiat der ProQuartet Stiftung des centre européen de la musique de chambre Paris. Mit dem Duo Ariarathes erfolgten seit 2018 Auftritte bei zahlreichen Festivals. Solistisch trat Mitterer bereits mit dem Tiroler Kammerorchester, dem Orchester der Akademie St. Blasius und dem Südtiroler Jugendblasorchester auf.
Mitterer ergänzte sein Wissen in Meisterkursen mit Cellisten wie Miklos Perenyi, Frans Helmerson, Gary Hoffman, Julian Steckel, Wen Sinn-Yang, Jerome Pernoo, Norbert Anger, Sebastian Klinger, Wolfgang Herzer und anderen.
Neben seiner musikalischen Ausbildung ist Mitterer Absolvent eines Masterstudiums der Executive Academy der Wirtschaftsuniversität Wien.