A dix ans, il a commencé à jouer de la flûte et de l'accordéon, et s'est rapidement produit en duo avec son frère aîné, José Neto. En 1950, la famille déménagea à Recife où les deux frères jouèrent ensemble de l'accordéon pour des radios locales.
La carrière d'Hermeto a vraiment débuté en 1964, quand il a joué dans plusieurs enregistrements de musique brésilienne avec des groupes relativement petits. Ces albums, aujourd'hui classiques, et les musiciens qui y ont participé (notamment Edu Lobo, Airto Moreira, Elis Regina, Cesar Camargo Mariano) ont créé de nouvelles directions qui allaient avoir une grande influence sur le jazz brésilien post-bossa.
Il commença à être connu internationalement après que Miles Davis l'a invité en 1970 à participer à l'album enregistré en studio Live-Evil, dans lequel il joua plusieurs de ses propres compositions. Miles Davis a alors dit qu'Hermeto Pascoal était « le plus impressionnant musicien du monde. » Des collaborations ultérieures ont inclus des musiciens brésiliens tels qu'Airto Moreira et Flora Purim. À partir de la fin des années 1970, il s'est essentiellement produit avec ses propres groupes, jouant dans nombre de lieux prestigieux, notamment au Festival de Jazz de Montreux en 1979.
Il soutient publiquement le chef Raoni contre le Barrage de Belo Monte.
