A Bertoua, au Cameroun, dans les années qui ont suivi la décolonisation, vit Banda, un enfant élevé par sa grand-mère, Mandy, une femme mystérieuse, au passé trouble, qui ne croit ni en la justice des hommes ni en la justice divine et dont la conscience n'est alimentée que par la haine de l'homme blanc. Banda partage son enfance avec Dawa, dont il restera toujours un peu amoureux, Denise, Fabrice, mais aussi avec Eric, un enfant Blanc des quartiers riches, avec lequel il nouera une indéfectible amitié.
Mais le temps passe et malheureusement il n'est pas facile de devenir adulte dans un pays comme le Cameroun que des gouvernants corrompus et sans scrupules dirigent au profit des anciens colonisateurs. Chacun suivra sa voie, souvent douloureuse et parsemée de drames, au Cameroun ou en Europe, mais sans jamais oublier le pays où ils se sont connus et auquel ils rêvent de rendre sa dignité. Tous les singes ne sont pas noirs est le rêve d'un peuple dont les larmes symbolisent le chemin vers la liberté.