Verfärbungen auf dem Stamm von Oliven sind keine Seltenheit. Mit den Jahren wird die Rinde auch borkig und rissig, so dass sich auch Flechten und Algen je nach Standort darauf ansiedeln. Auch zahlreiche Vertiefungen und Verwachsungen im Stamm werden eintreten, wenn das Exemplar älter wird. Auf dem Bild erkennt man eine dunkle Flechte (Pilz + Alge in Symbiose). Da Flechten durch ihre Algensymbiose selber Fotosynthese machen sind sie keine Schädlinge und dringen auch nicht in die Rinde ein. Harmlos. Gehört zur altersbedingten Patina eines Olivenstamms. Aber - wenn ich noch einen Tipp geben darf: Das Bäumchen könnte mal gedüngt oder umgetopft werden. Am besten einen kleinen Rückschnitt danach vornehmen - dann treibt es wieder gut aus. Es wäre jetzt noch möglich, besser aber im Februar / März  nach der Winterruhe.