Als sie errichtet wurde, stand sie allein auf einem Hügel, dem sogenannten Moabiter Berg. Die Kirchstraße führt vom Tiergarten kommend direkt auf sie zu. St. Johannis gehört zu den vier Kirchen, die Karl Friedrich Schinkel errichtet hat, um der gottlosen Berliner Bevölkerung ihren Glauben zu stärken. Genutzt hat es nicht viel. Alle diese Kirchen waren ursprünglich baugleich, das war billiger. Die am Leopoldplatz und in der Badstraße existieren noch, von der in der Invalidenstraße in Mitte stehen nur noch Außenmauern.
Bei der Einweihung der Johanniskirche 1835 gab es weder den Turm, noch die Arkadenhalle, die heute das Gesicht der Kirche prägen. Diese sind erst in den 1850er Jahren von Friedrich August Stüler hinzugefügt worden, genauso wie das Pfarr- und das Schulhaus.
Im Krieg wurde die Johanniskirche schwer beschädigt. Bei ihrer Wiederherstellung bis 1957 ist vieles weggefallen, was die einstige Schönheit des Komplexes ausgemacht hatte. Eine Besonderheit gab es von 2017 bis 2020. Die Johanniskirche stellte der liberalen Ibn Rushd-Goethe-Moschee Räume zu Verfügung. Mittlerweile ist die Moschee in die Ottostraße gezogen.
