Johanneskyrkan byggdes på kullen Punavuori, i stadens utkanter vid den tiden. Kyrkan stod klar år 1891. Den ritades av den Stockholmsbaserade arkitekten Adolf Emil Melander. Till en början kallades Johanneskyrkan för Nya kyrkan. Behovet av en ny kyrka uppstod eftersom invånarna i Helsingfors inte längre fick plats i Gamla kyrkan och Nikolaiskyrkan, numera känd som domkyrkan. Den Nya kyrkan byggdes på platsen för en midsommarbrasa och helgades åt Johannes Döparen.
Den nygotiska Johanneskyrkan har formen av en treskeppig basilika. Det är Finlands största stenkyrka, ursprungligen med 3000 sittplatser. Flera rader bänkar har sedan dess tagits bort för att göra kyrkorummet mer funktionellt. För närvarande finns det drygt 2200 sittplatser. Kyrktornen är 74,22 meter höga. Kyrkklockorna, som spelar de första tre tonerna av Te Deum-hymnen (Ciss, E och Fiss), installerades år 1932.
Kyrkan renoverades senast inför sitt hundraårsfirande år 1991. Samtidigt gjordes en del av kyrkans källare om till en krypta.