Das legendäre Restaurant wurde am 1.5.1914 von dem Gastwirt Wilhelm Klemke sen. aus Rixdorf (Neukölln) in dem 1913/14 von Guttmann & Seelig umgebauten Mietshaus eröffnet. An der Kreuzung Kurfürstendamm / Joachimstaler Straße gelegen, erfreute sich der "Spezialausschank für Berliner Lagerbier" rasch großer Beliebtheit beim Publikum.
Nach dem Tod des Gründers 1925 übernahm dessen Sohn Wilhelm Klemke jun. als Pächter das Lokal. 1927/28 wurde die Gaststätte nach Plänen von Paul Levi (1883-1932) umgebaut und um einen im Quergebäude gelegenen Festsaal erweitert, dessen Wanddekoration Max Slevogt in Sgraffito-Technik schuf. In diesem Slevogt-Saal, der Ende des Zweiten Weltkriegs ausgebombt wurde, gab es bayerische Blaskapellen, Schießstände und viel Gaudi.
1945 erhielt Wilhelm Klemke die Erlaubnis für die Wiedereröffnung des Lokals. Nach seinem Freitod im November 1947 übernahm seine Witwe Else Klemke die Leitung des Restaurants. Sie führte es, unterstützt von ihrem Sohn Friedrich Wilhelm, zu neuer Blüte. Dazu trug nicht zuletzt die 1951 erfolgte Eröffnung des Lichtspieltheaters "KiKi" ( "Kino im Kindl", Filmpalast Berlin) an der Stelle des nicht wieder aufgebauten ehemaligen Slevogt-Saals bei.
Anfang der 1960er Jahre hatte das B. mit seinen 400 Plätzen mehr als 150 Angestellte. Allein 44 Ober sorgten sich um die Gäste. Die Speisekarte im Format einer Zeitung hatte so viele Eintragungen wie das Telefonbuch einer Kleinstadt. Das Weinangebot dagegen war eher karg, aber hier wurde eben zum Essen eine Molle getrunken, ein gepflegtes "Kindl"-Bier. Man traf sich, um gut und ausgedehnt zu speisen, als Theaterbesucher, um Premierenabende zu zerpflücken und um zu genießen und umgesehen zu werden.
Ein Vorgarten mit 130 Plätzen gab dem B. sogar Boulevard-Charakter. Häufig gesehene Gäste in jenen Jahren waren u. a. Victor de Kowa, Franz Grothe (1908-1982), Günther Neumann, Georg Thomalla (1915-1999) und Inge Meysel (1910-2004) - sowie ihr gemeinsamer Kritiker Friedrich Luft (* n. e.-1990). 1968 musste Else Klemke das B. aufgeben. In der Folgezeit wurde das Restaurant mehrfach umgebaut und wechselte mit den verschiedenen Pächtern auch wiederholt seinen Namen (um 1970: "Alt-Berliner Bier-Salon", um 1993: "Joe am Ku'damm", 1995: "Berliner Biersalon").
Heute wird das Lokal wieder unter seinem Ursprünglichen Namen, "Alt Berliner Biersalon" geführt. Es ist auch Berlins einzigste Sportsbar mit der Live Übertragung von Fussballspielen in 3 D. Regelmäßig finden seit 2005 Veranstaltungen statt.
