游览汇泉湾，人们无不被小鱼山上美丽的亭台楼阁所吸引。小鱼山突兀于汇泉湾畔，临海而立，山坡林木竞秀，山脚建筑成群。造型别致的民族式亭阁坐落在鱼山之巅，为美丽的汇泉湾平添了不少姿色，这就是青岛著名的小鱼山公园。

公园因山得名。小鱼山原是一座无名小山，因当时正坐落在总兵衙门之侧，故最早被称为“衙门山”。清末以及德占领期间曾在山顶修筑炮台。

1922年，根据山东东阿境内佛教名山鱼山，将绕山的道路定名为鱼山路，此山也就因路而得名“小鱼山”。1934年，湛山寺为广布佛法，曾在小鱼山顶建造一幢二层建筑——湛山精舍，供讲经和外地居士信徒客居之用。楼东侧曾有两座牌坊，前一座有叶恭绰所书“湛山精舍”，后一座有吴郁生所题“回头是岸”。当时每逢周日下午，由倓虚法师或其他高僧在此讲授佛经教义。1959年，湛山精舍被拆除。1984年，政府拨款兴建了具有中国古典风格的山头园林——小鱼山公园。公园因势谋景，以景造型，山巅建有一座18米高、三层八角的览潮阁，由我国著名书画家吴作人题写匾额。登阁远眺，岛城风光尽收眼底。有人曾赋诗赞叹：“高阁临风涤俗虑，沧波极目望蓬瀛。”览潮阁东西两侧各建有一座绿瓦覆盖的挑檐式凉亭，东为“拥翠亭”，西为“碧波亭”，游人在此既可观赏海上的波光帆影，也可浏览远近葱郁的山峦风光。东侧平台建有可供游人漫步游憩的门形长廊，廊上镶嵌着中央工艺美术学院设计的两幅大型彩釉壁画，均取材于神话传说和聊斋故事，一为《八仙过海》，一为《蒲松龄宇宙》。《蒲松龄宇宙》荟萃了《促织》、《香玉》、《席方平》等著名故事，色彩绚丽，造型优美，不仅给人以美的享受，还为小鱼山增添了几分神秘色彩。廊东壁镶嵌的小鱼山山标设计尤为精美，采用鱼的象形文字，构成小鱼山的造型，可谓匠心独具，是不可多得的艺术佳作。

登小鱼山的另一享受就是远眺观景。小鱼山是汇泉湾景区一座临海的山头，登上公园最高处的览潮阁，青岛湾和汇泉湾景区的景色便一览无余。西边，栈桥背依林立的高楼横卧于青岛湾；向北望，青岛红瓦绿树的城市风貌尽收眼底，阳光下明亮的红瓦屋顶掩映于绿树丛中，高大的天主教堂尖顶和十字架、基督教堂的钟楼隐约可见，间或有大群白鸽穿行其间，使眼前的景致充满异国情调；再向东南望去，收入眼底的是宽阔的第一海水浴场和远处弧形的海平面；西南面则是隔海相望的薛家岛。站在高处俯瞰这些景点，比之在山下游览又别有一番新的感受。