Summer Pockets está ambientada en una isla aislada, rural y tranquila del Mar Interior de Seto llamada Torishirojima, que cuenta con una población de unas 2.000 personas. El protagonista, Hairi Takahara, creció en un entorno urbano, pero tras un desagradable incidente, utiliza la reciente muerte de su abuela como excusa para acudir a la isla a ocuparse de la venta de su finca.

Una vez allí, conoce a cuatro chicas, que son el centro de la historia: Shiroha Naruse, que ha olvidado sus vacaciones de verano; Ao Sorakado, que persigue las leyendas de la isla; Kamome Kushima, una chica de clase alta que busca un barco pirata; y Tsumugi Wenders, una chica más joven que intenta encontrarse a sí misma.