La historia gira en torno a Sota Hatate, un muchacho con una habilidad única para ver flags encima de las cabezas de las personas, como si personajes de una visual novel se tratasen. Estas flags marcan puntos críticos en las vidas de las personas en los que sus decisiones pueden determinar si consiguen un trabajo, una amistad, una victoria, enamorarse e incluso morir. Un día Sota pasa a estudiar en la prestigiosa Academia Hatagaya, en Tokio, pero en lugar de vivir en la residencia estudiantil, acaba viviendo bajo el mismo techo que cinco preciosas chicas.