Sua história é focada nas ações de um clube escolar de música formado por quatro garotas do ensino médio japonês. Tudo começa quando a protagonista Hirasawa Yui entra no clube sem saber tocar nenhum instrumento. Ela acaba desistindo após preencher o formulário de inscrição, mas, na hora de sair do clube, acaba sendo convencida pelas outras três garotas, que teriam de desistir do clube se não encontrassem um quarto membro. Eventualmente, ela aprende a ser um excelente guitarrista. Desde então, Yui, a baixista Mio Akiyama, a baterista Ritsu Tainaka e a tecladista Tsumugi Kotobuki passam seus dias juntos na escola, realizando atividades no clube, ou simplesmente saem juntas. O clube é supervisionado pela professora de música Sawako Yamanaka, que eventualmente se torna a professora da sala de aula, bem como durante o último ano de colégio das personagens do clube. Um ano depois, quando as garotas entravam no segundo ano do ensino médio, o clube conta com a participação de outra guitarrista, chamada Azusa Nakano. Depois de Azusa juntar-se ao grupo ele ganha mais estrutura e começar a praticar mais. A história termina no final do terceiro ano para as personagens Yui, Mio, Tsumugi e Ritsu. Todas concordam em participar da mesma universidade após o colegial e deixar o clube para Azusa. A irmã de Yui, a Ui, e sua amiga Jun se juntam ao clube.
Temporada 1: K-On!
Temporada 2: K-On!!
