夏休み、ハリー・ポッターは唯一の身寄りであるダーズリー家へ帰省していた。初めての友人もできて、夢のようだったホグワーツ魔法魔術学校での生活を中断されていたハリーのもとに、ドビーと名乗る屋敷しもべ妖精が現れ、ハリーに「ホグワーツに戻ってはならない」と警告する。だがそれを拒否したハリーのまえで、ドビーはケーキに浮遊術の魔法をかけて来客者の頭上に落下させ、これをハリーの仕業と見せかける。マグルのまえで魔法を使ったこととなったハリーに対し、魔法省は規定に違反したとして警告する。ダーズリー一家の怒りに触れたハリーは部屋に監禁されるが、親友のロン・ウィーズリーとその兄フレッドとジョージに空飛ぶ車（フォード・アングリア（英語版））で救出され、ウィーズリー家へと向かう。
ウィーズリー家の暖炉から、新しい教科書を購入するためにダイアゴン横丁へ向かおうとするが、ハリーは発音がうまくいかず失敗し、「夜の闇（ノクターン）横丁」へ迷い込む。そこへ現れたホグワーツの森番、ルビウス・ハグリッドに救出され、ダイアゴン横丁で親友のハーマイオニー・グレンジャーとも再会する。書店ではハンサムな魔法使い、ギルデロイ・ロックハートのサイン会が行なわれていて、ロックハートはハリーを見つけては彼と一緒に「日刊予言者新聞」の記者に写真を撮らせ、教科書に指定されている7冊の自伝すべてを贈られる。その後、一行はスリザリン寮生のドラコ・マルフォイと、その父でホグワーツの理事を務めるルシウスと出会う。犬猿の仲であるロンの父アーサーとルシウスは殴り合いの喧嘩に発展するが、ハグリッドに制止される。
新学期、キングス・クロス駅の9と3/4番線へ繋がる壁をなぜか通り抜けられなかったハリーとロンはホグワーツ特急に乗り遅れ、空飛ぶフォード・アングリアでホグワーツへ向かう。車はホグワーツの敷地内にある暴れ柳に激突し、そのためにロンの杖は折れ、車はふたりを降ろして禁じられた森へ走り去る。なんとかホグワーツに辿り着いたハリーとロンだったが、途中でマグルに空を飛んでいるところを見られたことで罰則を受け、ロンは母親からの吼えメールでさんざん叱られ、杖は折れたものをそのまま使用しなければいけなくなる。
ハロウィン当日、管理人アーガス・フィルチの猫であるミセス・ノリスが石になる事件が起こる。その後、マグル出身者の生徒が石にされる事件が立て続けに発生し、伝説と化していた「秘密の部屋」が「スリザリンの継承者」の手で開かれたのではないか、という疑惑がホグワーツ城内に広まる。ハリー、ロン、ハーマイオニーの3人は、ドラコ・マルフォイが「スリザリンの継承者」ではないかと考え、飲めば姿を変えられるポリジュース薬を作り、マルフォイの取り巻きに化けて話を聞きだそうと計画する。
「秘密の部屋」の話題でもちきりになっていたある日、ロックハートの提案で「決闘クラブ」が開催される。このクラブにて、ハリーが蛇語を話せることが明らかになる。サラザール・スリザリンは蛇語に長けていたことで知られており、これを契機に、城内ではハリーが「継承者」ではないかという噂が広まる。ハリー、ロン、ハーマイオニーの3人はクリスマス休暇を利用してマルフォイに探りを入れるが、結局マルフォイが「継承者」ではないことが判明する。
クリスマス休暇が明けたある日、ハリーは3階の女子トイレで黒く古い日記帳を見つける。その日記帳には「T・M・リドル」という人物の記憶が残されていて、それを見たハリーは50年前にも起きた「秘密の部屋」事件の概要を知る。しかし後日、グリフィンドールの談話室から何者かに日記を盗まれ、さらに出場予定だったクィディッチの試合が中止となり、ハーマイオニーと別の女子生徒が襲われる事件が発生する。前回の事件時の被疑者だと言われているハグリッドは、魔法大臣とアルバス・ダンブルドアから魔法界の刑務所「アズカバン」へ送ることを告げられる。さらにはダンブルドアが校長を停職させられる事態になり、城内はさらなる不安に駆られる。ハグリッドから話を聞こうとその場に居合わせたハリーとロンは、透明マントで隠れながらハグリッドが去り際に残した言葉をもとに「禁じられた森」に向かい、ハグリッドに育てられた大蜘蛛アクロマンチュラのアラゴグから話を聞く。そこから、ふたりは3階の女子トイレで知り合ったゴースト「嘆きのマートル」が前回の事件の犠牲者だったのではないかと推測し、彼女から話を聞こうとする。
期末試験の3日前、ふたりは機会を得てマートルを訪ねようとするが、副校長のミネルバ・マクゴナガルに見つかる。しかしハリーが「ハーマイオニーを見舞おうとした」と機転を効かせたために処罰を免れ、ふたりはハーマイオニーを見舞う。見ると、石になっている彼女が小さな紙切れを握っていることに気付く。そこには「スリザリンの怪物」の正体が記されていた。これを見たふたりは、今までの事実がすべて整合性を持つことに気づき、寮監であるマクゴナガルに話そうと職員室へ向かう。そのとき、城内にマクゴナガルの声で「生徒は全員寮に待機、教授は2階廊下へ集合」するよう放送が流れる。教授一同は遅れてやってきたロックハートに「スリザリンの怪物」の対応を一任するが、盗み聞きしていたハリーとロンは、ロンの妹であるジニー・ウィーズリーが連れ去られたと知り愕然とする。
ハリーとロンは、ロックハートが教授たちから「スリザリンの怪物」退治を任されていたことを思い出し、そのもとを訪ねる。ロックハートは忘却術で他人の功績を横取りしていたにすぎなかったが、一緒に「秘密の部屋」へ連れて行くことにする。マートルを訪ねた一行は彼女から死んだときの話を聞き、「秘密の部屋」へ続くトンネルの入り口がマートルの棲む3階の女子トイレにあることを知り、「秘密の部屋」に乗り込む。途中、トンネル内部で戻りたいロックハートとのあいだで小競り合いになり、ロックハートがロンの折れた杖を奪って魔法を使い、自身の記憶をなくす事態になる。その際トンネルが崩れ、ハリーはロンとロックハートを残してひとりで「秘密の部屋」へ向かう。
「秘密の部屋」で横たわっているジニーを見つけたハリーは、そこに50年前の生徒である16歳のT・M・リドルがいるのを見て驚く。リドルは自分が50年前の記憶であり、一連の事件はすべてジニーを操って実行させたもので、自分はジニーの魂で復活するのだと告げ、さらにみずからの正体が学生時代のヴォルデモート卿だと明かす。思い悩むハリーに、リドルは「スリザリンの怪物」バジリスクをけしかけ、始末させようとする。窮地に陥ったハリーのところへダンブルドアの校長室にいる不死鳥のフォークスが飛んできて、「組分け帽子」を渡す。ハリーは帽子から「グリフィンドールの剣」を取り出してバジリスクを倒し、その牙を使って日記を破壊することでリドルを消滅させる。
その後、ルシウスはハリーによって今回の「秘密の部屋」事件がすべて自身の陰謀であったことを暴かれ、学校の理事を解任される。ドビーはハリーの手によってマルフォイ家から「解雇」され、自由なしもべ妖精となる。記憶をなくしたロックハートはホグワーツを去り、ハーマイオニーをはじめ石にされた生徒たちもみな回復し、ホグワーツはふたたび平和を取り戻す。