名前の明かされない語り手は、ウィリアム・ルグランという友人を持っていた。
ルグランはユグノーの一族の生まれで、かつてあった財産を失ってからサウスカロライナ州沖のサリバン島で、召使の黒人ジュピターを伴って隠遁生活を送っている。
あるとき、語り手が数週間ぶりで彼のもとを訪れると、ルグランは新種の黄金虫を発見したと言って興奮の最中にあった。
あいにく当の昆虫はとある中尉に貸してしまって手元にはなかったが、その代わりと言ってルグランは語り手に昆虫のスケッチを描いて見せる。
しかし、そのスケッチは語り手にはどうも髑髏を描いたもののようにしか見えない。
語り手がそのことを伝えると、絵に自信のあったルグランは気を悪くし、スケッチを描いた紙を丸めて捨てようとする。
しかしその前に絵のほうをチラリと見るやそこに釘付けになり、やがて紙をしまうとそれからは、何かに心を奪われたようにうつつを抜かした状態になった。
様子が変だと思った語り手は、その日は友人の家に泊めてもらう予定を取りやめ、そのまま辞去する。
それから1か月後、語り手のもとにルグランの召使ジュピターが訪ねてくる。
彼の話では、主人ルグランはあの日から様子がすっかりおかしくなり、黒板に妙な図形を書き散らしたり、行き先を告げずに一日中外出したりしているという。
彼の携えてきたルグランの手紙には、語り手に「重要な仕事」があるからすぐに来るようにと記してある。
語り手がジュピターに連れられてルグランのもとに向かうと、語り手を迎えたルグランは「黄金虫が財宝をもたらす」という謎めいた言葉を伝え、本土の丘陵地帯の探検を手伝ってほしいと言う。
彼の精神が錯乱していると見た語り手は、とりあえず彼の言うままに従うことに決め、探検についていく。
本土に着いた一行は、樹木の生い茂った台地の上を鎌で切りわけながら奥地へと進んでいき、やがて巨大なユリの木に達する。
ルグランはジュピターをその樹に登らせ、さらに枝を伝って進んでいくように指示する。
すると、その枝の先には髑髏が打ち付けてあった。
ルグランはジュピターに、髑髏の左目から紐をつけた黄金虫を垂らすように指示し、その黄金虫が落ちたところを目印にして杭を打つ。
そしてそこから最も近い木からその杭までを巻尺でつなぎ、さらにその延長上を50フィートほど行ったところに目印をつけると、皆でここを掘るようにと伝える。
一向はそれからその場所を2時間にもわたって掘っていくが、何も見つからない。
諦めかけたルグランは、ふとあることに気付き、召使のジュピターに「お前の左目はどっちだ」と問いただす。
何度も確認したにもかかわらず、ジュピターは右と左を取り違えていたのだった。
一行はもう一度ユリノキに戻って先の手順を繰り返すと、先ほどから数ヤードずれた場所を再び掘り始める。
1時間ほど掘り進めると、連れて来ていた犬が吠え出し、やがて大量の人骨といくつかの硬貨が、さらにその下には6つの大きな木箱が埋められていた。
木箱の中身は大量の硬貨や黄金、宝石や装飾品の類であり、家に持ち帰って検分すると、その総額は150万ドルにも及ぶことがわかる。
興奮冷めやらぬ中、ルグランはどのようにして隠された財宝を見つけるに至ったのかを説明する。
あの日、ルグランが黄金虫をスケッチして見せた紙は、黄金虫を発見したのと同じ場所で見つけた羊皮紙であった。
そこには一見なにも描かれていないように見えたが、ルグランが語り手に紙を手渡したとき、語り手が暖炉の近くにいたために、熱の化学反応によって隠された絵がスケッチの裏側に炙り出されていたのである。
そのことに気付いたルグランは、語り手が帰った後、さらに羊皮紙を調べて、山羊のマークからそれが海賊キャプテン・キッドの隠された財宝のありかを示すものだと直感する。
暗号に詳しかったルグランはこれを初歩的な暗号だと見抜き、まず暗号内で使われている記号の登場頻度を調べた。
一番多いのは「8」の32回である。
英語の文章で最もよく使われるアルファベットはeであるから、「8」が「e」を表している可能性が高い。
そして英語の文章で最もよく使われる単語は「the」であるから、暗号内で最も多く登場する文字列「；48」がおそらく「the」を表している。
このようにしてどんどん記号に対応するアルファベットを見つけて行き、最終的に以下のように解読したのだった。
主教の宿にある悪魔の玉座には上等のガラスがある。
四十一度十三分―北東で北よりの方角
東側の主な枝、七番目の大枝―髑髏の左目から撃て
木から狙撃地点を経て五十フィート向こうまで直進せよ。
これを解読すると、ルグランはまず「主教の宿」にあたる場所を探し、やがてサリバン島の近隣に「ベソップの城」と呼ばれる岩壁があることを知った。
その岩壁は良く見ると落ち窪んで玉座のような形になっている場所があった。
「上等のガラス」は望遠鏡のことであり、ルグランはその場所に座って指示通りの方角に望遠鏡を向け、そこから木の枝に打ち込まれた髑髏を発見したのである。
少年時代の旧友ロデリック・アッシャーから突然の手紙を受け取った語り手は、荒涼としたアッシャー家の屋敷にたどり着く。
神経を病んだロデリックは、その病状を軽減するために唯一の友人である語り手に来訪を請うたのであった。
数年ぶりに合った旧友は、かつての面影を残しながらもすっかり様子が変わっており、中でも死人のような肌と瞳の輝きが語り手を驚かせる。
ロデリック自身の説明するところでは、この神経疾患はアッシャー家特有のもので治療のしようがなく、一度かかると奇妙な感覚に囚われたり、五感が異常に研ぎ澄まされて苦痛を感じさせたりするのだという。
病の原因は、最愛の双子の妹マデラインが長い重病のために死に瀕しているからであった。
語り手はアッシャー家に滞在し、その間ともに書物を読んだり、ロデリックの弾くギターを聴いたりして時を過ごす。
やがてある晩、ロデリックは妹マデラインがついに息を引き取ったことを告げ、二人はその亡骸を棺に納め地下室に安置する。
この妹の死によって、ロデリックの錯乱は悪化していく。
それから7，8日経った晩、二人は窓から、屋敷全体がぼんやりと光る雲に覆われているのを見る。
この奇怪な光景がロデリックの病状に障ることを恐れた語り手は、ランスロット・キャニングの『狂気の遭遇』(架空の文学作品)を朗読しロデリックの気を紛らわせようとする。
しかし物語を読み進めるうち、その本の内容と呼応する不気味な音が屋敷のどこかから響いてくる。その音はだんだん近づいてき、やがてはっきりと聞こえるようになると、ロデリックはその音が妹が棺をこじ開け、地下室を這い登ってくる音であって、自分は妹を生きていると知りながら棺の中に閉じ込めてしまっていたのだと告白する。
やがて重い扉が開き、死装束を血で汚したマデラインが現れると、彼女は兄にのしかかり双子は死ぬ。
恐怖に駆られた語り手が屋敷を飛び出して逃げて行くと、その背後でアッシャーの屋敷はその亀裂から月の赤い光を放ちながら轟音を立てて崩れ落ち、よどんだ沼に飲み込まれていく。