名前の明かされない語り手は、ウィリアム・ルグランという友人を持っていた。
ルグランはユグノーの一族の生まれで、かつてあった財産を失ってからサウスカロライナ州沖のサリバン島で、召使の黒人ジュピターを伴って隠遁生活を送っている。
あるとき、語り手が数週間ぶりで彼のもとを訪れると、ルグランは新種の黄金虫を発見したと言って興奮の最中にあった。
あいにく当の昆虫はとある中尉に貸してしまって手元にはなかったが、その代わりと言ってルグランは語り手に昆虫のスケッチを描いて見せる。
しかし、そのスケッチは語り手にはどうも髑髏を描いたもののようにしか見えない。
語り手がそのことを伝えると、絵に自信のあったルグランは気を悪くし、スケッチを描いた紙を丸めて捨てようとする。
しかしその前に絵のほうをチラリと見るやそこに釘付けになり、やがて紙をしまうとそれからは、何かに心を奪われたようにうつつを抜かした状態になった。
様子が変だと思った語り手は、その日は友人の家に泊めてもらう予定を取りやめ、そのまま辞去する。
それから1か月後、語り手のもとにルグランの召使ジュピターが訪ねてくる。
彼の話では、主人ルグランはあの日から様子がすっかりおかしくなり、黒板に妙な図形を書き散らしたり、行き先を告げずに一日中外出したりしているという。
彼の携えてきたルグランの手紙には、語り手に「重要な仕事」があるからすぐに来るようにと記してある。
語り手がジュピターに連れられてルグランのもとに向かうと、語り手を迎えたルグランは「黄金虫が財宝をもたらす」という謎めいた言葉を伝え、本土の丘陵地帯の探検を手伝ってほしいと言う。
彼の精神が錯乱していると見た語り手は、とりあえず彼の言うままに従うことに決め、探検についていく。
本土に着いた一行は、樹木の生い茂った台地の上を鎌で切りわけながら奥地へと進んでいき、やがて巨大なユリの木に達する。
ルグランはジュピターをその樹に登らせ、さらに枝を伝って進んでいくように指示する。
すると、その枝の先には髑髏が打ち付けてあった。
ルグランはジュピターに、髑髏の左目から紐をつけた黄金虫を垂らすように指示し、その黄金虫が落ちたところを目印にして杭を打つ。
そしてそこから最も近い木からその杭までを巻尺でつなぎ、さらにその延長上を50フィートほど行ったところに目印をつけると、皆でここを掘るようにと伝える。
一向はそれからその場所を2時間にもわたって掘っていくが、何も見つからない。
諦めかけたルグランは、ふとあることに気付き、召使のジュピターに「お前の左目はどっちだ」と問いただす。
何度も確認したにもかかわらず、ジュピターは右と左を取り違えていたのだった。
一行はもう一度ユリノキに戻って先の手順を繰り返すと、先ほどから数ヤードずれた場所を再び掘り始める。
1時間ほど掘り進めると、連れて来ていた犬が吠え出し、やがて大量の人骨といくつかの硬貨が、さらにその下には6つの大きな木箱が埋められていた。
木箱の中身は大量の硬貨や黄金、宝石や装飾品の類であり、家に持ち帰って検分すると、その総額は150万ドルにも及ぶことがわかる。
興奮冷めやらぬ中、ルグランはどのようにして隠された財宝を見つけるに至ったのかを説明する。
あの日、ルグランが黄金虫をスケッチして見せた紙は、黄金虫を発見したのと同じ場所で見つけた羊皮紙であった。
そこには一見なにも描かれていないように見えたが、ルグランが語り手に紙を手渡したとき、語り手が暖炉の近くにいたために、熱の化学反応によって隠された絵がスケッチの裏側に炙り出されていたのである。
そのことに気付いたルグランは、語り手が帰った後、さらに羊皮紙を調べて、山羊のマークからそれが海賊キャプテン・キッドの隠された財宝のありかを示すものだと直感する。
暗号に詳しかったルグランはこれを初歩的な暗号だと見抜き、まず暗号内で使われている記号の登場頻度を調べた。
一番多いのは「8」の32回である。
英語の文章で最もよく使われるアルファベットはeであるから、「8」が「e」を表している可能性が高い。
そして英語の文章で最もよく使われる単語は「the」であるから、暗号内で最も多く登場する文字列「；48」がおそらく「the」を表している。
このようにしてどんどん記号に対応するアルファベットを見つけて行き、最終的に以下のように解読したのだった。
主教の宿にある悪魔の玉座には上等のガラスがある。
四十一度十三分―北東で北よりの方角
東側の主な枝、七番目の大枝―髑髏の左目から撃て
木から狙撃地点を経て五十フィート向こうまで直進せよ。
これを解読すると、ルグランはまず「主教の宿」にあたる場所を探し、やがてサリバン島の近隣に「ベソップの城」と呼ばれる岩壁があることを知った。
その岩壁は良く見ると落ち窪んで玉座のような形になっている場所があった。
「上等のガラス」は望遠鏡のことであり、ルグランはその場所に座って指示通りの方角に望遠鏡を向け、そこから木の枝に打ち込まれた髑髏を発見したのである。