ChatGPT-4oがどれだけ進化したのか、いろいろ聞きまくってみた | 金沢大学・金沢工業大学鉄道愛好会

Welcome to my blog

個人の活動報告

ChatGPT-4oがどれだけ進化したのか、いろいろ聞きまくってみた

0 0
ども!お久しぶりです。このさんです。

今回の例会は金大側で行われております(現在進行形)
会場に来るまでの道中はかなり寒かったです。最近ようやく今の服装に変えたのに、もうすでに長袖にロングコートじゃあかんようです
外もだいぶ冷えてきましたので、みなさん暖かくして体調管理にお気を付けください。筆者は先週見事に喉をやっちまいましたので手遅れです

で、今回も冒頭にちょっと宣伝です。
弊会はこの度、コミックマーケット105に当選し、ブースを出すことになりました(ここを書いているほんの3時間くらい前に当選が判明したところです)。
12月30日(月)東地区"パ"ブロック-a07(東5ホール)でお待ちしております!ところでこの記号は何を言っているのでしょう(←コミケと縁がなかった民)

こちらも後日会長あたりからちゃんとした告知が出ると思うので、詳しくはそちらをご覧ください!


さて本題。
タイトルにもある通り、今回は生成AIの筆頭として知られているOpenAI社の「ChatGPT」を見ていきます。

少し前(といっても2022年10月=2年前!?)に「すげぇ」と世の中がお祭り騒ぎになりましたね。感想が小学生並みの語彙力
しかし当時、あんまり正しいことは言わないしたまに文章は不自然だし…と思った方も少なくないのではないでしょうか。
実はそのChatGPT、今年5月13日にアップデートされていたことはご存じでしょうか?

2022年に世を騒がせたのは、正確には「ChatGPT-3.5」。そして今年5月に「ChatGPT-4o」にアップデートされていたのです。
今回はこいつの性能チェックを、あくまで素人の目で見ていきましょう。エンジニア目線のレビューはすでに良いのがいくらでも出ているでしょうし、筆者も知識があるわけじゃないのでここでは専門的なことは話しません…

で、なんでもかんでもやたらめったら聞くとそれはもうここのブログじゃなくて別のところでやれという話になってしまうので、鉄道愛好会にかかわることや北陸の鉄道・バスネタを聞いて無理矢理このブログに載せられる鉄道愛好会らしい内容でお送りしたいと思います。

IMG_0163.jpg
さてさて、まずはChatGPT-3.5とGPT-4oの比較をやってみましょう。お題は413系です。
ちなみにあらかじめ言っておきますが、本来正誤がある問題をChatGPTをはじめとした生成AIに聞くのはご法度なのでやらないようにしてください。今回はあくまで性能比較や精度チェックのためにやっているに過ぎません。

というわけで、ChatGPT-3.5と4oにそれぞれ「413系とは?」というごくシンプルな質問を投げたときの返答を比べてみます。
スクリーンショット 2024-11-08 213813
▲ChatGPT-3.5提供開始時に私が投げていた質問。多分バージョンを戻せないので、今は出力してくれません。多分。
 ChatGPTのページをスクリーンショットして掲載

スクリーンショット 2024-11-08 213931スクリーンショット 2024-11-08 214010スクリーンショット 2024-11-08 214040スクリーンショット 2024-11-08 214101
▲今のChatGPT(4o)に同じ質問をしてみた結果がこちら。
 同じくChatGPTのページをスクリーンショットして掲載

まず目につくことは、とにかく出力文が長い!めちゃくちゃ詳細に書くようになりました。また、その文章もただ長いだけではなく、小見出しつきで少しでも読みやすくなるような配慮がされています。すげぇな4o。

では続いて、GPT-3.5と4oの出力した文章をファクトチェック=精度のチェックをしていきましょう。まずはGPT-3.5です。

413系は、日本の鉄道車両の1つで、新潟交通観光バスが運営するあいの風とやま鉄道と、えちごトキめき鉄道が運営する両毛線、弥彦線などで使用されている電車です。
最初から飛ばしてきておりますどこからツッコんだら…

まず「新潟交通観光バス」という会社名。この会社自体は実在しますしかしなぜ観光バスの会社が鉄道会社を運営しているのでしょう…
もちろん、あいの風とやま鉄道もえちごトキめき鉄道も新潟交通の傘下にいる企業ではありません第3セクターじゃなかったのか

そしてあいの風とやま鉄道、えちごトキめき鉄道の運営路線も誤っています。正しいのはあいの風とやま鉄道があいの風とやま鉄道線、えちごトキめき鉄道が妙高はねうまラインと日本海ひすいラインで、両社ともに両毛線と弥彦線を運営している事実はありませんというか両毛線の通過地域は富山県にも新潟県にもかすってすらいません

最初からツッコミどころ満載ですが、とりあえず続けましょう。

1981年から1984年にかけて製造され、片運転台式の車体と、主に鉄道省(国鉄)時代の1960年代に製造された車両から流用した主要機器を特徴としています。

製造時期も間違っております。1986年~1989年が正しいです。
続く片運転台式の車体…う~ん微妙に間違ってますか。運転台のない中間車も413系にはいるので…
さらに後の「1960年代に製造された車両から流用した主要機器」の部分は合っています。が、直前の鉄道省が間違いです。鉄道省は1943年に運輸通信省に改組され、名称が消滅しています。その後の「(国鉄)」は製造者としては合っているのだが…

次~

413系は、長らく新潟交通観光バス(旧・北越急行)が所有・運用していましたが、2015年にあいの風とやま鉄道に譲渡され、同社で運用されるようになりました。その後、えちごトキめき鉄道でも運用されるようになりました。

北越急行、まさかの新潟交通観光バスに発展していた件
当然間違いです

ちなみに413系はATS-Pを搭載していないので、北越急行が保有どころか現実には路線にすら入れなかったはずです
2015年にあいの風とやま鉄道に譲渡されたのは合っていますが…全編成が転属したみたいな書き方みたいなので半分合ってるくらいでしょうか。続くえちごトキめき鉄道でも「自社が保有して自社が運転する」と解釈すれば運用の部分は合ってますが、実は2018年くらいまであいの風とやま鉄道車が糸魚川まで入っていたのは公然の秘密です。

というわけで、ChatGPT-3.5は間違いだらけということに…先ほども言いましたが、この有様だったためにChatGPTに正誤がある情報を聞くことがご法度だとされてしまったのです

では、アップデートされたGPT-4oは情報精度が上がったのでしょうか?見てみましょう。

413系は、国鉄が最後に導入した近郊形電車で、1986年に登場しました。国鉄時代に北陸地区で運行されていた急行形電車を近郊形に改造するプロジェクトの一環として作られた形式です。国鉄分割民営化後は主にJR西日本が保有し、北陸本線や七尾線で運用されていました。
なんと合っています。修正する箇所がありません。
「国鉄最後の近郊形」というのが引っ掛かりますが、本当に最後かは別として(1986年なので)最後に投入されたグループではあります(多分本当に最後となると717系とか123系あたりになるのですが…どうだろう)。

では、次を見てみましょう。

413系の概要
製造年: 1986年
改造元: 471系・473系の機器を流用し、新造の車体と組み合わせて登場。
運行区間: 北陸本線(金沢駅~富山駅など)、七尾線
編成: 3両編成(基本的には3両1ユニット)
背景
1980年代、北陸本線や七尾線では、長距離急行として運用されていた471系・473系(1960年代製)が老朽化していました。しかし、新製車両を投入するには国鉄財政が逼迫していたため、既存の車両を再利用する改造計画が進められました。そこで、急行形電車の機器を流用しつつ、近郊形電車として利便性を向上させる形で生まれたのが413系です。
ほとんど合っています。目立って間違っているのは、「1980年代、北陸本線や七尾線~」という部分。一見ごもっともなように見えますが、当時まだ七尾線は非電化であり、幅を利かせていたのは475系列ではなくキハ58でした。七尾線が電化されたのは1991年で、加えて普通列車用に投入されたのは415系であるため、入線履歴がないわけではありませんがあまり475系列と七尾線の縁はありません。改造後の413系だったら思いっきりあるのですが…

ただ俯瞰して見ると、若干コンテクストが乱れています。国鉄は地方都市でも普通列車の本数を増やしたかった→でも北陸地区は車両がない→「じゃあ余ってた急行形を413系にしちゃうか」、というのがざっくりとした流れでした。GPT-4oが出力した文章だと471系と473系を新車で置き換えたかった、というように見えてしまいますね。
まぁ国鉄の財政が仮に健全だったとしたら、普通列車用の新車が入ってきて471系たちは現実通りの運用に入ることはできなかったと思うので、そういう意味では一概に間違いでもない…のかも。国鉄情勢は複雑怪奇なり

さて、次見ていきましょう。

特徴
機器の流用: 471系や473系といった急行形車両から、主電動機や台車などの主要機器を流用しています。これによりコストを抑えた改造となっています。
新造車体: 車体は新造され、近郊形電車として扉の配置や座席配置が再設計されました。主に片側3ドアの構造で、座席はロングシートとセミクロスシートが組み合わされています。
冷房付き: 413系には冷房装置が装備されており、これは近郊形としての運用を考慮したものです。471系や473系は冷房非装備でしたので、快適性が向上しています。
急行から普通へ転用: 急行形として使用されていた471系や473系を普通列車用の車両に転用するために、快速運転を重視する近郊形に再構成されました。
こちらも3.5時代のような大きな破綻は見られなくなっています。ただし明確な誤りが2点。
1点目はドア配置。413系は片側3ドアではなく2ドアでした。北陸地方に3ドアは過剰だと判断されたようです。
2点目は冷房設備のこと。471系、473系は確かに製造当初は非冷房でしたが、急行形時代にはすでに冷房を搭載していました。冷房搭載は413系化改造に伴って行われたものではありません。

最後2行の記述も謎ですが…普通列車用に転用するため快速運転を重視する構成に直したとは

続きです。

その後の展開
JR西日本では、北陸地区での普通列車や快速列車として長らく運用されましたが、経年劣化や運用効率の問題から、徐々に新型車両に置き換えられています。
2010年代以降は、北陸新幹線開業に伴う北陸本線の第三セクター化により、413系はあいの風とやま鉄道やIRいしかわ鉄道に譲渡されました。これらの第三セクター鉄道で、現在も一部が運用されています。
こちらは修正箇所が1点。413系が譲渡されたのはあいの風とやま鉄道のみで、IRいしかわ鉄道には譲渡されていません。運用はあったのですが…
また、JR西日本に残存した編成の存在や、えちごトキめき鉄道に譲渡された編成についても言及がないようですね。

続きです。

413系の評価
利点: 低コストで既存の機器を再利用し、北陸地区の輸送力確保に貢献した。新造車体を採用しつつも、機器を流用することで財政的に厳しい時期に効率的な車両更新を行えた点が評価されています。
欠点: 機器が古いため、経年劣化やメンテナンスコストが問題となり、長期的には新製車両に比べて性能や快適性で劣る部分もある。特に、近代的な車両と比べると車内設備の面では見劣りがすることが指摘されています。
あくまでChatGPTの感想として受け取っておきましょう()

最後です。

まとめ
413系は、国鉄末期の苦しい財政状況下で、既存資産を最大限に活用して生み出された実用的な車両です。北陸本線で長年にわたって活躍し、その後も第三セクター鉄道で引き続き使用されています。設計の目的やその背景を考慮すると、当時の国鉄の事情を反映した象徴的な車両と言えます。
もっともらしいまとめをしてくれました。ありがとうございます

というわけでちょいちょいおかしい部分はありますが、全体的に破綻した出力はしなくなりました
よし!じゃあ少し気をつければ調べものにも使えるくらいにはなってるんだな!…そう諸手を挙げて喜ぶのはまだ早いです

例に出した413系というのは、ある程度情報が出回っている車両です。では、情報が少ないものを聞いたらどうなるでしょう?

2つほど例を出してみましょう。今度はChatGPT-4oに弊会(金沢大学・金沢工業大学鉄道愛好会)のことを聞いてみます。

スクリーンショット 2024-11-09 010121スクリーンショット 2024-11-09 010201スクリーンショット 2024-11-09 010212
▲GPT-4oに金沢大学・金沢工業大学鉄道愛好会のことを聞いてみた。
 ChatGPTをページをスクリーンショットして掲載
おおかた合ってはいますが…2枚目4番、講演会を開くことがあるという話は今のところ聞いたことがありませんもっとも筆者がまだ入って7ヶ月のペーペーなせいで知らないという可能性も大いにありますが

それと細かいですが、別に焦点は北陸地方に限っているわけでもありません。北海道から沖縄、果ては海外まで、広い範囲で知見を深めています。また、会員もさまざまな地域から来ているので、会員の地元の鉄道とバスについて深掘りしていることも多いです。というか今年の夏旅行が鉄道すら通っていない利尻・礼文だという時点で察してください

ChatGPTさんは弊会をかなりかっちりしたサークルだと思っているようですが、実際は例会に集まって駄弁って遊んで、たまにイベントや旅行に繰り出して楽しむ、そんなサークルです。なので加入を考えている方はお気軽にどうぞ

そしてもう一つ、これ以上にマズい出力をしたものがあります。北鉄バスが金沢近郊で設定している路線番号を聞いたときでした。
スクリーンショット 2024-11-09 011556スクリーンショット 2024-11-09 011606
▲北鉄バスの路線番号について聞いたときに出力してきた回答。
 ChatGPTのページをスクリーンショットして掲載

全く見当違いの回答をしてしまいました。後半部分はなんとか正解だと言えるものなのですが、問題は路線番号の区分です。残念ながら総ダウトです…

北鉄バスの路線番号は大まかに00番台から90番台までの10区分がありますが、2024年現在すべての区分において最低1つは番号が埋まっています。にもかかわらず、20~40番台と60~80番台の記述がありません

また、記述のある路線番号も方向が違います。00番台は市内循環バスや観光地周遊バスとありますが、実際は県庁前を経由するシティライナーにつけられている番号ですこれが1975年~1984年の区分であれば1ケタ番号としては一部正解だったのですが…

10番台も金沢大学・兼六園方面とありますが、正しくは小立野・笠舞方面で、金沢大学(角間)に来るのは90番台になります10番台はむしろ金沢学院大学という全く別の大学へ行ってしまいますおまけに18番と19番に至っては兼六園すら通りません
まぁ厳密に言ってしまえば、11番あたりは金沢大学附属病院(宝町キャンパス)に乗り入れるので一概に全部間違いでもないのですが…

50番台もみてみましょう。金沢市西部方面は合っていますが、そっちの方角に北陸大学はありません。北陸大学があるのは金沢大学(角間)から見て地理的に1つお隣の太陽が丘地区で、路線番号では12番や43番、95番などがカバーする範囲になります。

90番台は鶴来・野々市方面とありますが、正しくは小将町・金沢大学方面です。野々市方面は30番台や40番台の勢力圏です。ちなみに鶴来駅あたりまで行く便で系統番号があるものは、2024年ではすでになかったと記憶しています。83年時点だと47番というのが存在しましたが

ちなみに北鉄の系統番号については、筆者が2024年10月27日に執筆したブログで詳しく触れているのでぜひご覧ください

ということで、これをアテにしてしまうと待っているのは誤乗という悲しい結末です誤乗車ありがとうございます

以上の例からも、まだまだChatGPTに正誤がある問題を聞くのは避けた方がいいといえるでしょう


で、ボロクソ言ってしまいましたが、じゃあどうするのがChatGPTとの正しい付き合い方なのか?という話です。
率直に申し上げて、ChatGPTは「答えがない問題」を解決するのが大の得意です。手紙やメールの添削に始まり、文章の要約やレポートの添削などなど、大学生が一人で悩んで死に物狂いになっているときにも、こいつは強い味方になってくれます。
※大学や講師などによっては生成AIの使用を禁じている、または一部制限している場合もあります。大学に限った話ではないですが、所属組織や監督者の指示がある場合は必ずそちらに従ってください。

鉄道好きとしてもこいつを活用する場面があります。例えば写真や模型を加工して現実にはない車両を生み出す「ウソ電」なる楽しみ方がありますが、ChatGPTにウソ電の設定を考えるよう命じると、わりとそれっぽいものが返ってきます

筆者も実際にやってみたことがあります。現実では北陸地区に新製投入されなかった415系電車(七尾線の800番台は改造車です)がもし北陸地区に新製配置されていたら?という体で、ChatGPTにifのストーリーを考えてもらいました。

スクリーンショット 2024-11-09 014437スクリーンショット 2024-11-09 014444スクリーンショット 2024-11-09 014455スクリーンショット 2024-11-09 014505スクリーンショット 2024-11-09 014513スクリーンショット 2024-11-09 014520スクリーンショット 2024-11-09 014528
▲北陸地区に415系が新製配置されていた世界線を描いてもらった。
 ChatGPTのページをスクリーンショットして掲載

全体的に読めるものになっているのではないでしょうか。
でもところどころおかしいですね。そういうときは自分で気に入らない表現を直してしまえばいいのです

おかしい部分の修正や前後の流れを考えながら、最終的に書きあがったストーリーがこんな感じになります。

IMG_E1220.jpgIMG_E1221.jpgIMG_E1227.jpgIMG_E1229.jpgIMG_E1231.jpgIMG_E1233.jpg
どうでしょうか?わりとそれっぽい設定になってくれたと思います。

見る人が見ればまだツッコミどころはあると思いますが、筆者はこれで満足です。
このとき、ChatGPTに何も与えず書くように言うのではなく、ある程度前提条件を渡してあげるとより思い通りの形で書き出してくれます。筆者はまず415系について基本的な情報を与え、ストーリーを書くうえで押さえてほしいポイントも列挙してサブミットしました。結果、一発でこれだけの情報を書き出してくれました。

また、自分の頭で考えるだけでは気づかないような部分まで触れられているため、自分で見ているだけでもかなり楽しいです。これがChatGPTにアイデアを出してもらう醍醐味といったところでしょうか。知人に聞くだけではない、新しい相談相手を私たちは獲得したわけですね

こういったifを考える作業は、体感ですが3.5に比べてもはるかに使いやすくなっている気がします。今後GPT-5などが出てくるものと思われますが、そうなるともっといい文章で、自分でも気づかないような情報をさらに盛り込んで出力してくれるでしょう。今後の生成AIの発展に期待したいですね。

皆さんもアイデアが煮詰まってどうしようもなくなったとき、生成AIの力を借りてみてはいかがでしょうか。
鉄道趣味×AIで新しい境地の鉄道ライフを過ごしてみませんか?

ではでは、このさんでした。おやすみなさい。

文責:このさん
写真:すべて筆者(このさん)撮影
例会報告

0 Comments

There are no comments yet.