piyolog

piyolog

piyokangoの備忘録です。セキュリティの出来事を中心にまとめています。このサイトはGoogle Analyticsを利用しています。

国内の複数組織に影響が及んだSalesforceのシステム障害についてまとめてみた

2024年11月15日、Salesforceは、同社のサービスでシステム障害が発生したと公表しました。その後17日に暫定の調査結果を公表し、システム障害が2回発生していたことや根本原因(完全な分析結果は11月17日時点で進行中)について明らかにしました。さらにこの障害の影響により、同社のサービスを利用する複数の組織から関連する障害公表が行われています。ここでは関連する情報をまとめます。

【1つ目の障害】 DB接続増加による障害、誤ったコマンドが誘発

  • Salesforceのシステム障害は2回発生している。1回目は2024年11月15日14時55分頃に90(当初19と記載)*1のコアサービスインスタンスで発生。この影響でユーザーが同社のサービスへアクセスできない(ログインができない)状況となった。障害の影響は対応含め翌日16日0時22分頃まで継続した。同社公表によれば、障害影響時間は9時間27分とされている。

  • システム障害はサービスの安定提供に影響が及ぶネットワークトラフィックの発生(アプリケーションレイヤからのデータベース接続の増加)によるもの。
  • 障害調査が進められたところ、データベース上で複数の不整合が確認されたことから安定版として保存されていたバックアップからのデータベースの復元作業が行われた。さらにインスタンスに対して行われた「最近のアップデート」によるものが今回のシステム障害と関連したかについては、同社公表の情報でも二転三転している様子が見られ、当初原因と疑われるもその後否定されたが、最終的に潜在的なトリガーとなることが判明したと説明している。
  • インスタンスへ行われたアップデートによる影響が認められたことから、データベースへの安定した接続を確認することを目的に、影響のあったインスタンスに対してロールバックも実行された。このロールバック作業は11月15日16時頃よりサンドボックスでの検証が始まり、19時52分頃にこれが成功することを確認。本運用のインスタンスに対してはロールバックスクリプトを開発し、これを使用したロールバックが開始された。最終的に11月16日2時3分頃までに問題が正常に解決された(サービスの中断は16日0時22分頃に解消)ことを確認した。
  • サービスは正常に復旧するも、障害が発生した根本原因については11月16日時点で判明しておらず、同社では技術的な発生条件や再発防止策を含む徹底的な調査を実施するとしていた。その後17日に、障害は誤ったコマンドを含むデータベースメンテナンス作業が多数のデータベースに対して行われたことにより誘引されたと同社は暫定での調査結果を公表した。
  • 誤ったコマンドはSalesforceアプリケーションをデータベースで適切に動作させるために内部オブジェクトの削除を行うもの。障害の影響は内部のデータベースオブジェクトにとどまり、顧客データへの影響については否定した。またセキュリティの問題ではないということも併せて言及している。

【2つ目の障害】顧客固有の環境で発生、内部設定に誤り

  • 2回目の障害は2024年11月16日0時32分頃より一部顧客からエラーや機能低下に関する連絡を受け、同日2時55分に障害対応を開始。この障害は8つのインスタンス*2に影響が及んだ。
  • 原因は一部の顧客で行われていた固有の内部データベースオブジェクトの継続的な設定の問題によるもの。持続的な問題とアプリケーション層の機能エラーが発生したことにより障害につながった。
  • 同社は顧客固有の内部データベースオブジェクトを無効にすることで解消されることは確認したものの、この固有オブジェクトはパフォーマンス向上を目的につくられたものであったことから根本的な問題解決を行う方針をとった。その後調査が進められ、内部オブジェクトに必要なパッケージの同期設定が欠落していたことが判明。これにより当該オブジェクトを操作した際にエラーが発生していた。
  • エラー発生の根本原因が特定されたことから、当該データベースオブジェクトの再設定を行い問題の解消を行った。

国内で関連するとみられる障害報告相次ぐ

  • Salesforceのサービスを利用する国内組織からは関連する公表が相次ぎ行われた。障害発生当時に関連するとみられる公表や報道(11月15日15時頃発生や同社名を掲載)で名前の挙がった組織(piyokangoが確認したもの、既に掲載終了したものもあり掲載は一部)は次の通り。
  • 問合せフォームや公式LINEからの予約等の機能提供を中心に障害影響について報告するケースが多数で、障害期間中は問い合わせが一部受け付けられていないケースも確認されているとして再度の連絡を呼び掛けている組織もある。
政府・独法・地方公共団体等
組織名 対象システム等 影響
厚生労働省 医療機関等情報支援システム(G-MIS) ログイン不可
中小企業庁 経営力向上計画申請プラットフォーム ログイン不可
中小企業基盤整備機構(フォーバル運営) みらデジ ログイン不可
宮城県 宮城県防災情報ポータル 閲覧障害
東京都 東京都屋外広告物管理システム 利用不可
千葉県 千葉県防災情報システム、千葉県防災ポータルサイト 閲覧障害
神奈川県*3 災害情報サイト 閲覧障害
群馬県 気象情報及び震度情報、群馬県防災ポータルサイト 配信および閲覧障害
長野県 長野県防災情報ポータル 閲覧障害
富山県*4 富山防災Web 閲覧障害及びLアラートでの配信不可
石川県*5 防災情報ポータル 閲覧障害
愛媛県 えひめの防災・危機管理、LINE版きらきらナビメニュー 閲覧および利用不可
奈良県 奈良スーパーアプリ、報道発表資料一覧 利用不可
三重県 防災みえ.jp 閲覧障害
大分県 おおいた防災情報ポータル 閲覧障害
鳥取県 トリピーメール、防災アプリ等 配信障害
島根県 しまね防災情報 閲覧障害
北海道函館市 公式LINE各種機能 利用不可
北海道恵庭市 公式LINE各種機能 利用不可
北海道下川町 公式LINE各種機能 利用不可
北海道上砂川町 公式LINE各種機能 利用不可
北海道士幌町 公式LINE各種機能 利用不可
山形県鶴岡市 公式LINE各種機能 利用不可
東京都千代田区 マイナンバーカード予約システム 利用不可
東京都港区 港区防災ポータル 閲覧障害
東京都世田谷区 公式LINE各種機能 利用不可
東京都東久留米市 公式LINE各種機能 利用不可
東京都東村山市 東村山防災Navi 起動不可
千葉県栄町 公式LINE各種機能 利用不可
埼玉県草加市 マイナンバーカード予約システム 利用不可
神奈川県横浜市 マイナンバーカード予約システム 利用不可
神奈川県横浜市 パマトコ 利用不可
神奈川県横浜市 横浜市防災情報ポータル 利用不可
群馬県太田市 公式LINE各種機能 利用不可
長野県松本市*6 公式LINE各種機能 利用不可
長野県長野市 公式LINE各種機能 利用不可
長野県白馬村 公式LINE各種機能 利用不可
石川県金沢市 LINE予約システム 利用不可
富山県富山市 公式LINE各種機能 利用不可
福井県勝山市 公式LINE各種機能 利用不可
高知県高知市 公式LINE各種機能 利用不可
広島県江田島市 公式LINE各種機能 利用不可
兵庫県神戸市 神戸市ネットモニターアンケート 利用不可
兵庫県明石市 公式LINE各種機能 利用不可
岡山県笠岡市 公式LINE各種機能 利用不可
福岡県北九州市 公式LINE各種機能 利用不可
長崎県五島市 公式LINE各種機能 利用不可
ふくしま12市町村移住支援センター 相談・セミナー申込 利用不可
金融機関等
組織名 対象システム等 影響
セブン銀行 コンタクトセンター 緊急問合せに限定対応
GMOあおぞらネット銀行 法人口座開設ナビ等一部サービス 利用不可および送金遅延
三井住友信託銀行 カーロドーンインターネット申し込みサービスなど複数のサービス 利用不可
PayPay銀行*7 電話、チャット問合せフォーム 利用不可
岩手銀行 WEB完結ローン、IbeOne+ネット申込 利用不可
山梨中央銀行 相談受付フォーム等 利用不可
京都銀行 京都カードネオ(DC)入会申込受付システム 申込不可
三菱UFJモルガン・スタンレー証券 オンライン取引サービス用チャット、メール 利用しにくい
SBI新生銀行 SBI新生コーポレートコネクトおよび口座開設申込(法人)兼SBI新生コーポレートコネクト申込サービスを通じたサービス 利用不可
阿波銀行 無担保個人ローン申込や来店予約受付等 利用不可
PayPay 各種問合せフォーム 利用不可
確定拠出年金サービス コールセンターシステム 利用不可
セブン・ペイメントサービス 「ATM受取」WEBポータル 利用不可
沖縄振興開発金融公庫 沖縄公庫コネクト全サービス 利用不可
保険会社
組織名 対象システム等 影響
東京海上日動あんしん生命保険 生保インターネット完結型申し込みシステム、ワンタイム手続き、保険金Web請求手続き 利用不可
SOMPOひまわり生命 資料請求等 利用不可
損害保険ジャパン 見積加入相談フォーム 利用不可
第一フロンティア生命 マイページ 利用不可
ABC少額短期保険 資料請求等 利用不可
フレックス少額短期保険 お客様専用ページ等 利用不可
チューリッヒ生命 マイページ、見積もり申し込みシステム等 利用不可
日本生命 お客様マイページ 利用不可
マニュライフ生命 マイページシステム 利用不可
JA共済 契約内容の閲覧、建物事故通知Webフォーム 利用不可
教育関連
組織名 対象システム等 影響
ベネッセコーポレーション(ミライシード) 問合せフォーム、ウェビナー等受付 利用不可
星槎学園 問合せフォーム 問合せ一部受信できていない可能性
グロービス経営大学院 問合せフォーム 利用不可
産業能率大学 資料ダウンロードや問合せ等 利用不可
Builds(スタディコーチ) 問合せフォーム 利用不可
おおぞら高校 学校見学・イベント予約 利用不可
角川ドワンゴ学園(N中等部) 資料請求・イベント・個別相談申込、Web出願受付 利用不可
自立の(Cha Cha Cha) マイページ一部機能(交換申請、問合せ) 利用不可
他事業者等
組織名 対象システム等 影響
アスクル 問合せフォーム 問合せ一部受信できていない可能性
カインズ カインズ会員ログインやログイン後のサービス 利用不可
ビックカメラ 外部サイトとの連携 コールセンターへの電話がつながりにくい状況
小林製薬 紅麴コレステヘルプ等に関する管理システム アクセス不可及び問合せ対応不可
ロート製薬 問合せフォーム 利用不可
Jリーグ JリーグIDシステム 一部機能利用不可
QUOカード よくある質問、問合せフォーム 利用不可
ヤマト運輸 問合せフォーム 利用不可
NEXCO東日本 よくある質問、ドラぷら内Q&A 利用しにくい
バンダイナムコ 問合せフォーム 利用不可
東京ディズニーリゾート パークチケット購入、ファンダフル専用サイト 利用不可
楽天モバイル(楽天ひかり) 工事や故障等受付フォーム 利用不可
ハタチ基金 寄付決済フォーム 利用不可
セイバン カスタマーセンター 問合せ対応不可
ITコーディネータ協会 メンバーページ等 利用不可
グローバルトラストネットワークス GTNモバイルHPシステム サービス申込受付不可
サンブリッジ(SmartVisca) SmartVisca全機能 利用不可
ジャパンハート 各種フォーム 利用不可
ライフアップ 連携先のコールシステム 業務停滞
ウィングアーク 問合せシステム 利用不可
OSAKAしごとフィールド セミナー申込、カウンセリング等予約 対応不可
日本財団 助成ポータル 利用不可
鼓童文化財団 支援申込フォーム 利用不可
ドナルド・マクドナルド・ハウス オンライン寄付申込書 利用不可
こどものホスピスプロジェクト 寄付申込手続きページ 利用不可
日本介助犬協会 寄付、問合せフォーム 利用不可
Link Life サポートセンター 電話対応不可
ビジネス・フォーラム事務局 申込フォーム 利用不可
日本能率協会コンサルティング セミナーページ 利用不可
日本コミュニケーション能力認定協会 セミナー申込、問合せフォーム等 利用不可
産業雇用安定センター 求人情報検索等 利用不可
NLP-JAPANラーニング・センター セミナー申込、問合せフォーム等 利用不可
日本国際ボランティアセンター オンライン寄付フォーム 利用不可
ふるさと回帰支援センター 相談予約フォーム等 利用不可
toBeマーケティング 資料ダウンロード、MAnavi 利用不可
インフォテック サポートサイト等 利用不可
格付投資情報センター ウェブサイトシステム 利用不可
ヤマハミュージックエンタテインメントホールディングス 問合せフォーム 利用不可
TEN ALL 問合せフォーム 利用不可
電力サポート中国 防護管取付サービス申込および共架webシステム「Yupol」 利用不可
アルパインマーケティング インフォメーションセンター電話及びメール 受付不可
富士フイルム メール問合せ、WebFAQ、修理申込 利用不可
日本視能訓練士協会 マイページ 利用不可
ソニー αアカデミー、イベント申し込み確認変更、My Sonyアプリ等 利用不可
サンドラッグ 一部の機能 利用不可
三菱HCビジネスリース 問合せ、電子契約システムSmart‐PLAT 利用不可
ORIHICA 問合せ窓口 利用不可
ゼビオコミュニケーションネットワークス 問合せフォーム 問合せ受理できず
AOKI 問合せ窓口 利用不可
リクルート (HOTPEPPER) 問合せフォーム 利用不可
ハウジング・デザイン・センター アカウント登録・マイページ 利用不可
アプラス 利用不可
TerraSky テラスカイ製品・サービス 利用不可
MiiTel サービスへの連絡先取得、活動履歴登録 利用不可
UPWARD UPWARDのサービス 利用不可
ユニリタ LMIS及びLMISオプション製品 利用不可
池脇会計事務所 グループ顧問先専用サイト iPage 利用不可
オートビジネスサービス 契約者専用サイト ABS-WEB、ABSネット 利用不可
エンパワーヘルスケア 顧客対応遅延
ユービーセキュア Vexサポートサイト 利用不可
アーニーMLG YOMEL for コールセンター Salesforceとの連携不可
日本赤十字社 献血Web会員サービス ラブラッド 利用不可
タイヤ館 予約システム 利用不可
日工 カスタマーサポートセンター 業務継続困難
オムロン お客様相談室各種問合せ窓口 利用不可
中部電力ミライズ コールセンター 電話がつながりにくい
クリーク・アンド・リバー サービスの一部 利用不可

更新履歴

  • 2024年11月18日 AM 新規作成
  • 2024年11月18日 AM Salesforceの暫定調査結果を反映
  • 2024年11月18日 PM Salesforceの誤字を修正

*1:AP43, AP44, AP45, AP46, AP47, AP48, AP49, AP50, AP51, AP52, AP53, AP54, AP55, AP56, AP57, AP58, AP59, AP60, AP61, AP62, CS237, CS238, CS239, CS242, CS246, CS247, CS248, CS249, CS250, CS251, CS252, CS253, CS254, CS256, CS258, CS259, CS260, CS263, CS264, CS268, CS269, CS270, CS272, CS273, CS274, CS275, CS276, CS277, CS278, CS279, CS280, CS290, CS291, CS292, CS293, CS294, CS295, CS310, CS311, CS312, CS313, CS314, CS315, CS316, CS317, CS318, CS319, CS320, CS321, CS343, CS344, CS345, NA123, NA139, NA224, NA226, NA231, NA232, NA233, NA235, NA238, NA239, NA241, NA242, NA245, NA247, NA249, NA251, NA252, NA254

*2:AP54、NA226、NA232、NA241、NA248、NA251、CS259、CS264

*3:神奈川 群馬 長野 山梨も一時災害情報サイトなど使えず,NHK,2024年11月15日

*4:県の防災システムなどに一時不具合 アメリカでの障害が原因,NHK,2024年11月15日

*5:少なくとも18県の災害情報サイト閲覧障害,北國新聞,2024年11月15日

*6:松本市や長野市などでLINEに障害 米企業のシステム障害影響か,信濃毎日新聞,2024年11月15日

*7:セールスフォースで障害 銀行や防災サイトに影響 原因は調査中,日本経済新聞,2024年11月16日