【Pay】楽天ペイの障害、原因判明 データセンターでUPS外して作業→停電→システム障害

http://asahi.5ch.net/test/read.cgi/newsplus/1574769800/【元スレ】

今回の記事

1 2019/11/26(火) 21:03:20.86

無停電機能を外したまま電源設備を更新、楽天などに影響した九電系データセンター障害の原因判明
2019/11/26 14:55

 九州電力の通信子会社QTnet(福岡市)のデータセンターで障害が発生した問題について、2019年11月26日に停電の原因が判明した。11月23日朝、電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた。その結果、7秒間ほど電源が停止し、利用各社のシステム障害につながった。

まだ22社が復旧できていない

[画像タップで拡大表示]

 今回の障害で、事業継続を安定させる目的で使うはずのデータセンターに、想定外の盲点があると明らかになった格好だ。QTnetによると、影響を受けた約260の企業・自治体の中で、2019年11月26日10時時点で22社が復旧できていないという。

 今回の障害の影響で、クレジットカードの楽天カードやスマホQR決済の楽天ペイが11月23日朝に利用できなくなった。楽天ペイは11月25日朝に一時的に使えなくなったり、楽天カードは現在も一部機能が利用できなかったりと、発生から3日経過後も電源停止の影響が残っている。

https://tech.nikkeibp.co.jp/atcl/nxt/news/18/06551/

みんなのコメント

5 2019/11/26(火) 21:04:43.10

結局人なんだよなあ

7 2019/11/26(火) 21:05:07.66

予備電源、予備電源

9 2019/11/26(火) 21:05:31.43

馬鹿じゃねーのというところだけど、なぜこんな馬鹿なミスが起きたのか、だな。信じられんミスだけど。
賠償は10億じゃ済まんのじゃないか?

12 2019/11/26(火) 21:06:02.73

楽天がやらかした➡まあそんなもんだろ

QTがやらかした➡えっマジか?

15 2019/11/26(火) 21:06:14.15

こんなレベルじゃ危なくて利用できない

17 2019/11/26(火) 21:06:38.88

これって現場では予見できない事なのか?
担当者が特に無能だったわけではなく、システムの盲点で相当に気付きにくいものなの?

賠償金発生するんかな?

18 2019/11/26(火) 21:06:54.16

楽天 叩いてた3Kどうすんのさ?

21 2019/11/26(火) 21:07:18.87

予備系無いのかよ

24 2019/11/26(火) 21:07:47.28

障害で儲けるスタイル

28 2019/11/26(火) 21:08:33.51

楽天ポイントだいぶ損した

32 2019/11/26(火) 21:08:52.75

だめじゃん

分かっていても分かっていなくても
繋がっている機器を外していいわけねーだろ

37 2019/11/26(火) 21:09:29.60

プロとは思えぬ

38 2019/11/26(火) 21:09:49.14

Apple Payにカード追加したいのに出来ないのはこの影響なのかな
調べても公式は特にアナウンスしてないし

40 2019/11/26(火) 21:10:07.25

主電源+補助電源+予備電源
というシステムでないのか

以下コメント続き

41 2019/11/26(火) 21:10:08.11

昔だが、DC法定点検で一応待機してたが、UPSどころか非常電源刺さってなくて落ちて偉いことになった。

44 2019/11/26(火) 21:10:30.42

やったのって、下請けの下請けの下請けの・・・

45 2019/11/26(火) 21:10:41.35

killall

50 2019/11/26(火) 21:11:38.48

名前のとおりに楽天すぎないか

52 2019/11/26(火) 21:11:47.82

さすがにもう使えるかなと思って、久しぶりに通販で払おうとしたら決済できんかった。
カードにハサミ入れようかな。 頭にきた。

55 2019/11/26(火) 21:12:45.41

楽天のモバイル環境開発手詰まり状態でハード資源とかもそこら中からかき集めてるって話だから
単純にミスってわけでじゃないよ

57 2019/11/26(火) 21:12:55.63

受けるwww
大事な設備なのに金払わないで適当な業者にやらせたのかな

65 2019/11/26(火) 21:13:38.10

つーか非常電源ないのか?

68 2019/11/26(火) 21:13:56.25

QTnetは迷惑かけてる全ユーザーに損害賠償しろ!って楽天に言われてるんだろなー、いくらかかるんだろな

72 2019/11/26(火) 21:14:49.01

電気の流れを考慮せずに作業するからだろ
馬鹿ばかりだぜー

74 2019/11/26(火) 21:15:04.18

てきとーな作業ならともかく、予備電源外して作業なんてあり得ない

78 2019/11/26(火) 21:15:22.72

UPSはあるよ
4年経ったからバッテリー買い替えたら配線繋がってない事に気付いたとか

82 2019/11/26(火) 21:15:50.07

下請け任せにしてるんだろう

83 2019/11/26(火) 21:15:54.77

楽天の株価を下げるためにわざとやったとかw

86 2019/11/26(火) 21:16:25.34

やっぱり英語で謝るの?

以下コメント続き2

93 2019/11/26(火) 21:17:23.77

誰に何をされたんだろうwww

94 2019/11/26(火) 21:17:30.45

楽天は取引先を変えるかな

96 2019/11/26(火) 21:17:39.65

お前ら純真無垢かよw世間向けの発表鵜呑みにしやがって

とある筋からの確からしい情報によると、これは掃除のおばちゃんがコードにつまづいたことが原因らしい
ガチで!

101 2019/11/26(火) 21:17:58.80

楽天が協力業者を叩いてるんだろう

質の低下

102 2019/11/26(火) 21:18:01.14

ああ英語でやってるから解決しないのかw

104 2019/11/26(火) 21:18:13.48

月給16万の派遣だしな

112 2019/11/26(火) 21:18:57.98

CVCFをバイパス側にしてたんだろ?たまにやるよな

113 2019/11/26(火) 21:19:07.83

ちょっとおもしろいw

121 2019/11/26(火) 21:20:01.40

現場猫が大量にいる国、日本

125 2019/11/26(火) 21:20:08.90

想定外の盲点wwww

128 2019/11/26(火) 21:20:50.41

冗長性もないの?

129 2019/11/26(火) 21:20:53.31

部品交換するとき、電流が来てたらちょっと怖いやろw
このくらいええやんw二〜三日生活する現金くらいあるやろ?

131 2019/11/26(火) 21:20:58.49

あほすぎるwww

20年ぐらい前デスクトップの時はUPS使ったけど
ノートになってゴミになったな

132 2019/11/26(火) 21:21:36.57

掃除のおばさんレベルだわ

133 2019/11/26(火) 21:21:37.07

バカじゃん
素人レベルだわ

で、作業員は何歳だったの?
ゆとり?
バブル?

以下コメント続き3

139 2019/11/26(火) 21:22:15.91

電気主任技術者は逮捕されるレベルじゃね?

146 2019/11/26(火) 21:22:41.29

楽天シム恥ずかしいです

158 2019/11/26(火) 21:23:29.71

楽天カード12月の明細確認できない
このまま明細飛んでくれると助かるw

162 2019/11/26(火) 21:23:57.43

あー絶対落ちてはいけないものが落ちたら
責任者の首で済まないわ

南無阿弥陀仏

169 2019/11/26(火) 21:24:57.31

サーバーの予備サーバーが必要だな!

171 2019/11/26(火) 21:25:07.32

コイツらネット世代でなくバブル末期のヤンキーだし。

174 2019/11/26(火) 21:25:33.45

楽天が悪くなかろうがQTネットが悪かろうが
こっちには知ったこっちゃないわ

カード楽天しか持ってないのに連休大変やったわ

ふざけんな

176 2019/11/26(火) 21:25:46.25

福島原発も2台ある予備電源を、同じ地下室に置いてて
どっちもだめになったんだっけ

2台あるなら、1台は地下、1台は高台にくらい分けとけ

184 2019/11/26(火) 21:26:37.95

何のギャグですか?
ドコモなら絶対に起こらなそうなミスだなぁ

198 2019/11/26(火) 21:28:21.39

アホはマニュアル通りに作業すべき

200 2019/11/26(火) 21:28:38.12

なんということでしょうw

205 2019/11/26(火) 21:29:25.29

ようするに
電源落ちたときはどうなる?
すぐに予備に切り替わります
ならいいか
で、やっちゃったんだろ

206 2019/11/26(火) 21:29:30.98

さしてても30分くらいだろもつの

207 2019/11/26(火) 21:29:44.06

楽天ペイ 「なるほど、これは停電になったら接続すればいいんだな!」

208 2019/11/26(火) 21:29:50.60

マルチリージョン?とかじゃないのか
金融関係なのにシステム脆すぎじゃないか?
7秒電源落ちたら3日システム落ちっぱなしってのも…

以下コメント続き4

211 2019/11/26(火) 21:30:20.80

素人かよ、ペイやめろ

214 2019/11/26(火) 21:30:35.02

データセンターの作業員って派遣の場合が多いから仕方ないな

220 2019/11/26(火) 21:31:07.40

ヒューマンエラーか。プログラムミス以外の。

あほだが、よくある。気にしろ

227 2019/11/26(火) 21:31:38.35

何か深い事情があったのだろうな実に面白い

228 2019/11/26(火) 21:31:39.99

掃除のおばちゃん級のミスwww
これはないわ

234 2019/11/26(火) 21:32:48.42

FISCの監査やってる俺からすると信じられない低レベル

239 2019/11/26(火) 21:33:36.63

たすけて楽天カードマン!

241 2019/11/26(火) 21:33:41.64

掃除のおばちゃん 「これにつなぐと停電でも掃除出来て便利やわぁ」

245 2019/11/26(火) 21:34:13.29

仮想化してどっか別のDCで動かすとか出来んかったのか

251 2019/11/26(火) 21:34:44.11

通信事業者のデータセンターでこれはお粗末すぎだろ
とは言え楽天はバックアップサイト構えてないの?

254 2019/11/26(火) 21:34:59.05

ペイペイ
セブンペイ
楽天ペイ

馬鹿ばっかwwwwwwwwwww

次によく読まれている記事


以上、【【Pay】楽天ペイの障害、原因判明 データセンターでUPS外して作業→停電→システム障害】でした。

もし気に入っていただけたらツイッターなどでぜひぜひシェアをお願いします。更新の励みになります。