Lily Cohen ผู้ดูแลระบบของ Firefish Social เว็บเครือข่ายสังคมออนไลน์ รายงานถึงเหตุการณ์ข้อมูลหาย ว่าเป็นอุบัติเหตุระหว่างการจัดไฟล์คอนฟิกใหม่ ทำให้ข้อมูลสูญหาย แถมพบว่าระบบสำรองข้อมูลที่คอนฟิกเอาไว้ทำงานผิดพลาดจนข้อมูลไม่ได้ backup ไว้จริง
ปัญหาเริ่มต้นจากการย้ายไฟล์ yaml จัดโครงสร้างใหม่ แต่ปรากฎว่า yaml บางส่วนถูกจัดไปอยู่ในโฟลเดอร์ที่ ArgoCD มองไม่เห็น ส่งผลให้ ArgoCD ลบข้อมูลใน namespace ที่ถูกย้ายไฟล์คอนฟิกออกไปทั้งหมดทันที รวมถึงข้อมูลผู้ใช้ทั้งหมดที่อยู่ใน Persistent Volume Claims (PVC)
ปัญหาร้ายแรงขึ้นเมื่อ Velero ที่คอนฟิกสำหรับสำรองข้อมูลทุก 6 ชั่วโมงนั้น กลับไม่ได้คอนฟิกให้สำรองข้อมูลใน PVC ไว้ด้วย ผลกระทบครั้งนี้ทำให้เว็บสื่อสังคมออนไลน์ในความดูแลของ Firefish สามเว็บ ได้แก่ firefish.lgbt, musician.social, และ outdoors.lgbt สูญหายไปทั้งหมด
ที่มา - Firefish
ภาพโดย JasonPinaster
Comments
น้ำตาเล็ดไม่ได้ซ้อม Disaster recovery กันเลยสินะ
ถ้าเป็นผมเจอแบบนี้ น้ำตาร่วงแน่ๆ
ลูกค้าที่ใช้งานเก็บข้อมูลมีร้องให้แน่นอน แล้วจะกู้ข้อมูลกลับมายังไงเนี่ย มีแววว่าข้อมูลทีโดนลบอาจโดนเขียนทับไปแล้วด้วยก็ได้
อาจได้มีการฟ้องร้องในภายหลัง แถมเสียลูกค้ารายใหญ่อีก
ความล้มเหลว คือจุดเริ่มต้นสู่ความหายนะ มีผลกระทบมากกว่าแค่เสียเงิน เวลา อนาคต และทรัพยากรที่เสียไป - จงอย่าล้มเหลว
ใครโปรแกรม ArgoCD?!!
ใครสั่งใครสอนให้ลบ by default?!!
Config พลาด ก็มือเย็นแล้ว
Check backup .. ตัวเย็น คล้ายๆ จะเป็นลม มันวิงเวียน
Admin กินข้าวเย็นอร่อยแน่นอนวันนี้
วิธีเคลียร์ Data แบบเนียนๆสินะ
ให้เดาคือรัน DB container เอง เลย mount ตัว PVC ไว้เก็บ DB
lewcpe.com , @wasonliw
นอนด่าตัวเองไปอีกกี่คืนนะ
ปรากฏ
อะหือ แค่อ่านยังรู้สึกมวนท้องแทน