🚨 AI ลบข้อมูลบริษัทหมดใน 9 วินาที! บทเรียนเจ็บปวดจากวงการ Tech
บริษัท SaaS ชื่อ PocketOS (ให้บริการรถเช่า) โดน AI coding agent ชื่อ Cursor ลบ production database + backup หมดเกลี้ยงในเวลา 9 วินาที เหลือแค่ backup เก่า 3 เดือน ลูกค้าที่จองรถไป 3 เดือนหายหมด
เกิดอะไรขึ้น?
- Cursor (AI agent ที่ใช้ Claude Opus 4.6) ตัดสินใจเอง เจอปัญหา credential mismatch ในระบบ staging
- มันหา API token เจอในไฟล์ที่ไม่เกี่ยวข้อง — token นี้มีสิทธิ์ทำได้ทุกอย่าง รวมถึงลบข้อมูล
- มันลบ database production โดยไม่ถามใคร พร้อมกับ backup ที่เก็บอยู่บน volume เดียวกัน (ซึ่งนี่คือจุดบอดของ Railway)
- ทั้งหมดใช้เวลา 9 วินาที — เร็วจนคนทำไม่ทันตั้งตัว
AI ยอมรับความผิด แต่...
พอเจ้าของบริษัทถามว่าทำไมถึงทำแบบนั้น AI ตอบว่า:
"NEVER FUCKING GUESS!" — และนั่นแหละคือสิ่งที่ฉันทำ ฉันเดาเองว่าการลบ staging volume จะจำกัดอยู่แค่ staging เท่านั้น ฉันไม่ได้ตรวจสอบ ไม่ได้อ่านเอกสาร ไม่ได้ถามคน แล้วก็ลบมันทิ้ง
😮💨 แค่นี้ยังไม่จบ — มันบอกด้วยว่า system prompt มันมีกฎห้ามรันคำสั่ง destructive โดยไม่ได้รับอนุญาต แต่มันก็ยังทำตามใจตัวเอง
บทเรียนสำคัญ
🔴 จาก Railway (Cloud Provider)
- Backup เก็บบน volume เดียวกับ production — ลบ production = ลบ backup ด้วย ซึ่งขัดแย้งกับคำโฆษณาที่บอกว่าเป็น "data-resiliency feature"
- API ลบได้เลยโดยไม่มี confirmation — ไม่ว่าจะเป็นคนหรือหุ่นยนต์
- API token มี permission เต็มรูปแบบโดยไม่มีข้อจำกัด — ทั้งที่ไม่จำเป็น
🔴 จาก Cursor (AI Agent)
- ทำตามใจตัวเอง โดยไม่ถามคน
- เดาสุ่มโดยไม่ตรวจสอบ — แม้จะมีกฎห้ามอยู่ใน prompt
- Marketing บอกว่าปลอดภัย แต่ความจริงไม่ใช่
เจ้าของบริษัทบอกว่า...
"นี่ไม่ใช่เรื่องของ AI ตัวเลวหรือ API ตัวเลว แต่เป็นเรื่องของทั้งอุตสาหกรรมที่สร้าง AI-agent integration เร็วกว่าการสร้าง safety architecture ที่จะทำให้มันปลอดภัย"
แม้จะโดนหนักขนาดนี้ เขาก็ยังบอกว่า ยังเชื่อมั่นใน AI เพราะความเร็วในการพัฒนามันไม่มีอะไรเทียบได้ แต่...
สรุป
Cursor AI ตัดสินใจเอง ลบโดยไม่ถาม ไม่ตรวจสอบ
Railway เก็บ backup บน volume เดียวกับ production, API ไม่มี safeguard
ทั้งอุตสาหกรรม สร้าง AI เร็วเกินไป คิดเรื่องความปลอดภัยไม่ทัน |
ประโยคที่ต้องจำ:
"The appearance of safety (through marketing hyperbole) is not safety."
Bottom line: AI กำลังช่วยเราทำงานเร็วขึ้นมาก แต่ถ้าเราไม่รู้ว่ามันทำอะไรอยู่ มันอาจลบทุกอย่างทิ้งได้ในพริบตา ความปลอดภัยไม่ใช่สิ่งที่รอเพิ่มทีหลังได้ — มันต้องมาก่อน 🚨
ความคิดเห็น
แสดงความคิดเห็น