גיבוי והתאוששות מאסון בחברת SaaS: הטעויות שמתגלות רק ביום התקלה
רוב החברות בטוחות שיש להן גיבוי, עד שהן מנסות לשחזר. אלו הטעויות הנפוצות בגיבוי ובהתאוששות מתקלות, וכך נערכים נכון.
בכל חברת תוכנה כמעט שואלים מתישהו את השאלה: האם יש לנו גיבוי? והתשובה כמעט תמיד חיובית. אבל השאלה החשובה באמת היא אחרת: האם אנחנו יודעים לשחזר את המערכת, כמה זמן זה ייקח וכמה מידע נאבד בדרך? חברות SaaS רבות מגלות את התשובה רק ביום שבו משהו משתבש, כשמסד נתונים נמחק בטעות, כשמתקפת כופרה מצפינה את השרתים או כשאזור שלם של ספק הענן קורס. ביום כזה, כל דקה של השבתה פוגעת בלקוחות, באמון ובהכנסות. ריכזנו את הטעויות הנפוצות בתחום הגיבוי וההתאוששות, ואת הדרכים להיערך אליהן מראש.
טעות ראשונה: לא להגדיר יעדים ברורים
לפני שבונים מערך גיבוי, צריך להחליט מה בעצם רוצים להשיג. שני מושגים מרכזיים עוזרים בכך. הראשון הוא כמות המידע המקסימלית שהעסק יכול להרשות לעצמו לאבד, כלומר כמה זמן אחורה מותר שהשחזור יחזיר אותנו. השני הוא משך הזמן המקסימלי שהמערכת יכולה להיות מושבתת. חברה שמעבדת עסקאות כספיות תגדיר יעדים מחמירים בהרבה מחברה שמספקת כלי ניהול פנימי.
בלי יעדים כאלה, אי אפשר לדעת אם מערך הגיבוי מספיק, ואי אפשר להצדיק את העלות שלו מול ההנהלה. כדאי לקבוע את היעדים יחד עם הצד העסקי, ולבחון אותם מול ההתחייבויות שניתנו ללקוחות בחוזים.
טעות שנייה: לא לבדוק שחזור בפועל
זו הטעות הנפוצה והמסוכנת ביותר. גיבוי שלא נבדק הוא בעצם תקווה ולא גיבוי. חברות רבות מגלות ביום התקלה שהגיבויים לא נשמרו כראוי, שחסרים בהם חלקים, שהם מוצפנים במפתח שאיש לא יודע איפה הוא או שתהליך השחזור לוקח ימים במקום שעות. הדרך היחידה לדעת היא לבצע שחזור ניסיוני באופן קבוע, לסביבה נפרדת, ולמדוד כמה זמן הוא לוקח ואם המערכת עובדת אחריו.
טעות שלישית: לשמור את הגיבויים באותו מקום כמו המערכת
אם הגיבויים נמצאים באותו חשבון ענן, באותו אזור ועם אותן הרשאות כמו המערכת עצמה, תקלה אחת יכולה לפגוע בשניהם. מתקפת כופרה שמשיגה הרשאות ניהול יכולה למחוק גם את הגיבויים. טעות אנוש שמוחקת משאבים בחשבון יכולה לגרום לאותו נזק. העיקרון המקובל הוא לשמור עותקים בכמה מקומות, לפחות אחד מהם באזור גאוגרפי אחר ובחשבון נפרד, ולהשתמש באחסון שאינו מאפשר מחיקה או שינוי לתקופה מוגדרת.
טעות רביעית: לגבות רק את מסד הנתונים
מסד הנתונים הוא כמובן החלק החשוב ביותר, אבל הוא לא הכל. כדי לשחזר מערכת שלמה צריך גם את הקבצים שהמשתמשים העלו, את הגדרות התשתית, את הסודות ומפתחות ההצפנה, את הגדרות הדומיינים ואת תצורת השירותים החיצוניים. חברות שמגבות רק את מסד הנתונים מגלות שהשחזור נתקע כי חסר רכיב אחד שאיש לא חשב עליו. ניהול התשתית כקוד, כלומר הגדרת כל המשאבים בקבצי תצורה שנשמרים במאגר, מקל מאוד על הקמה מחדש של הסביבה.
טעות חמישית: להסתמך על אדם אחד
בחברות קטנות, לעתים קרובות רק מפתח אחד או איש תשתיות אחד יודע איך המערכת בנויה ואיך משחזרים אותה. אם הוא בחופשה, חולה או עזב את החברה ביום התקלה, אף אחד לא יודע מה לעשות. כדאי לתעד את תהליך השחזור בצורה מפורטת, צעד אחר צעד, ולוודא שלפחות שני אנשים תרגלו אותו בפועל.
מה צריך לכלול מסמך התאוששות בסיסי:
- רשימת כל הרכיבים במערכת והתלות ביניהם.
- מיקום הגיבויים ואופן הגישה אליהם.
- סדר השחזור והפקודות או הכלים הנדרשים.
- אנשי קשר אחראים וגיבוי לכל אחד מהם.
- נוסח הודעה ללקוחות ואופן עדכון השוטף שלהם.
טעות שישית: לא לחשוב על התקשורת עם הלקוחות
כשהמערכת מושבתת, הלקוחות רוצים לדעת מה קורה. חברות שלא מתכננות את התקשורת מראש משאירות את הלקוחות בחושך, או שולחות הודעות סותרות. כדאי להחזיק עמוד סטטוס חיצוני, שאינו תלוי בתשתית של המערכת עצמה, ולהכין מראש תבניות הודעה. אחרי התקלה, כדאי לפרסם סיכום שמסביר מה קרה ומה נעשה כדי שזה לא יחזור. שקיפות כזו מחזקת את האמון, גם אחרי אירוע לא נעים.
טעות שביעית: לראות בגיבוי פרויקט חד פעמי
המערכת משתנה כל הזמן: נוספים שירותים, מסדי נתונים ורכיבים חדשים. מערך גיבוי שנבנה לפני שנה לא בהכרח מכסה את המערכת של היום. כדאי לקבוע סקירה תקופתית, למשל פעם ברבעון, שבודקת שכל הרכיבים החדשים נכללים בגיבוי, ולשלב את הנושא בתהליך ההוספה של כל שירות חדש.
תרגול: הדרך היחידה להיות באמת מוכנים
כמו שצבא מתרגל תרחישים, גם צוות טכנולוגי צריך לתרגל. תרגיל התאוששות יכול להיות פשוט: לבחור תרחיש, למשל מחיקה של מסד הנתונים הראשי, ולבצע שחזור מלא לסביבת בדיקות תוך מדידת הזמן ותיעוד כל בעיה שצצה. התרגיל הראשון כמעט תמיד חושף פערים, וזה בדיוק הערך שלו. עדיף לגלות אותם ביום רגיל, בלי לחץ, מאשר באמצע הלילה כשהלקוחות מחכים. אחרי כל תרגיל, כדאי לעדכן את המסמכים ולתקן את מה שלא עבד.
כמה זה עולה, ואיך מצדיקים את ההשקעה
מערך גיבוי והתאוששות טוב עולה כסף, הן באחסון והן בזמן עבודה של הצוות. כדי להצדיק את ההוצאה מול ההנהלה, כדאי להציג את העלות מול הנזק האפשרי: כמה הכנסות יאבדו בכל שעת השבתה, מה העלות של פיצוי לקוחות לפי ההסכמים, ומה הסיכון לאבד לקוחות גדולים. ברוב המקרים, ההשוואה הזו מבהירה מהר שההשקעה משתלמת.
לסיכום
גיבוי והתאוששות מאסון הם תחום שקל להזניח, משום שהוא לא מייצר ערך גלוי ביום יום. אבל ביום התקלה, הוא יכול להיות ההבדל בין השבתה של שעה לבין משבר שפוגע ביכולת של החברה לשרוד. הגדרת יעדים, בדיקת שחזור קבועה, הפרדת גיבויים, כיסוי של כל הרכיבים, תיעוד, תכנון תקשורת ותרגול, הם הבסיס. כדאי להתייעץ עם מומחה תשתיות ענן כדי לבנות מערך שמתאים לצרכים ולתקציב של החברה.