תיקון התוכנה שזעזע את העולם

המנט רת'וד, מנהל בכיר בהודו, לגם תה בחדר ישיבות ביום שישי בדלהי ועמד לשלוח מייל ארוך לצוות שלו, כשהמחשב שלו השתבש. המחשב הנייד, מתוצרת HP, הודיע לפתע שהוא צריך לעשות ריסטארט - ואז המסך הפך כחול. רת'וד ניסה לשווא לאתחל מחדש. תוך 10 דקות, גם המסכים של שלושה עמיתים אחרים שישבו עמו בחדר הפכו כחולים.

● מי אשם בתקלת המחשוב העולמית הגדולה אי פעם?
● "יום כיפור של קראודסטרייק": אלה החברות שיכולות להרוויח מהתקלה העולמית

"לקח לי כל כך הרבה זמן לנסח את הדוא"ל הזה", אמר רת'וד, סגן נשיא בכיר בחברת חומרי הבניין Pidilite Industries. "אני באמת מקווה שהמייל עדיין במחשב כדי שלא אצטרך לכתוב אותו שוב".

ההשבתה פגעה במחשבים ברחבי העולם והבהירה את מידת השבריריות של מערכות התוכנה העולמיות המשולבות שאנו מסתמכים עליהן. השיבוש, שהטריגר שלו היה עדכון תוכנה שגוי של חברת אבטחת הסייבר קראודסטרייק הולדינגס  (CrowdStrike), התפשט בשעה שבה רוב האנשים בחוף המזרחי של ארה"ב ישנו, והאנשים באסיה החלו את יומם.

 המסך שהופיע על מחשבי ווינדוס לאחר הקריסה. 8.5 מיליון מחשבי ווינדוס בעולם נפגעו בתקלה / צילום: Reuters, Andrew Leyden

במהלך פחות מ־80 דקות, עד שקראודסטרייק עצרה אותו, חדר העדכון לתוך מחשבים מבוססי ווינדווס של מיקרוסופט  ברחבי העולם, הפך את המחשבים הניידים של ארגונים לחסרי תועלת ושיתק פעילות במסעדות, בחברות מדיה ובעסקים אחרים. מוקדי 911 של ארה"ב הופרעו, מערכת הדוא"ל הארגונית של עובדי אמזון שותקה, ועשרות אלפי טיסות ברחבי העולם עוכבו או בוטלו.

"ב־30 שנות הקריירה הטכנית שלי, זו ללא ספק הפגיעה המשמעותית ביותר שראיתי אי־פעם", אמר בי. ג'יי. מור, מנהל מערכות המידע הבכיר של מערכת הבריאות פרובידנס בוושינגטון, אשר בבתי החולים שלה התקשו לגשת לרשומות המטופלים, לבצע ניתוחים וסריקות CT.

יכול לגרום לבעיות ענק

תיקון הבעיה היה כרוך בצעדים טכניים שבלבלו משתמשים רבים שאינם מתמצאים בטכנולוגיה. חלק ממחלקות ה־IT בארגונים עבדו על השבת מערכות המחשב לפעילות עד השעות המאוחרות של יום שישי.

ביום חמישי, זמן קצר לפני התקלה בקראודסטרייק, פגעה בעיה נפרדת במערכת מחשוב הענן Azure של מיקרוסופט וגרמה להשבתה של לקוחות, לרבות כמה חברות תעופה אמריקאיות ומשתמשי אקס בוקס ומיקרוסופט 365. עובדה זו הוסיפה לכאוס של יום שישי - והדגישה עוד יותר את הפגיעות של מערכת ה־IT העולמית.

בעיית הקראודסטרייק חשפה את הסיכונים של עולם שבו מערכות IT נעשות שלובות זו בזו יותר ויותר, ותלויות במספר עצום של חברות תוכנה - רבות מהן אינן מאוד מוכרות. הדבר יכול לגרום לבעיות ענק כאשר הטכנולוגיה שלהן כושלת או נפגעת. התוכנה פועלת על המחשבים הניידים שלנו ובמסגרת מערכי IT ארגוניים, ושם, ללא ידיעתם של רוב המשתמשים, היא מתעדכנת אוטומטית לצורך שיפורים או הגנות אבטחה חדשות.  

בפריצה משנת 2020 הכניסו עבריינים רוסים קוד זדוני לעדכונים של תוכנת SolarWinds באופן שפגע במשרדי ממשלה בארה"ב ובעשרות חברות פרטיות. התדירות וההשפעה הגוברת של מתקפות סייבר, לרבות כאלה המחדירות תוכנות כופר ותוכנות ריגול מזיקות, סייעו להגברת הצמיחה שיכולה לגרום לבעיות ענק ושל מתחרות כמו פאלו אלטו וסנטינל וואן בשנים האחרונות. ההכנסות השנתיות של CrowdStrike גדלו פי 12 בחמש השנים האחרונות, ליותר מ-3 מיליארד דולר.

אבל תוכנות אבטחת סייבר מסוגה יכולות לגרום לבעיות ענק ולהיות בעייתיות במיוחד כשדברים משתבשים, מכיוון שחייבת להיות להן גישה לעומק מערכות המחשב כדי שיוכלו להדוף התקפות זדוניות. לא כל העדכונים מתרחשים אוטומטית, והתקפות מחשוב מתרחשות לעתים קרובות משום שאנשים או עסקים אינם מזדרזים לאמץ תיקונים שנשלחו על ידי חברות תוכנה כדי לתקן נקודות תורפה. במקרה זה, התרופה עצמה היא זו שפגעה בחולים. 

לפי קראודסטרייק, ההשבתה העולמית החלה בעדכון של צ'אנל פייל, קובץ המכיל נתונים המסייעים לתוכנה של החברה לנטרל איומי סייבר. חותם הזמן של העדכון היה ב־4:09 בבוקר - מעט אחרי חצות בניו יורק, ובסביבות 9:30 בבוקר בהודו.

העדכון הזה גרם לתוכנה של קראודסטרייק "לרסק" את המוח של מערכת ההפעלה של ווינדווס, הידועה בשם "קרנל" (הליבה). הפעלה מחדש של המחשב גרמה לו פשוט לקרוס שוב, ולכן נאלצו משתמשים רבים להסיר את הקובץ הפוגע מכל מחשב מושפע.

אופי טלאי התוכנה גרם לכך שהשפעתו הייתה לא אחידה, עד כדי כך שאפילו אנשים באותו משרד חוו את ההשבתה בצורה שונה מאוד אלה מאלה. מחשבי מקינטוש של אפל, שאינם עושים שימוש בתוכנת ווינדווס שהושפעה, היו תקינים, ושרתים ומחשבים נייחים שלא הופעלו ולא חוברו לאינטרנט לא קיבלו את העדכון הרעיל.

בקראודסטרייק הבינו במהירות שמשהו אינו תקין והעדכון לקובץ בוטל 78 דקות אחר כך. המשמעות הייתה שהוא לא ישפיע על מחשבים שהיו כבויים או במצב שינה במהלך אותו הזמן. אבל ברבים מן המחשבים שהיו מופעלים, הנזק נגרם.

בפוסט בבלוג, אמרה קראודסטרייק לאותם משתמשים לאתחל ל"מצב בטוח" של ווינדווס, למחוק את הקובץ הפוגע - שנקרא C-00000291*.sys - ולאתחל מחדש.

"ייתכן שחלק מן המערכות לא יתאוששו במלואן"

צוותי IT יכולים לעתים קרובות לתקן בעיות במחשבי העובדים באמצעות תוכנות גישה מרחוק - כלים שהפכו נפוצים במיוחד במהלך הפריחה של העבודה מהבית בימי מגפת הקורונה. אבל עבור מחשבים ניידים ומחשבים אישיים אחרים, הגישה הזו לא עובדת אם המכונות עצמן אינן יכולות להיות מופעלות מחדש. עבור מערכות אלו, התיקון של קראודסטרייק היה מוכרח להתבצע באופן אישי - על ידי איש תמיכה טכנית באתר, או על ידי עובד רגיל שמנסה ליישם את ההוראות. 

מור, מנהל מערכות המידע של מערכת הבריאות של מדינת וושינגטון, היה בחופשה ובתחילה לא היה מודאג כאשר מיילים על יישומי מחשב לא תקינים החלו לנחות בתיבת הדואר הנכנס שלו, ביום חמישי בערב. 

אבל עד השעה 23:00, לפי שעון האוקיינוס ​​השקט, הוא גילה שההשבתה התפשטה בכ־50 בתי החולים ו־1,000 המרפאות של מערכת הבריאות ללא מטרות רווח, בשבע מדינות. מאות עובדי IT החלו ליישם עדכוני תוכנה שדרשו תיקון ידני, לדבריו.

חלק מן המחשבים והמכשירים המושפעים במערכת תוקנו עד השעה 6 בבוקר, ורובם שבו לפעילות לפני 10 בבוקר. "לא נסיים את הכול לפני סוף היום", אמר מור ביום שישי בבוקר.

בזמן שחברות התמודדו עם הפגיעה, הופיע בטלוויזיה המייסד והמנכ"ל של קראודסטרייק, ג'ורג' קורץ, וניסה להרגיע את הלקוחות ואת בעלי המניות, ונראה תשוש לאחר לילה ארוך. "זיהינו את זה מהר מאוד וביטלנו את קובץ התוכן המסוים הזה", אמר קורץ בראיון ל־CNBC כתשע שעות לאחר העדכון הפגום. "ייתכן שחלק מן המערכות לא יתאוששו במלואן, ואנחנו עובדים בנפרד עם כל לקוח ולקוח כדי לוודא שנוכל להפעיל אותן ולהחזירן לעבודה". 

מסגרת הזמן עד לחזרה לפעילות יכולה להיות כמה שעות או "קצת יותר", אמר קורץ. ב־X (טוויטר לשעבר) הוא הוסיף כי ההשבתה לא הייתה "אירוע ביטחוני או מתקפת סייבר".

מנכ"ל מיקרוסופט, סאטיה נאדלה, התבטא גם הוא ב־X כדי להרגיע ולהבטיח, מצדו, כי החברה עובדת בשיתוף פעולה הדוק עם קראודסטרייק כדי לחבר בחזרה את המערכות. מנכ"ל טסלה, אילון מאסק, הגיב, "זה גרם להתקף בשרשרת האספקה ​​של תעשיית הרכב", ואחר כך אמר: "הרגע מחקנו את קראודסטרייק מכל המערכות שלנו".

בארה"ב, גלש הכאוס בכל הנוגע לטיסות ליומו השני בשבת, כאשר חברות תעופה מסוימות התקשו להחזיר את הפעילות למסלול, ואילו אחרות החלו לחזור לשגרה. דלתא איירליינס ספגה את המכה הקשה ביותר, כשביטלה יותר משליש מן הטיסות שלה ביום שישי והוסיפה ביטולים בשבת. בכירי דלתא כתבו ביום שישי במזכר פנימי שחלק ניכר מיישומי ההפעלה של חברת התעופה פועלים על ווינדווס. רובם שוחזרו, אבל לכלי מסוים הקשור למעקב אחר צוות העובדים נדרש זמן רב יותר כדי לעבד את נפח השינויים הגבוה. חברת התעופה הודיעה לטייסים בעדכון נפרד בשבת, שכמות גדולה של נסיעות פתוחות זקוקה לצוותים וחברת התעופה פעלה כדי למנוע ממטוסים לחזור לאחור בנמל הבית שלה באטלנטה. 

עבור רת'וד, סגן הנשיא הבכיר ב־Pidilite, הצרות לא הסתיימו בדואר האלקטרוני שלו שכנראה אבד. לאחר שעבר לאייפד שלו כדי להמשיך לעבוד, הוא נאלץ למהר לשדה התעופה לטיסה - רק כדי למצוא שם תורים ארוכים וצוות אבטחה עמוס שבודק את כרטיסי העלייה למטוס באופן ידני. מסכי המידע על הטיסה לא פעלו, אז הוא נאלץ למצוא אנשי צוות של חברת התעופה שיכוונו אותו אל השער הנכון. "היה בלגן בנמל התעופה של דלהי", אמר רת'וד. "איך אנחנו יכולים להסתמך כל כך על חברה אחת?".