Facebook 大宕机：远程工作的一曲悲歌

Facebook 大宕机：远程工作的一曲悲歌

“微博崩了”“知乎崩了”“小红书崩了”我们都经历过。 你能想象“微信崩溃”的场景吗？

2021年1月18日下午，不少网友反映微信群聊和私信收不到消息。 “微信bug”一度冲上热搜。 腾讯微信团队回应：

“由于系统抖动，今天14点左右，部分微信用户遇到了接收消息延迟的问题，目前已经修复完毕。”

这次“系统抖动”影响的人数确实比较少，历史上只有微信的朋友圈、红包等部分功能模块偶尔“崩盘”，相对“稳如泰山”。

然而，就在刚刚过去的10月4日这一天，除中国大陆以外的全球网友们，真真切切地体会到了自己的“微信”崩盘意味着什么。 一家拥有 35 亿活跃用户的全线业务曾一度全球无法访问长达 6 小时。

这些服务包括和相关服务、、、等； 以及它的企业级产品，甚至是公司的内网。 其中，公司旗下两款“微信”即时通讯产品在全球分别拥有20亿和13亿用户（重叠），均高于微信（含重叠）的12.4亿和6.06亿用户。海外）。

造成这次史无前例的故障的原因，本身就是因为疫情过后需要进行大量的远程工作，导致维修人员缺席，导致事故持续延误。 由此，全球无数中小企业乃至政府部门的远程办公受到严重影响，引发一波又一波的次生灾害。

世纪新冠疫情迫使人们足不出户，依靠网络完成大部分工作和人际交往。 原本临时性的远程办公措施逐渐常态化、永久化，也让人们期待一种新生活方式的可能。 但只需要一次简单的服务中断就可以让一切恢复原状。 6 小时的停机时间是我们重新思考这一切的绝佳时机。

1. 发生了什么事？

根据目前掌握的信息，这次大规模故障应该是从一次例行维修开始的。

基础设施副总裁 表示，他们在维护期间发布的命令无意中关闭了与全球所有数据中心的骨干连接。

围绕这件事主要有两种不同的阴谋论。

目前，因“吹哨人”而自导自演宕机的可能性很小，几乎为零。 官方多次解释，此次宕机并非黑客攻击造成，也没有证据表明用户数据因此次事件泄露。

但是，“不要不必要地增加实体”。 这起事件是单纯的误操作造成的，或许还有更简单可靠的解释。

除了官网，负责第三方公共DNS解析和CDN服务的也在官博上分析。 从外部看，是BGP（边界网关协议）的问题。

通俗地说，DNS就是互联网的“地图”，用来告诉你“x在哪里”； 而BGP就是这张“地图”的“导航”部分，告诉你“如何最快到达x”。

要准确理解这个概念，首先要明白一件事：

我们现在所说的“互联网”，字面意思是“网络间（网）”，即“网络之网”，是无数个小网络像“岛屿”一样相互连接的结果。 这些小网络可能是“中国电信”、“清华大学”或者“X公司北京办事处”。

与世界上所有联网的计算机相比，一个国家的国家网络——比如中国或俄罗斯——也是一个巨大的小型网络，通过海底电缆等“桥梁”连接到其他外部“岛屿”。 但由于它们遵循相同的协议，因此组网方式完全相同。

BGP就是告诉用户，在地理意义上，你必须经过一定的“岛”和“桥”才能到达目的地。 一般来说，BGP会智能地在多条不同的路由中选择距离最短的一条。 当然，“最短”并不代表“理想”，因为5G数据连接等一些“桥梁”是收费的。

当DNS服务器发现问题后，会自动停止分发BGP路由信息，等待连接恢复正常。 因为全球各地的设备不断发起不成功的访问请求，会对上层DNS服务器造成更严重的影响，使影响更加严重。

这样的事情在中国曾经发生过一次。 2009年5月19日，两名窃取游戏资产的黑客私下斗殴，导致第三方域名解析服务被攻击瘫痪。 中国电信停止网络服务，导致无法提供域名解析服务，许多使用该服务的网站无法访问。

恰好当时国内装机量约1.2亿台的视频播放器“暴风影音”会定期自动访问服务器检查更新，也会因失败不断发起域名解析请求，并且终于把整个电信运营商的本地域名服务器都干掉了，引发了全国范围内的大断网。

在本次事件中，内部DNS服务器本身还在工作，只是主动选择停止解析，以保护更广泛的网络。 虽然修复它并不困难，但连锁反应使问题变得更糟。

2、为什么这么严重？

网络连接的缺乏和域名解析的丢失切断了远程工程师与服务器的联系，并使他们通常使用的许多故障排除工具失效。 有知情人爆料，当时的情况是：

由于内部通讯工具也处于离线状态，这三个小组很难合作，这让事情变得更糟。

公司内部一片混乱。 员工之间原本使用公司自带的通讯工具相互沟通，有时即使需要访问其他业务，如 Docs、Zoom会议软件，也需要用自己的账号单点登录。 系统崩溃使一切陷入停顿。

部分员工事发前已经使用公司账号登录 Docs等环境，影响较小； 有的匆忙上网，却发现只能使用微软的工作邮箱，苹果的等替代品。 与同事联系的服务。

硅谷新浪科技记者郑军写道：

“一位FB朋友说，今天大家都很尴尬，不知道发生了什么，不知道该怎么办，就假装什么都没发生，为一个不存在的网站工作。”

修复工作显然无法远程完成，工程师们赶赴位于加州的主数据中心参与修复。 在此期间，部分员工无法使用门禁进入公司大楼和会议室，这些地方的门只能通过没有钥匙孔的门禁卡刷卡开门。

The Verge甚至一度传出更戏剧性的消息——因为门禁卡出现故障，工程师只好拿切割机强行看了数据中心的服务器笼子。 然而，后一份报告未经证实并被撤回。

但是一旦所有人都被“物理传送”到合适的位置，事情就相对好办了，只需要“激活安全访问协议”就可以了，而不需要动用电锯。

但是，即使解决了问题，也必须一点一点地“开闸放水”，否则一下子打开所有渠道就像“八星同时出轨”，导致更多的系统崩溃。 负载必须逐渐增加，美国以外的其他用户将不得不等待更长的时间才能恢复访问。

最终，事情基本恢复正常，包括股价下跌多达 5%。

3、都是“远程”造成的吗？

2020年5月，中国第一波疫情基本得到遏制，而美国疫情开始急剧升温。 它当时表示，公共办公场所已关闭，所有符合条件的员工都必须在家工作。 这项措施是一项短期和临时措施。 在疫情得到控制，办公室重新开放后，只有部分员工，尤其是资历最深、经验最丰富的员工，可以长期远程办公。

时隔一年，该政策于今年6月9日更新，将长期远程办公许可的范围扩大到任何有能力在家完成工作的员工。

扎克伯格写道：

“在过去的一年里，我们了解到可以在任何地方完成出色的工作。我更加乐观地认为远程工作有可能大规模发生，尤其是在远程视频和虚拟现实不断改进的情况下。”

自然地，无法远程完成的工作通常包括硬件设备或数据中心上的工作。 但从今天的事件来看，显然连部分数据中心和网关阵地都已经“偏远”了。

扎克伯格还表示，他将开始允许员工跨国界远程工作。 美国员工将被允许要求在加拿大、英国和欧盟进行远程工作。 到 2022 年 1 月，公司将允许员工在七个欧洲国家之间永久流动。

据统计，中国劳动力总数约为6万人。 美国的大部分办公室在 9 月初以 50% 的容量重新开放，并将按计划在 10 月全面开放。

它并不是唯一一家选择更深入地接受远程办公的科技巨头。 具体到它本身，原因一方面是疫情的常态化、长期化、猛烈变种，另一方面是业务范围本身就包含了让人们远距离交流的意思。 运营商的增强现实和所谓的“”服务也在其规划之中。 它本身计划创建一个超越物理距离和国界的网络领土。 首次推出自己的员工可以作为内部演练。

直到现在，人们主要关心的是远程办公会不会影响效率，现场办公的体验能否完全模拟和替代，会不会产生所谓的“化学反应”。

扎克伯格说，想要在办公室工作的员工将被要求至少有一半的时间来上班。 这是为了确保办公室保持活力，并确保进入办公室的员工充分利用空间并成为社区的一部分。 此外，他们计划为办公室和远程人员组织定期的现场聚会，以维持同事关系。

另一个问题是工资。 远程办公很容易导致“在老家工作，在北京拿工资”或者“在泰国工作，在硅谷拿工资”的结果。 公司原定给员工的工资一般结合了当地物价和住房成本（如果不包括租金补贴），所以长期异地意味着需要和员工协商一定程度的减薪。 但考虑到不同人不同的工作节奏和喜好，从工作效率最大化的角度出发，员工和企业往往愿意接受改变。

从今天开始，除了这些问题，人们还得思考一个更根本的原则性问题：无法连接到远程工作所需的网络基础设施怎么办？

这个问题之前只在Zoom开会的时候被提过，因为每个人的网络环境和距离都不一样。 直到疫情爆发一年多后的今天，开始语音或视频会议可能仍然是一种折磨。 网上的一张图说，现在上班开会的感觉有点像“招魂”：

但是，我们有微信群和钉钉群。 虽然语音和视频有点奢侈，但在群里发送个人语音消息片段，甚至直接打字，早已被我们视为日常操作，不存在出问题的可能。 从这个意义上说，微信也成为了超越物理网络和国界的电信运营商，是名副其实的基础设施。

这一次，正是这种我们认为完全不可能掉链子的服务。

4.被故意忽视的风险

在最初的一两个小时里，人们只是在转发隔壁的表情包。 时间一长，大家就笑不出来了。

许多人猛然惊醒，发现与生活中远隔两地的同事、朋友甚至家人沟通的唯一方式就是在线。 数字。 如果我们现在离开，我们真的不知道什么时候才能再见面。

在充满挑战的疫情时期，作为国际版的“微信”，它让世界各地的人们与社区保持联系，做出了许多独特的贡献。 没有它，许多重要活动将无法开展。 官网列举了一部分：

对于许多人来说，无法访问只是一种不便。 但对于没有其他可靠方式与客户沟通的发展中国家的一些小企业来说，这可能是一个严重的问题。

印度拥有 3.4 亿用户，是世界上最大的国家，也是该国个人和企业的重要通讯方式。 据该研究公司称，印度拥有近 4.9 亿活跃用户。

这两个平台不仅承担着中国“微博”和“公众号”的角色，还可以推广产品，还可以作为“小程序”，像网店一样销售产品。 数以千计的印度企业被迫关门歇业，相关顾客无法在线购买生活必需品。

在巴西，它被政府官员甚至教育系统使用。 学生可能会收到考试成绩。 医院也使用预约挂号和远程会诊。

6 小时的服务中断让扎克伯格本人损失了 60 亿美元的账面财富，但得益于 、 、 和 等工具，给全球政府、企业、慈善机构、社区和普通民众带来的损失恐怕是无法估量的。

这种物理停机时间清楚地表明，远程办公依赖于脆弱的基础设施，该基础设施由于缺乏备份而容易受到攻击。 冗余备份越多当然越安全，但同时也让用户感到疲倦，所以人们总是想抛弃安全的束缚“裸奔”。

就像可笑的公司内部网设置一样，这家科技巨头还为世界各地的人们提供了另一个脆弱的结构，他们在日常生活中对社交媒体工具，尤其是在线产品的依赖已经不可避免。

即使像一些美国参议员坚持的那样，科技巨头被分拆，情况也可能不会有太大变化，因为这只会导致开发产品的公司实体发生变化，并不会改变人们聚集在单一平台上的偏好。 愿望。

无论中断是由疏忽错误、人为操作还是恶意代码引起的，一家公司的临时中断会影响全球和跨国界如此多的互联网用户，这令人不安。 这让人们看到，后疫情时代支撑全球化的国际互联网生态是多么脆弱，新的风险近在咫尺。

在人类历史上，有过很多类似的教训：

即使专注于信息安全领域也是如此。 今年5月，美国殖民地天然气管道公司（ Gas ，又译“殖民地管道”）遭到勒索软件攻击，一度导致跨多个州的输油管道关闭。 在支付了约 400 万美元的赎金后，加密货币得以恢复。

但是，通过更新公司计算机的安全软件、严格的员工安全措施以及升级到最新版本的操作系统，可以防止常见的恶意软件和勒索软件攻击。 在解释为什么 11 强制执行更高的硬件要求时，一些 3-5 年的旧机器无法升级，来自微软的一位人士说：

“我们从 10 中学到的是，如果你将安全设置设为可选，人们就不会打开它们。这是一个重要的教训。”

风险就在那里，警告也从不缺席。 但由于其他迫在眉睫的问题，风险和警告被故意忽视，直到它最终爆发。

互联网是一个脆弱的生态系统，建立在海底电缆和分布式服务器的全球网络之上。 人们很容易忘记，互联网不仅仅是一个概念性的网络，甚至是一个建立在物理基础设施上的无实体的“虚拟世界”，这很重要； 谁控制基础设施更重要。

由于人类具有群体社会性，可能注定他们很难接受不断更换社交媒体服务商、退出、、、或任何其他中心化单一服务的“狡兔三穴”式，代价是太高了，似乎没有必要； 那么，这些巨头自身及其上层监管部门同时被赋予了更大的责任。 因为他们的目标已经超越了企业的稳定利润，而是亿万人民和以此为生的中小企业的温饱。

社会正在更加严格地审视巨头们能否履行社会责任，保障基础设施的顺利运行。 否则，政策将迅速转向加速竞争、打破垄断、提供替代方案和加强监管。 这正是各国现在正在做的——任何互联网公司都不应变得“大到不能倒”。

网络修好几个小时后，其前雇员指责该公司“只关心赚钱，不顾公共利益”的国会听证会也开幕了。 像往常一样，我们还将听到法律事务副总裁对扎克伯格本人的反驳； 但中断本身比任何其他材料都更能说明需要对大平台保持警惕并限制它们进一步侵占我们的生活和工作，以至于我们几乎被剥夺了其他选择。

或许，面对这种警惕，大家首先应该做的就是在自己的微信群里和素不相识的朋友、同事交换其他类型的联系方式。

参考：

#专栏作家#

书航，微信公众号：航通社（ID：），人人都是产品经理专栏作家。 提供所有原创技术新闻和观点。 为您呈现文字有力、观点鲜明、打动人心的文章。