这是物理学不成文的定律之一:每个人都会在某个时候搞砸。
但当IT专业人士犯错误时，他们不会乱来。整栋楼都变黑了。网站上消失。公司逐渐陷入停滞。因为如果你真的要搞砸，你最好让它有意义。
“我总是告诉我的员工，嘿，你会做一些愚蠢的事情，”Rich Casselberry说，他是Enterasys该公司是一家网络系统供应商。“如果你有错误的信息，做一些愚蠢的事情是可以的。但如果你因为自己愚蠢而做傻事，那就有问题了。诀窍是不要失控，否则只会让事情变得更糟，或者试图隐藏它。你需要弄清楚如何防止这种事情再次发生。”
更多关于IT灾难的冒险，请查看愚蠢的用户把戏3:IT管理的愚蠢和愚蠢的QA技巧:巨大的测试疏忽］
我们从足够勇敢的IT专业人士那里收集了一些更令人震惊的例子，与我们分享他们的错误。备份出错了，有管理权限的人可能不应该这么做，当你拔掉错误的设备时，什么会出错——在某些情况下，我们掩盖了他们的身份，以免他们尴尬;然而，其他极客完全愿意承认自己年轻时的错误。
当然，现在回想起来，其中一些灾难是很有趣的。但是不要笑得太厉害。我们知道你可能做过更糟的事。
真实IT告白1:神秘隐形备份的案例
我们的第一个不幸故事涉及一个长期从事IT工作的人，他不愿透露他的真实姓名，所以我们就叫他“倒霉哈里”吧。
10年前，哈里在美国东北部一家大型网络设备制造商起步时，也遇到过一些不幸。有一次，他修改了一个环境变量，导致公司财务应用程序的一切崩溃，老板给他发了一封电子邮件，命令他“再也不要侵入这个系统”。或者是他重写/dev/tty导致公司核心ERP系统崩溃的那次哈里说，在他不小心用传呼机把公司的T1线路从墙上扯了下来后，他被禁止再进入电信壁橱。
但最糟糕的一次发生在哈利安装了一个翡翠磁带备份系统之后。他费心看说明书了吗?请。这是小菜一碟。只需要加载install.exe并让软件做它自己的事情。
它似乎运转得很好。四个小时后，第一次备份完成了，一切看起来都很正常。
快进六个月。一天深夜，哈里在家里接到一个同事的电话。那个朋友告诉他，那晚的备份磁带是完全空白的。更糟糕的是，最后四周的备份也是空白的。
正如Harry很快发现的那样，这个特殊的备份程序默认以演示模式安装。演示模式看起来和真实模式一模一样，甚至花费的时间也和真实备份一样，但从来没有任何东西被记录到磁带上——这一点在手册上有记载，哈利如果读了这本手册，可能就会看到。
幸运的是，该公司使用ADP处理工资。ADP带回了历史工资记录，因此该公司只丢失了一周的数据。这个坏消息?哈里和他的老板、财务副总裁、整个工资部门，还有那天晚上他第一次见到的公司的新首席信息官一起，一直忙到凌晨3点。
“我得说，我当时很受欢迎，”他开玩笑说。“我认为他们没有解雇我的唯一原因是，他们已经习惯了我把事情搞砸，他们意识到我什么都做不好。”
经验教训?1.测试恢复，而不是备份，Harry说。“没有人在乎备份是否有效;他们关心的是修复工作是否成功。”2.在打字前先想好。3.为了安全起见，在进入电信设备柜前先把寻呼机(或黑莓手机)拿掉。
真正的IT告白2:有时候需要一个看门人来收拾IT的烂摊子
1997年的一个深夜，美国中西部一家大型电信公司的乔希·斯蒂芬斯(Josh Stephens)独自一人坐在控制台前工作。斯蒂芬斯正在对思科主要客户呼叫中心的Cisco Catalyst交换机进行改动，该中心位于几个州之外。这就是生成树协议发挥作用的时候。
“我仍然不确定我是如何做到的，但我引起了某种广播风暴和STP崩溃，不仅锁住了我正在研究的交换机，而且锁住了该设施中的每一个交换机，”他说。那场广播风暴导致数百名呼叫中心用户瘫痪，许多人在客户呼叫中被困。
[当然，清洁服务和IT并不总是混在一起:服务器的房间。清洁剂。Zot。］
更糟糕的是，这些开关“被锁得很紧”，需要物理断电和缓慢的系统计划才能让它们一次一个地重新上线。数据中心在几百英里之外，没有现场IT人员，所以斯蒂芬斯做了第二件事:他打电话给维护人员。
他说:“我最终找到了一个看门人，他有我所有LAN衣柜的钥匙，我告诉他(a)哪些设备是Catalyst的开关，(b)如何关闭它们。”“我还向他保证，他不会因为帮助我而被解雇。”
斯蒂芬斯现在是技术副总裁和首席极客(是的，这是真正的标题)，他说，虽然呼叫中心宕机超过一个小时，但没有人知道故障的原因或幕后主使SolarWinds该公司是一家网络管理软件制造商。
经验教训?1.史蒂芬斯说，在没有为他们安排一个窗口之前，不要做出改变，即使这些改变看起来很小。在没有IT资源的情况下，不要在你正在更换的设备附近执行变更控制事件。3.对门卫好点。有一天他们可能会拯救你的资产。
真正的IT告白3:举起你的手，离开终端
科技行业中一个不可避免的事实是，当管理人员被赋予复杂系统的管理权时，坏事往往会发生。
早在80年代末，Johanna Rothman是波士顿地区一家小型分布式流程系统制造商的开发总监。公司管理层坚持要求包括罗斯曼在内的所有人都必须加班。三个月后，罗斯曼和她的团队变得暴躁而疲惫——这是灾难的处方。
[更多管理者在干预IT时的失误可以在更多愚蠢的用户把戏:IT恐怖故事重演”)
“一天晚上9点，我意识到我们有一大堆文件要删除，”她说。“我使用的是Unix系统，系统不允许我删除它们——我不是根用户。我是主管。我有根密码。我以root用户登录。我从rm -r开始——递归删除——从我知道是正确目录的目录开始。我知道这个。”
几分钟后，rm命令停止工作。Rothman，仍然在忙着删除所有的应用程序，终止了工作，打电话给IT经理，并解释了她的所作所为。
“他说，‘离开键盘。我是来开始修复的。”我说，‘我可以帮忙。磁带在哪儿?”他说，‘走开。刚刚离开。我不需要你更多的帮助。’”
恢复需要两天时间。罗斯曼说，她两天都睡得很晚，并告诉团队里的其他人也这样做。她还通过语音邮件向所有开发人员道歉。
罗斯曼说:“我认为我没有被解雇的唯一原因是管理层忙于处理危机，没有意识到我造成了多大的混乱她自己的IT咨询小组并与Unix根目录保持安全距离。
课学到了什么?1.Rothman说，管理者级别以上的人没有理由拥有root密码。太多的加班使人疲惫和愚蠢。他们越累，就越笨。
真正的IT告白4:布朗能为你做什么?
这是一个罕见的备份事故，数据确实被备份了。但它被备份到事情变糟的地方。
27年前，大卫·古根海姆(David Guggenheim)刚刚获得了他的第一份“真正的工作”——在南加州的一家环境咨询公司担任生物数据经理。当时，该公司的硬件包括一台PDP-11和一台位于洛杉矶的分时型IBM 360主机，通过拨号接入。
他说:“是时候把IBM大型机上的一个重要项目存档了，所以我开始用JCL(作业控制语言)把我们的数据写入磁带，然后运到我们的办公室。”“我提交了这份工作，对我们的数据能够安全备份感到满意。”
找出你的编程技能是否符合标准。信息世界的”编程智商测试”。)
几天后，一名UPS司机从公司办公室的门里探出头来，喊道:“这里有大卫·古根海姆吗?”
UPS的卡车从地板到天花板装满了箱子，所有箱子的地址都是古根海姆。他打开了第一个。里面满是穿孔卡片。其余的人也是如此。
“这是我们从IBM大型机获得的数据，”他说。令我震惊的是，我意识到我没有指定输出到磁带，而是指定输出到穿孔卡片。我已经记不清我的JCL了，但我记得，这是指定'=0'和'=1 '之间的区别。我完全被羞辱了。”
它变得更糟。在全体员工为堆积如山的箱子清理出足够的地板空间几天后，账单来了。打孔卡备份工作的成本接近1000美元(记住，我们这里讨论的是1982年的美元)。
古根海姆博士现在是大卫·古根海姆博士，他是加州大学洛杉矶分校的校长1地球海洋他是海洋基金会(The Ocean Foundation)的高级研究员。“从那以后，我的职业生涯一直在做环保工作，所以希望我为这些死树赎罪。”
经验教训?1.小错误可能导致大问题，所以要不断检查，直到受伤为止。2.立即承认自己的错误;谦虚是伟大的老师。3.古根海姆说，花点时间欣赏一下巨大失败的幽默。“它对刺痛有奇效。”
真正的IT告白之五:拔掉插头的风险自负
早在上世纪90年代中期，简·阿莱曼(Jan Aleman)还是荷兰一家大型电信公司的临时IT经理。他被召来接替一名并非自愿离职的首席技术官。然而，在这位前首席技术官被解雇之前，他已经为公司的关键任务账单引擎订购了一个价值30万美元的IBM故障转移系统。
“一个非常优秀的IBM销售员卖给他们这种高价硬件，并向他们保证，如果主系统出现故障，它将无缝地转移到备用系统，”阿莱曼说。他说这完全是多余的，不会出什么问题。我说，‘好吧，让我们看看它是否真的有用。’”
[欲了解更多IT故事，请查看InfoWorld的周报非官方博客或订阅InfoWorld非记录RSS提要．］
于是，就在IBM推销员面前，阿莱曼把主系统的电源插头从墙上拔了出来。公司所有的核心系统都瘫痪了。关键的计费引擎在下午剩下的时间里一直宕机。电话交换机还能工作，但后台办公室的人什么都做不了。
尽管故障转移系统已经安装并运行，但没有人费心去测试它。所以阿莱曼做的下一件事是在周末对系统进行两周一次的测试。
“我切断了公司的电源，”阿莱曼说Servoy的开发商混合(SaaS和本地)软件．“不用说，他们很不高兴，但我从来没有遇到过什么糟糕的事。我到现在都不知道我是怎么做到的。”
经验教训?1.在你把公司押在这些系统上之前，一定要对它们进行测试(必要时重复)。2.在你拔电源线之前要三思。
IT真心话第6条:永远不要让别人成为你领域的主人
大约在2003年，“弗雷德”(不是他的真名)是中西部一家区域性有线电视公司的IT经理。当时，该公司约有3.5万名用户。为了促进其业务服务，它决定成为网络解决方案的域名转售商。
作为向域名销售过渡的一部分，该公司将所有域名续订通知重定向到其业务支持部门的一个人员。弗雷德说:“我们以为只有客户的域名通知才会发送到那里，而不是公司自己的域名。”但俗话说，假设会让每个人都变成傻瓜。
并非所有IT行业的工作都如此迷人。看到下面"IT行业最脏的7个工作”和“即使是更脏的IT工作:脏物也到此为止”。)
果然，一天晚上10点左右，ISP的一切都停止了工作:DNS、电子邮件、该公司自己的网站，以及它为企业客户托管的网站——所有的一切都消失了。
这个问题?ISP没有更新自己的域名。业务支持部门的人认为弗雷德也收到了续签的通知(他没有)，弗雷德认为因为他没有收到通知，所以一切都很好(事实并非如此)。
弗雷德说:“当我们诊断问题的时候——因为你很少想去检查自己的域名是否过期了——我们已经从根服务器上掉了下来，花了整整24小时才恢复。”他在旧的万事达卡广告中添加了一个变体:
经验教训?1.总是有多个人接收导入警报。2.注册你的域名10年，这很可能是下一个家伙的问题。
IT真心话第7条:不要问，不要说，不要让他们让你做测谎
四年前，“保罗”(化名)是美国中西部的一名独立数据分析师，当时他正在与一个政府客户合作一个价值2万美元的分析项目。经过两个月的努力，他把初稿交给了客户，然后去出差了一周。
离开之前，保罗把所有的项目数据都刻录在一张光盘上，这样他就可以在旅行期间在酒店里完成。按照他当时的习惯，他删除了硬盘上所有4GB的项目数据，以释放空间。
然后，当然，他弄丢了光盘:价值2万美元的作品瞬间消失了。他做了什么?任何聪明的顾问都会做的事:他向客户收取整个项目的全部费用。并立即收到了一张支票。
“六个月过去了，我没有收到客户的回复，”保罗说。“我认为这是不可思议的，因为我期待收到意见和对草案的修改。一年过去了，什么也没有。”
最后，在提交草案两年之后，可怕的电话终于来了。
“‘你会完成这个项目吗?’我在电话那头听到了，”保罗说。“我说，‘我不可能坚持原始数据和建议，因为两年已经过去了。这些信息都不再有效了。”当然，我很清楚我无法提供任何更新的数据或基于原始数据的更新建议。幸运的是，客户接受了这个解释，然后和我讨论了做一些新工作需要多少费用。”
保罗辩解说，初步草案已经完成了95%，客户告诉他，他们已经实施了他提出的许多建议。
如今，保罗自称是“数据备份狂人”。
他说:“在任何一天，我都有大约10份当前项目数据的副本，可以在大约5分钟内完全恢复我在过去3年工作过的所有项目数据文件。”“我得到了一个惨痛的教训，我肯定不会很快忘记。”
经验教训?1.备份永远都不够。2.为了以防万一，最好也准备一些纸质文件。3.如果您确实在交付最终产品之前丢失了所有数据，请确保您当时正在为政府工作。他们可能永远不会注意到。
相关文章
愚蠢的用户把戏3:IT管理的愚蠢IT英雄们默默无闻地在悲惨的环境中辛苦工作——也就是说，直到他们犯了一个极其愚蠢的错误更多愚蠢的用户把戏:IT恐怖故事重演以下10个愚蠢的IT失误给你的企业带来了不幸的教训IT行业最脏的7个工作总得有人来做这些事——但愿那个人不是你即使是更脏的IT工作:脏物也到此为止又多了些肮脏的技术行为，代价又低愚蠢的QA技巧:巨大的测试疏忽消除IT失误的诀窍是测试、测试、再测试，这些愚蠢的质量保证的倒霉教训证明了这一点愚蠢的黑客把戏，第二部分:年轻人的愚蠢精通技术的少年犯用愚蠢的行为点燃了网络，为他们赢得了错误的名声的记录来自IT领域的匿名故事编程智商测试你是剧本迷还是黑客英雄?来看看我们的小测试吧Linux admin IQ测试你对免费操作系统真正了解多少?苹果的智商测试关于乔布斯建造的房子，你真正了解多少?Web智商测试你认为你知道关于万维网的一切吗?来看看我们的小测试吧
了解更多关于这个主题的信息
这个故事，“真实的IT忏悔”最初是由信息世界 ．