通讯故障处置不当，网络阻塞全厂停电

2013年12月4日，某燃机电厂西门子监控系统网络故障导致单台机组跳闸，在网络恢复过程中产生网络阻塞引发另外两台机组同时跳闸，造成全厂对外全停的电力安全事件。
【事故经过】
该电厂装有3台400MWF级的燃气一蒸汽联合循环机组，各台机组监控系统均采用西门子TELEPERMXP系统（简称“TXP系统”）。此外，三台机组共设有公用系统一套。各机组TXP系统间数据通讯是由SINECNET总线承担，其中SINECNET总线系统分为工厂总线和终端总线两部分。各机组TXP系统的工厂总线、终端总线分别与公用系统公用总线、终端总线连接。各机组TXP系统工厂总线共有9个网络交换器(ESM)，由光纤或电缆串接，正常运行状态下呈“C”型网运行状态。其中任一网络交换器(ESM)具有冗余配置功能，通过相应配置可以具有网络断点监测功能。即当网络交换器(ESM)人工设置冗余配置功能后，如“C"型网中出现一个断点时，则冗余配置功能生效，以保证网络始终保持“C”型网运行；如“C”型网中出现两个及以上断点时，则网络将会异常。
2013年12月4日14时25分，#3机组跳闸，厂方工作人员通过查看SOE事件记录，查明机组跳闸原因是工厂总线通讯故障。经厂方工作人员对机组监控系统的网络及通讯设备检查发现，其中一个网络交换器（ESM，编号为5P）故障报警，随即厂方工作人员对其进行了复位重置，但是故障未消除，报警仍然存在。经厂方内部协商后，对该网络交换器利用厂内备品备件进行了在线更换，更换后，报警消失。在对#3机组监控系统中网络交换器（ESM，编号为5P）更换后数分钟内，15时36分，#1、#2机组同时跳闸，相关监视界面也同时异常。
三台机组跳闸后，按照SPPA工程师建议，将#3机组TXP系统与公用系统之间网络断开后，随后#1、#2机组监控界面及监控系统通讯网络恢复正常。厂方工作人员在对该机组TXP系统所属网络交换器、连接线等逐一排查后，发现其中一个网络交换器（ESM，编号为4P）所连接的连接线接头（RJ45接头）有松动现象；同时厂方工作人员通过查阅历年维护记录并根据SPPA工程师建议，利用备件网络交换器（ESM，原编号为5P，前日更换下来的）对网络交换器（ESM，编号为7P）进行了更替，经测试后，网络恢复正常。并于2013年12月5日申请依次并网。
【原因分析】
1、西门子监控系统的网络设备故障导致单台机组跳闸。#3机组TXP监控系统网络交换器（ESM，编号为4P）的连接接口(RJ45接头)松动，同时由于网络交换器（ESM，编号为7P）设备故障，造成两个断点，破坏了“C”型网运行结构，造成#3机组TXP系统通讯中断，引发#3机组工厂总线通讯故障保护跳闸。
2、更换功能相异的网络设备导致其他两台机组跳闸。在#3机组TXP监控系统网络交换器(ESM)存在异常信号下，厂方工作人员采取了更换措施。由于日常维护均由其生产厂商西门子承担，而西门子对电厂工作人员并未进行相关设备技术交底，致使厂方工作人员更换#3机组网络交换器时，由于外观相同难以辨别功能差异，使#3机组TXP系统网络形成“O"型，导致通讯网络阻塞，进而引发#1、#2机组因通讯故障保护跳闸。
3、西门子机组监控系统网络设备重要故障告警功能不足。西门子机组监控系统对#3机组网络交换器连接接口（RJ45接头）松动和另一网络交换器未能及时有效地告警提示运行人员，导致设备异常同时出现时，#3机组通讯网络形成断点，监控系统故障，致使#3机组保护跳闸。
4、西门子机组监控系统对网络通讯故障隔离措施不到位。西门子机组监控系统对网络通讯故障缺乏有效防护手段和隔离措施，由于#3机组与#1、#2机组网络相连接，在对#3机组更换网络交换器不当致使机组通讯网络阻塞后，引发#1、#2机组通讯网络阻塞，进而导致两台机组保护跳闸。

【防范措施】
1、重视生产监控系统厂商技术交底。要求机组监控系统制造厂商对系统原理、网络设计、通讯原理、设备配置等方面进行详细彻底的技术交底，做好相关技术培训。
2、提高机组监控系统自主运行维护能力，减少对制造厂商的依赖，使运行管理人员逐步全面了解掌握机组运行状况。
3、增强电厂网络与信息安全专业技术力量。对相关岗位维护人员进行专业能力培训考核，增强其对网络设备配置、系统网络原理、网络与信息安全等专业技术水平。
4、对机组生产监控系统进行排查，对国外电力生产监控系统信息安全状况开展专题研究，提出切实可行的风险防控及安全防护措施，避免类似事件（事故）的发生。
5、强化电力二次系统安全防护和等级保护相关工作。按照电力二次系统安全防护规定及相关网络安全管理要求，对监控系统开展安全评估及等保测评工作，切实保证机组监控网络与信息系统的安全稳定运行。
6、加强网络与信息安全管理。提高网络与信息安全认识，加强组织领导，完善相关工作制度、流程，增强信息安全防范意识，派送技术人员参加相关信息安全培训，切实提高网络与信息安全管理水平。
7、完善网络与信息安全应急预案。规范编制应急预案，并及时进行应急演练并对发现的问题进行整改，提高网络与信息安全应急管理水平。