ORACLE数据库无法登录，应用系统瘫痪
一、问题的类型：
Oracle故障处理。
二、问题的由来：
CASE编号： TRIT0830086_001
用户名称： 广东电信江门分公司
处理工程师： 姜立舟
三、问题的详细描述：
故障地点： 江门电信
故障描述： Netman 2020 OMC-R数据库无法登录，应用系统瘫痪
故障原因： Netman 2020 OMC-R系统数据库（Oralce 8.1.7）由于频繁出现写数据IO异常、Oracle数据库终止写进程、异常宕机，数据库重启无效，导致Netman 2020 OMC-R系统应用瘫痪。
故障日志：
经检查发现数据库日志alert_inms.log中以下错误信息提示：
Sun Mar 9 05:23:44 2008
WARNING: aiowait timed out 1 times
DBW0: terminating instance due to error 27062
Instance terminated by DBW0, pid = 14200
文件系统仍然属于正常挂接，但进入目录显示IO错误：
$ cd $ORACLE_BASE/admin
/admin: does not exist
$ cd $ORACLE_BASE
$ ls
.: I/O error
$ cd ..
$ cd $ORACLE_BASE
$ pwd
cannot determine current directory
$ ls -la
.: I/O error
$ cd /opt/oracle
$ ls
.: I/O error
重新umount，再次mount后正常。
而在手工启动数据库时候，数据库无法正常启动：
SQL> startup
ORACLE instance started.
Total System Global Area 2814488252 bytes
Fixed Size 102076 bytes
Variable Size 236904448 bytes
Database Buffers 2576941056 bytes
Redo Buffers 540672 bytes
Database mounted.
ORA-01172: recovery of thread 1 stuck at block 24053 of file 13
ORA-01151: use media recovery to recover block, restore backup if needed
Iostat -E日志：
$ iostat -E
sd0 Soft Errors: 0 Hard Errors: 2 Transport Errors: 0
Vendor: TOSHIBA Product: DVD-ROM SD-C2612 Revision: 1011 Serial No: 04/17/02
Size: 18446744073.71GB <-1 bytes>
Media Error: 0 Device Not Ready: 2 No Device: 0 Recoverable: 0
Illegal Request: 0 Predictive Failure Analysis: 0
sd1 Soft Errors: 0 Hard Errors: 32 Transport Errors: 2
Vendor: SUN Product: StorEdge 3310 Revision: 0325 Serial No: 07C9015E374C2C01
Size: 365.58GB <365575526912 bytes>
Media Error: 0 Device Not Ready: 27 No Device: 5 Recoverable: 0
Illegal Request: 0 Predictive Failure Analysis: 0
ssd0 Soft Errors: 0 Hard Errors: 0 Transport Errors: 0
Vendor: HITACHI Product: DK32EJ72FSUN72G Revision: 2Q0F Serial No: 0419W23N3Y
Size: 73.40GB <73400057856 bytes>
Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0
Illegal Request: 0 Predictive Failure Analysis: 0
ssd1 Soft Errors: 0 Hard Errors: 0 Transport Errors: 0
Vendor: HITACHI Product: DK32EJ72FSUN72G Revision: 2Q0F Serial No: 0419W22SXR
Size: 73.40GB <73400057856 bytes>
Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0
Illegal Request: 0 Predictive Failure Analysis: 0
四、问题的分析和初步的解决思路：
经检查分析后，判定数据库由于IO错误异常后超时退出服务，接着无响应、宕机，导致Netman2020 OMC-R系统应用由于无法连接数据库而退出服务、无法管理无线设备。
解决思路：
1、重点检查sun 3310磁阵有无错误；
2、检查solaris操作系统有无错误；
3、如下步骤要同江门电信相关负责人及UT公司协商处理；
4、提示坏块的表空间是索引表空间，只有一个数据文件，表空间使用不足500M，当前数据库是非归档模式，且没有任何有效的备份，无法恢复，只能将些数据文件offline drop，正常启动数据库后删除原表空间，再重新创建表空间，重新创建索引。
5、第4步处理完毕后，启动listener，启动应用，并详细检查；
6、讨论备份方案及相关事项安排。
五、问题解决的详细步骤
1、检查sun 3310磁阵无错误：sccli> show conf
2、检查solaris操作系统iostat -E输出3310：Hard Errors: 32
3、Umount文件系统：/backup，/netman2020data，/opt/oracle
4、重启3310 controller：sccli>reset controller，重启后再次详细检查；
5、上述步骤完成后，重新对文件系统fsck：
1) root@jm_inmsdb # fsck -y /dev/rdsk/c3t0d0s0
2) root@jm_inmsdb # fsck -y /dev/rdsk/c3t0d0s1
3) root@jm_inmsdb # fsck -y /dev/rdsk/c3t0d0s6
6、第5步做完后，重新用format，iostat检查；
7、mount文件系统：root@jm_inmsdb # mountall -l
8、df -k检查；
9、mount数据库：SQL>startup mount
10、offline数据文件：SQL>alter datafile 13 offline drop;
11、drop原表空间：SQL>drop tablespace INMS_TBLS_IDX_STATIC including contents;
12、创建表空间：INMS_TBLS_IDX_STATIC0，大小和原来一样；
13、重新创建索引：alter index rebuild tablespace命令将索引创建于新的表空间；
14、重启监听：$lsnrctl start；
15、重启应用；
16、检查应用；
17、确认结果；
18、签现场服务报告。
六、执行结果
处理过程顺利，应用正常，IO正常。
七、遗留问题
无。
八、建议
加强对服务器、数据库、Netman2020系统运行监控、运行日志的检查，尤其是CPU、IO等相关资源的占用情况；为防止网管系统瘫痪恢复时间过长，建议执行Netman2020系统数据库的日常备份（基础表数据及数据库结构备份、话务数据不进行备份，可以每周或每月执行）。
