Sybase清理海量历史数据.doc

《Sybase清理海量历史数据.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Sybase清理海量历史数据Sybase清理海量历史数据(单张表几亿数据真实环境使用中)   之前在试验了bcp,传统的正向delete方法皆不可取的情况下，考虑使用selectinto反向做法，把要保留的数据通过selectinto法重新创建对象，达到了数据快速进入新表，并对新表进行索引默认值重建，即达到了数据清理，也达到了数据清理后索引不会失效的目的，还腾出了碎片空间。前期采用了静态的处理方式，在由于不同地方部署版本不同导致数据库结构也不完全相同情况下，需要ddlgen方式拿回外网的ddl脚本然后对静态清理

2、程序进行对比修改，非常繁琐，头晕眼花对的，后来考虑到sybase的对象定义信息都保留的系统数据字典中，通过分析数据字典的方式进行对象的动态重构，从而省去了程序对照修改的累事。以下看我实际处理的步骤思路以及具体脚本：1.清理程序基本保证在深夜时间可以清理完毕，但是为了保证第二天海量数据运营级的数据库能够正常运行，所以做到了清理程序支持断点续清，清理未完也不影响第二天应用正常使用的目的。所以额外增加了清理日志表：IFEXISTS(SELECT1FROMsysobjectsoWHERE o.name='dba_del

3、ete_history_data' ANDo.type='U')droptabledba_delete_history_datagocreatetabledba_delete_history_data(id               char(32)            notnull ,--流水idtable_name           varchar(100)          notnull ,--表名start_time           datetime              null ,

4、--清理开始时间end_time            datetime              null ,--清理结束时间status             int               notnull, --清理结果状态default_fail_sql    varchar(7000)    null    --默认值加了注释，导致语句过长产生问题)lockdatarowsgo -----------------------------------------------------------

5、------------------------------------ 2.单个对象表的清理封装过程up_delete_history_tableifexists(select1      from sysobjects      whereid=object_id('up_delete_history_table')      and type='P')  dropprocedureup_delete_history_tablegocreateprocedureup_delete_history_table

6、 @objnamevarchar(100),--对象表名@condition_namevarchar(1000),--清理条件@is_bakvarchar(1),--清理后是否备份原表@server_lock_schemevarchar(50)--服务的锁级别配置asdeclare@start_timedatetime declare@end_timedatetimedeclare@indidint declare@keysvarchar(1024) declare@msgvarchar(1024)declar

7、e@create_tmp_strvarchar(1024)declare@drop_tempvarchar(1024)declare@lock_datarows_strvarchar(100)declare@pk_strvarchar(1024)declare@start_strvarchar(100)declare@default_strvarchar(8000)declare@index_strvarchar(1024)declare@grant_strvarchar(1024)declare@ddl_st

8、rvarchar(1024)declare@rename_strvarchar(1024)declare@end_strvarchar(100)declare@column_namevarchar(1024) declare@pre_column_namevarchar(1024)declare@default_namevarchar(255)declare@new_idchar(32