ISearch个性化社区信息订阅系统设计文档 .docx

《ISearch个性化社区信息订阅系统设计文档 .docx》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、ISearch个性化社区信息订阅系统设计文档1.概述本系统是一个基于社交网络数据采集,专门为网络营销人员提供可以个性化定制自己所关注的互联网社区信息的营销工具.让用户通过ISearch及时的找到潜在的客户,找到企业的相关信息和竞争对手情报,从而进行高效的营销处理,这是ISearch的宗旨.2.架构设计1.功能说明l1页面包含两部分：1.1关键词配置1.2信息展示1.3信息查询1.3.1近期查询（数据库）1.3.2历史查询（历史数据索引）l2采集来源分三部分：2.1元搜索（百度，google，奇虎，所有具有站内检索的站点），各网站的元搜索需要定

2、制，目标是*算法优先*2.2原始采集（包括RSS、论坛、新闻），配置优先2.3微博采集（新浪等微博），新浪通过API，其他通过机器人爬虫l3索引3.1存储3.1.1元搜索的结果命中率较高，存入一个索引3.1.2其余数据存入另一个索引3.1.3与采集的接口的*稳定性*非常重要3.2查询3.2.1提供关键字组合，时间范围，准确度调节等接口l4关键词组查询器4.1根据关键词组从索引查找数据并存入数据库4.2*封装不通用户关键词组的查询策略*4.3数据存入数据库之前进行信息聚合4.3.1标题相似度高的信息聚合在一起4.3.2应该在查询器工作完成立即调

3、用。l5.数据库存储5.1一个或多个mysql5.2分布式mysql5.3nosql结合mysql5.4用户历史数据索引5.5定期将数据库中的用户数据存入索引1.网络拓扑图2.数据库设计3.开发人员分工功能模块开发人员用户界面梁雁圆,吴浩网页采集解析梁雁圆,吴浩数据索引,查询优化肖亮,梁雁圆4.备注