MongoDB的公告栏
MongoDB聚会演讲内容
MongoDB在SNS社区开发中的应用
刘祥超( iwind ),7年编程经验,架构师,前博看科技技术总监,开源爱好者,目前开源项目 RockMongo 是PHP世界中最好的MongoDB管理工具。
演讲提纲:
* Why mongo?
* 几个设计原则
* 自定义函数
* 模版模式
* 新鲜事设计
* 聊天会话设计
* 事件和comet设计
* 在线状态设计
* 访问统计设计
* 配合工具:nginx, redis, Sysv IPC
* 分布式
* 分区
Crawlware – Seravia的暗网爬虫系统
邹志乐 是 Seravia 的资深工程师。他是Seravia的暗网爬虫系统的主要设计者和开发者之一。他之前是IBM中国研究院的研究员,从事SOA和云计算方面的研究和产品开发工作,著有 虚拟化与云计算 和 云计算实践之道:战略蓝图与技术架构 两本云计算专著。
内容简介
Seravia是一家把为全世界提供深度商业相关数据为愿景的互联网创业公司。Seravia的系统正在以自动化的方式去获取,转换,聚合,搜索和提供着不同类型的商业数据。暗网数据的获取一直以来是一个复杂的问题。与Google以及其它搜索引擎的爬虫系统不同,Seravia所要获取的数据大部分都在暗网内部,因此Seravia自主开发了专业的暗网爬虫系统Crawlware。
本次交流我们主要和大家分享在设计和运行Crawlware过程中的几点经验,包括:
1. 暗网爬虫系统必须考虑的几个问题以及Crawlware系统的整体架构设计;
2. 我们如何通过通用抓取任务模型的设计来描述各个不同的暗网抓取过程;
3. 我们是如何通过任务的调度和抓取频率控制来进行友好抓取;
4. 爬虫系统的测试;
5. 在Crawlware运行时遇到的几个棘手问题。
这是一个主要面对工程师的技术话题。听众不需要有很多实际的爬虫系统开发经验,但需要理解web和web爬虫有一些基本的概念。我们会尽最大努力回答各位参与者的问题,也希望通过这次交流得到大家宝贵的经验和建议。
Seravia in the Cloud
Danny Yang is the CTO at Seravia . Prior to Seravia, he was at Like.com where he worked on image search. Danny received a BA from Harvard University and a PhD in Computer Science from Stanford University.
Danny’s Linkedin: huuep
(huuep is danny upside down)
Abstract
This talk will be about Seravia’s architecture and our use of Amazon’s cloud computing services ( AWS ). I’ll describe our business problems related to processing and analyzing large data sets, and how we can leverage the cloud to solve them.
MongoDB在SNS社区开发中的应用
刘祥超( iwind ),7年编程经验,架构师,前博看科技技术总监,开源爱好者,目前开源项目 RockMongo 是PHP世界中最好的MongoDB管理工具。
演讲提纲:
* Why mongo?
* 几个设计原则
* 自定义函数
* 模版模式
* 新鲜事设计
* 聊天会话设计
* 事件和comet设计
* 在线状态设计
* 访问统计设计
* 配合工具:nginx, redis, Sysv IPC
* 分布式
* 分区
Crawlware – Seravia的暗网爬虫系统
邹志乐 是 Seravia 的资深工程师。他是Seravia的暗网爬虫系统的主要设计者和开发者之一。他之前是IBM中国研究院的研究员,从事SOA和云计算方面的研究和产品开发工作,著有 虚拟化与云计算 和 云计算实践之道:战略蓝图与技术架构 两本云计算专著。
内容简介
Seravia是一家把为全世界提供深度商业相关数据为愿景的互联网创业公司。Seravia的系统正在以自动化的方式去获取,转换,聚合,搜索和提供着不同类型的商业数据。暗网数据的获取一直以来是一个复杂的问题。与Google以及其它搜索引擎的爬虫系统不同,Seravia所要获取的数据大部分都在暗网内部,因此Seravia自主开发了专业的暗网爬虫系统Crawlware。
本次交流我们主要和大家分享在设计和运行Crawlware过程中的几点经验,包括:
1. 暗网爬虫系统必须考虑的几个问题以及Crawlware系统的整体架构设计;
2. 我们如何通过通用抓取任务模型的设计来描述各个不同的暗网抓取过程;
3. 我们是如何通过任务的调度和抓取频率控制来进行友好抓取;
4. 爬虫系统的测试;
5. 在Crawlware运行时遇到的几个棘手问题。
这是一个主要面对工程师的技术话题。听众不需要有很多实际的爬虫系统开发经验,但需要理解web和web爬虫有一些基本的概念。我们会尽最大努力回答各位参与者的问题,也希望通过这次交流得到大家宝贵的经验和建议。
Seravia in the Cloud
Danny Yang is the CTO at Seravia . Prior to Seravia, he was at Like.com where he worked on image search. Danny received a BA from Harvard University and a PhD in Computer Science from Stanford University.
Danny’s Linkedin: huuep
(huuep is danny upside down)
Abstract
This talk will be about Seravia’s architecture and our use of Amazon’s cloud computing services ( AWS ). I’ll describe our business problems related to processing and analyzing large data sets, and how we can leverage the cloud to solve them.
MongoDB的广播 ( 全部 )
MongoDB的日记 ( 全部 )
2011-01-29 11:27:50
现在CSDN,图灵,华章已经参与了,别的媒体想要参与可以与我联系 kidrane@gmail.com 另外大家可以推荐演讲者,推荐成功,小豆奖励。也希望报名的童鞋踊跃捐助小豆,支持我们的活动。
推荐
16人