（Krake）简易数据抓取范例

之前在github上发布了一个Scrapy的抓取项目，然后收到了来自 krake.io 的邮件，准确的说是推广邮件，抱着好奇心进去看了看

krake 基于 EC2提供了在线的数据抓取服务，不过对于国人来说 遗憾的一点是他是收费的

不过注册有送500点券，也就是能免费抓500条数据 也太少了点 呵呵...

为了节省您的时间，如果感觉不必要的 请就此打住。

下面是花了大概半个下午的时间在 krake上的测试

感觉他用于结构简单、关系清晰的数据采集还是不错的(ps:由于api文档说明不太完善，加之鄙人的英文不是太好，复杂的东西就没去深究了)

好了，废话不多说了，上范例代码：

//一个抓取对象   说明//周公解梦生活篇  http://astro.sina.com.cn/jian/jiemeng/shenghuo.html// 此页面的 中间部分采用 iframe 加载了 http://astro.sina.com.cn/jian/4997.shtml// 然后到达最终页面 如 http://astro.sina.com.cn/jian/4997.shtml{    //  抓取网址    origin_url : ["http://astro.sina.com.cn/jian/jiemeng/shenghuo.html",],                                                                           //  采集的数据 规则    columns : [        {            col_name : '第一层',            xpath : '//iframe[@id="content"]',//选中iframe            required_attribute : 'src',            options : {                columns : [ /** An array of column_object **/                    {//一个数据列为一个对象                        col_name :  '第二层',                        //dom_query : '.css_class_name_of_columns'//jQuery 选择器   包含jQuery时可使用如下规则进行分析                        xpath : '//div[@id="wrap"]/h4',//'//xpath/to/elements'// xPath 选择器   默认使用                        required_attribute : "innerText",                    },                    {                        col_name : '子项内容',                        xpath : '//div[@id="wrap"]/p/a',//最终层                        required_attribute : 'href',//required_attribute_type //你希望采集的属性  比如 innerHTML innerText textContent href src                        options : { //扩展一个新的 抓取对象                            columns : [                                {                                    col_name : '标题',                                    xpath : '//div[@id="wrap"]/h4',                                    required_attribute : "innerText",                                },                                   {                                    col_name : '内容',                                    xpath : '//div[@id="wrap"]/p',                                    required_attribute : "innerHTML",                                },                            ],                            wait : 0,                        },                    }                ],            },            wait : 0,        }    ],                                                                                                                                                  //  分页规则    next_page : '',//next_page_object,包含 dom_query 或 xPath 选择器 的对象                                                                                                                                                  //  cookie 验证规则     cookies : '',//cookies_object,包含 cookie内容的 对象数组                                                                           //  需要提取的数据列 可选择columns 中的部分数据导出    column_filter : [],//column_filter_object                                                                                                                                                       //  是否包含jQuery（可使用 jquery dom选择器） 需注意是否会导致原页面js冲突问题    exclude_jquery : true,//boolean                                                                                                                                                       //  页面数据采集等待时间（用于Ajax延迟）    wait : 3,//integer   默认0秒}

如果有兴趣，你也可以试试哦

当然在需求比较复杂的时候，建议还是直接使用Scrapy这类的抓取框架，就不要在这种小的在线工具代码上浪费时间了（恐怕对于国人来说，收费才是最要命的 哈哈）

这边顺便附上 测试的项目地址吧

https://krake.io/krakes/445-testkrake