这两天发现了一个广州市全市菜篮子平价零售价信息的网页，该页面最早的记录日期是 2012-12-19 ，可以用来做数据抓取测试。

页面抓取和提取

网页格式

<tr>  
<td class='null'>冻排骨<a href="javascript:showDetailChart('2017-02-14', 1736)"><img src="/basic/skin/default/jquery.easyui/icons/trend.png" border="0"></a></td>  
<td class='null'>元/公斤</td>  
<td class='null'>43.38</td>  
<td class='null'>冻鸡翼<a href="javascript:showDetailChart('2017-02-14', 1738)"><img src="/basic/skin/default/jquery.easyui/icons/trend.png" border="0"></a></td>  
<td class='null'>元/公斤</td>  
<td class='null'>33.31</td>  
<td class='null'>冻凤爪<a href="javascript:showDetailChart('2017-02-14', 1739)"><img src="/basic/skin/default/jquery.easyui/icons/trend.png" border="0"></a></td>  
<td class='null'>元/公斤</td>  
<td class='null'>24.63</td>  
</tr>

提取

最方便的方式是 shell，包括下载和提取，用 curl 和 sed ，一条 shell 指令可以解决：

curl -s 'http://121.8.226.252/basic/sendReportInfoes/sendReportDeatil?srhSrId=2&srhReportId=15&srhCycle=2017-02-15' | sed -rn "/<td class='null'>/{N;N;s/<[^>]+>//g;s/\n/ /g;p}" | sed -re '/^\s*$/d'

sed 的部分解释下：

匹配到<td class='null'>读取下两行到多行模式空间；
删除 <xxx> 之类的字符串；
将换行符替换为空格；
删除空行。

不过我是用了Golang来跑。

获取页面：

// import: net/http io/ioutil
resp, err := http.Get(url)  
if err != nil {  
    // 错误处理
}
defer resp.Body.Close()  
body, err := ioutil.ReadAll(resp.Body)  
if err != nil {  
    // 错误处理
}

提取信息：

// import: regexp strings
reg, _ := regexp.Compile(`(?m:<td class='null'>[^\n]+?</td>\n<td class='null'>[^\n]+?</td>\n<td class='null'>[^\n]+?</td>)`)  
regSub, _ := regexp.Compile(`<[^>]+>`)  
for _, one := range reg.FindAll(body, -1) {  
    content := regSub.ReplaceAllString(string(one), "")
    fields := strings.Fields(content)
    if len(fields) != 3 {
      // 处理错误
    }
    // 数据存储处理
}

备注：