说实话,我一开始也没想到，Golang能跟NBA球队队标图片扯上关系，但那天朋友问我：“你能帮我一次性把30支NBA球队的队标都下载下来吗？一个个右键保存太累了。”我愣了一下，然后想：试试用Go写个爬虫？
为什么是Golang？不是Python？
很多人第一反应,爬图片嘛，Python多方便，但我要说，Golang的并发模型简直就是为这种批量任务量身定做的，你想啊，30支球队，如果一个个串行下载，网络慢的时候得等多久？但Go的goroutine，轻轻松松开30个协程，同时下载，那速度……
而且Go编译出来就是一个二进制文件,扔到服务器上就能跑，不用装Python环境，不用折腾依赖——这感觉，就像你穿了一双合脚的球鞋去打球，轻快！
关键问题：队标图片从哪里来？
你可能会问,NBA球队队标图片，网上一搜一大把，但真正高清、官方、无水印的资源，其实没那么好找，我踩了三个坑：
数据源选择
我试过从NBA官网直接抓,但发现它的队标图片都是SVG格式的，而且路径藏在JavaScript渲染的内容里，用Go标准库的net/http去拿，返回的是JS代码，不是图片链接，这不行。
后来我转去用维基百科，每支NBA球队的维基词条页面上，通常会有一张队标图片，而且是高清PNG或SVG，维基的页面结构比较规整，适合解析。
解析HTML的代码怎么写？
Go官方没有内置的HTML解析器？不，它有——golang.org/x/net/html这个包，虽然API有点拗口，但确实能用。
我写了个函数,遍历HTML节点树，找到class为infobox-image的td标签，再往里面找img标签的src属性，听着简单，但我调试了整整一个下午，才把选择器写对，那会儿我盯着屏幕，感觉就像在防守库里——你以为猜到了他的路线，实际上他一个变向就把你晃飞了。
举个例子,伪代码逻辑大概是这样的（非真实可运行代码，只是思路演示）：
- 发起HTTP GET请求到每个球队的维基页面
- 用
html.Parse解析返回的HTML - 递归遍历节点,找到
<td class="（＞人＜；）~zZc74f-8cb5-e020-f5ca infobox-image"> - 然后获取其下
<img>的src属性值 - 拼成完整的URL,用Go的
http.Get下载到本地
图片格式问题
下载下来的队标,有的是SVG，有的是PNG，还有老版本的队标是GIF，为了方便使用，我统一把它们转成了PNG格式，这里用到了一个叫libvips的C库，我通过Go的CGo调用了它的Go绑定bimg，说实话，CGo那套配置起来，比写爬虫本身还费劲。
不过折腾完,看到30张队标整整齐齐躺在文件夹里，那种感觉——就像吃了一口刚出锅的披萨，芝士拉丝的那种满足。
一份我实际抓到的队标清单（部分）
这是我用Golang程序跑完后,筛选出来的一些典型队标信息，注意，这些链接是我本地缓存后的路径，但原始URL的结构能看出来一点门道。
| 球队名称 | 下载格式 | 原始来源 | 备注 |
|---|---|---|---|
| 洛杉矶湖人 | PNG (1050x1050) | 维基百科 | 经典紫色队标 |
| 波士顿凯尔特人 | SVG | 维基百科 | 矢量图，适合缩放 |
| 芝加哥公牛 | PNG (1200x1200) | 维基百科 | 红色牛头 |
| 金州勇士 | SVG | 维基百科 | 新版队标 |
| 迈阿密热火 | PNG (800x800) | 维基百科 | 火焰元素 |
你如果也想自己抓,可以试试维基百科的页面URL，比如湖人队的页面是：https://en.wikipedia.org/wiki/Los_Angeles_Lakers，队标图片一般就在右侧的信息框里。
写这个爬虫，我学到了什么？
第一,别高估任何API的稳定性，NBA官网随时可能改版，维基百科也可能调整页面结构，所以爬虫代码里，一定要做好错误处理和重试机制，我用的是Go的retry库，每个请求最多重试3次，每次间隔2秒。
第二,并发虽好，但别太贪心，30个goroutine同时请求维基百科，你的IP可能会被临时封禁，所以我在下载器里加了个令牌桶限流，每秒最多发5个请求，这样既保证速度，又不会太嚣张。
第三,队标图片的名字最好规范化，比如TeamLogo_LA_Lakers.png这样的格式，比胡乱的名字好管理多了，我是直接用的球队三字母缩写加上版本号来命名的。
代码运行完，我盯着屏幕笑了笑
你想啊,正常情况下，你要收集30支NBA球队队标图片，你得一个队一个队去搜，去下载，去改名，怎么也得半小时，但用Go写这个爬虫，从构思到调试到跑出结果，折腾了两个多小时但之后就爽了，以后不管哪个球队换队标，我只要改一下配置文件，重新跑一遍命令，新队标就全部到位了。
那种一劳永逸的感觉，就像你发现原来投篮手型改对了之后，命中率真的能稳定在四成以上。
我知道,这篇东西写得有点糙，没给完整代码，没放具体实现细节，因为我真的只是在分享一个“我干过这事”的经历，如果你也写过类似的爬虫，你大概能懂我在说什么——用Golang去抓NBA球队队标图片，听起来像是用坦克去打蚊子，但当你真正跑通的那一瞬间，那种“我可以让机器替我做重复劳动”的控制感，就是编程这件事最迷人的地方。
下次如果你想建一个NBA球队图库,或者做数据分析缺素材，不妨试试用Go写个爬虫，别管别人说Python更好，顺手的就是最好的，反正我，是越来越喜欢这种彪悍的效率了。
本文来自作者[kyadmin]投稿，不代表be365立场，如若转载，请注明出处：http://www.yikaoba.cn/nba/589.html
评论列表（4条）
我是be365的签约作者“kyadmin”！
希望本篇文章《用Golang批量抓取NBA球队队标图片，这事儿我真干过》能对你有所帮助！
本站[be365]内容主要涵盖：be365,be365网站,be365网址,ball365体育,Be365排名
本文概览：说实话,我一开始也没想到，Golang能跟NBA球队队标图片扯上关系，但那天朋友问我：“你能帮我一次性把30支NBA球队的队标都下载下来...