Skip to content

rcommon/bike-crawler

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

22 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

共享单车地图爬虫

感谢您的支持
由于摩拜单车和ofo不断的封杀各种爬虫行为,所以单车地图被迫关闭。
此处的python代码可以用于学习用途,但已经无法使用
如果你还有问题交流可以加微信bcdata

该爬虫为单车地图的Python演示代码,具备以下功能:

  • 支持ofo和摩拜
  • 多线程爬取
  • 自动去重
  • 坐标系转换
  • 按照ofo和摩拜输出对应的csv文件,存放在db/【日期】/【日期】-【时间】-【品牌】.csv文件内
  • gzip压缩存储

运行环境

  • Python3
  • Linux/Mac/Windows

运行前请联系微信bcdata获取token,内置的token为演示用,单车位置是真实的,ID是随机的。

请根据你的需要修改配置文件config.ini,请查看内置说明。

Linux/Mac

  • 下载最新代码并解压
  • 修改config.ini确保坐标和区域等参数正确
  • 运行:
pip3 install -r requirements.txt
python3 crawler.py

Windows

  • 下载最新代码并解压
  • 修改config.ini确保坐标和区域等参数正确
  • 运行run.bat

输出格式

输出格式:CSV

每行格式:时间戳,单车编号,经度,纬度

常见问题,请见单车地图

About

共享单车地图爬虫

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages

  • Python 95.6%
  • C 2.2%
  • HTML 1.7%
  • C++ 0.5%
  • Fortran 0.0%
  • Shell 0.0%