我看到有一些第三方服务商是可以监测到微博或者 twitter 的用户的点赞,评论或者是转发等社交行为。理论上,社交平台那么多用户,每一个用户都可能实时发送一些数据或者做一些互动。这些服务商是如何精准的监测到的呢?
目前来看,肯定是可以实现的,从技术上来说,咨询 大家几个问题:
1.有哪些实现方案,有没有一些开源的 code 可以参考
2.实现这个方案的过程中有没有要注意的坑
3.发散一下,类似的其他社交平台例如 tg ,discord ,脸书等呢?
头脑发热想到这个问题了,对这个问题的思考和研究都停留在比较浅的层次,欢迎批评,讨论。欢迎大家把这个话题当做一个开放话题讨论下。
1.twitter 有现成的开放 API ,但是限流低的离谱,而且不同接口限流阈值不同,有些接口还只对会员开放,几乎没法用。开通高级会员可以提高阈值,会员等级越要阈值也随着提升,但是要扫描十几万一键三连这种级别的数据,几乎也是做不到的。
2.业内有个 discord 机器人很牛,几乎所有的项目都用了它来打通 discord 与 twitter 的数据,这个机器人叫 engage ,官方文档在这里: https://docs.engages.io 。
3.还有些其他的服务提供商提供聚合好的接口服务,但是当初我们测了一遍稳定性达不到我们需要的生产级别,不过它们的阈值相对官方的高级会员都高。我自己猜测是接口后端聚合的大量爬虫轮询,前端接口通过一定算法调度,不知道对不对,知道的大佬可以分享下。
比如 discord 可以参考 https://discord.com/developers/docs/intro
然后回归问题:
1. 基本上都有知名的对应开源代码,可以让 ai 告诉你
2. 好多开发者 api 没人维护,或者文档太老
如果平台就不开放 api 硬要玩封闭,只能爬的话,难度很大,一般都是访问特殊的接口(还得是容易绕过鉴权的),运气好的话服务器会返回一些基本的信息,比如返回的 json 里可能包含了点赞数、播放数;运气差只能买其他人的付费接口了,信息差就是钱啊!