• 监测类似微博或者 twitter 这种平台到底是如何实现的?
  • 发布于 1周前
  • 73 热度
    5 评论
我看到有一些第三方服务商是可以监测到微博或者 twitter 的用户的点赞,评论或者是转发等社交行为。理论上,社交平台那么多用户,每一个用户都可能实时发送一些数据或者做一些互动。这些服务商是如何精准的监测到的呢?

目前来看,肯定是可以实现的,从技术上来说,咨询 大家几个问题:
1.有哪些实现方案,有没有一些开源的 code 可以参考
2.实现这个方案的过程中有没有要注意的坑
3.发散一下,类似的其他社交平台例如 tg ,discord ,脸书等呢?
头脑发热想到这个问题了,对这个问题的思考和研究都停留在比较浅的层次,欢迎批评,讨论。欢迎大家把这个话题当做一个开放话题讨论下。
用户评论
  • 摇滚枷锁
  • 我司之前有 twitter 的一键三连的引流数据统计需求,有过一段时间的研究,分享给你:
    1.twitter 有现成的开放 API ,但是限流低的离谱,而且不同接口限流阈值不同,有些接口还只对会员开放,几乎没法用。开通高级会员可以提高阈值,会员等级越要阈值也随着提升,但是要扫描十几万一键三连这种级别的数据,几乎也是做不到的。
    2.业内有个 discord 机器人很牛,几乎所有的项目都用了它来打通 discord 与 twitter 的数据,这个机器人叫 engage ,官方文档在这里: https://docs.engages.io
    3.还有些其他的服务提供商提供聚合好的接口服务,但是当初我们测了一遍稳定性达不到我们需要的生产级别,不过它们的阈值相对官方的高级会员都高。我自己猜测是接口后端聚合的大量爬虫轮询,前端接口通过一定算法调度,不知道对不对,知道的大佬可以分享下。
  • 2024/12/25 8:52:00 [ 0 ] [ 0 ] 回复
  • 追梦魂
  • 其实 twitter 也有风控系统,所以想要无所欲为的爬取是不现实的。更稳定的就是买他们的接口,twitter 的叫开发者平台,微博的是开发者平台-微服务。
  • 2024/12/25 8:47:00 [ 0 ] [ 0 ] 回复
  • 随风流浪
  • 很多平台都有开发者 api
    比如 discord 可以参考 https://discord.com/developers/docs/intro
    然后回归问题:
    1. 基本上都有知名的对应开源代码,可以让 ai 告诉你
    2. 好多开发者 api 没人维护,或者文档太老
    如果平台就不开放 api 硬要玩封闭,只能爬的话,难度很大,一般都是访问特殊的接口(还得是容易绕过鉴权的),运气好的话服务器会返回一些基本的信息,比如返回的 json 里可能包含了点赞数、播放数;运气差只能买其他人的付费接口了,信息差就是钱啊!
  • 2024/12/25 8:41:00 [ 0 ] [ 0 ] 回复