关于自动化采集推文列表和推文详情的解决方案。

[biglobin]

这个exporter插件我用了一阵子了，非常好用并且稳定。我用来采集推特用户数据，研究分析个人IP的产生过程，特别是个人IP从0到1的步骤是如何实现的。

我在使用中遇到二个问题:

1. 推文list采集的问题：自动采集的核心问题是控制页面自动滚动，以便exporter插件在页面滚动中收集推文列表。由于通过JS操控页面有触发风控的风险。我用RPA软件解决了控制页面滚动的问题，控制了滚动，自动采集用户、书签、搜索结果中的推文列表的问题就解决了。

2. 推文detail采集的问题：要采集推文详情，需要打开推文链接，以便exporter插件接收推详情和评论数据。我基于exporter制作了一个补丁插件，配合RPA软件自动点击，可以解决自动采集推文详情的问题。

相关插件和RPA软件在这里下载：
https://github.com/biglobin/twitter-web-exporter-p

我一直都是下载大家的开源库，自己没发布过，此次为第一次尝试在github发布东西，不知是否妥当。如有不妥，请联系我改正或删除。

[wangnan789]

“要采集推文详情，需要打开推文链接”，不用打开呀

[biglobin]

“要采集推文详情，需要打开推文链接”，不用打开呀

对，详情不需要打开推文链接。只有采集评论时需要打开。