2025-04-10 00:23:01
该脚本基于 Strava API v3 获取指定用户当年的所有骑行活动数据，并将其保存为JSON格式
Strava Riding Api 只实现了 OAuth 2.0 授权流程的部分自动化，由于技术限制，目前无法实现完全自动化：
已实现部分
重要： 在使用此脚本前，请确保在Strava开发者平台上正确配置您的应用：
localhost
注意：只需输入 localhost 而不是完整的 http://localhost:8000
yarn install
yarn auth
获取授权后，您会收到一个授权码。将其粘贴到命令行中。
yarn start
strava_data.json
如果您遇到API相关错误，请尝试以下解决方案：
yarn auth
重新获取授权并更新令牌
检查API状态：
访问 Strava API状态 确认服务是否正常
localhost作为授权回调域
本项目采用 Mozilla 公共许可证 2.0 版发布
Strava API v3：https://developers.strava.com/docs/reference
Strava Riding Api：https://github.com/achuanya/Strava-Riding-Api
2025-04-07 20:38:01
就在刚刚 EasyFill 终于通过了 Chrome Web Store 的审核，正式发布了！
EasyFill。查看 更新日志 了解最新功能和修复。
如果你在使用过程中遇到问题，请在我的博客留言。
感谢您对我的支持，本人非程序员，忙里抽闲，为爱发电。
如果您觉得 EasyFill 对您有帮助，可以通过以下方式支持我继续创作：
本项目基于 Mozilla Public License Version 2.0。
Github 仓库：https://github.com/achuanya/EasyFill
✨ EasyFill 只为向那些在浮躁时代，依然坚守独立博客精神的你们致敬！
2025-04-03 00:05:01
晚上下了班打开电脑刚坐下就看到了一封 Google 邮件，首先看到了发件人 “Chrome Web Store”，当时就心想提交审核一个多星期了，终于看到一点音信了。点开后，还没等我高兴，便看到了：
被拒的原因非常低级，声明了但未使用的 scripting 权限。
scripting 权限是 Manifest V3 中引入的一个重要权限，主要用于动态脚本执行chrome.scripting.executeScript()和动态样式注入chrome.scripting.insertCSS()
而在EasyFill中，使用的是静态声明：
content_scripts: [
{
matches: ['<all_urls>'],
js: ['content-scripts/content.js']
}
]
删除scripting参数后，重新打包并再次向 Chrome Web Store 提交了扩展。
就这么一个小BUG，浪费了我一个星期的审核时间，太耽误事了，当时为了解决 Shadow DOM 才使用 scripting，直到现在这个问题也没有解决，希望下个版本可以解决问题
产品谍照：
2025-03-20 00:03:01
年前曾尝试过 Chrome 扩展开发，《写一个Chrome表单自动化插件》，但是由于没有注册 Chrome Web Store 开发者，无法上传到 Chrome 应用商店。
Chrome 注册开发者需要五美元，由于我没有境外信用卡就一直卡在这，2022 年我在杭州办过一张中信的双币卡，年费很高，后来经济紧张时注销了，现在急着用外币还挺麻烦，折腾一圈，最终无脑选择了 WildCard，尽管网上对它负面评论铺天盖地。
WildCard 开卡费用是 10.99 美元/年，实际付款 79.71 人民币，按照今天的市场汇率 7.23，实际多付了 0.24，而且这只是开卡费用，充值另算。
开卡后我充值了 10 美元，支付宝付款 75.07，到账金额 10 美元：
\[\frac{2.77}{75.07} \times 100\% \approx 3.69\%\]四个点我能接受（接不接受都要受着），这个开卡费不便宜，毕竟钱不是大风刮来的，所以注册时，我创建了两个号，推荐注册返现两美金…
注册账号就很容易了，Google 绑卡付钱就行。但是如果要销售发布就很麻烦：
因为 Google 已退出中国市场，不支持交易。而我是美国 Visa 卡，面对这样的要求不容易做到。
日后再说吧，往后这段时间，我打算把博客评论表单自动填充插件重构一下，然后上架 Chrome 应用商店。
2025-03-12 15:36:01
最近郑州天气突然转冷，骑行频率也降了下来，周六正好赶上休息，实在是憋坏了！今天不管刮风下雨，必须出去骑一趟
原计划直接奔开封，结果路过龙湖就停了下来。好久没来了，上次来还是鹅毛大雪天，如今雪没了，只剩下鹅
周六的公园人满为患，没法骑。我推着车沿湖边缓行，遥望着远处炸水的不知名鱼，不由自主的想蹲下摸摸湖水，真的很想钓鱼，自到郑州以来，我连最爱的路亚竿都没摸过
此时正值中午，小孩在沙滩上牵着风筝奔跑，大人排队买小吃，顿时勾起了不少儿时回忆，我也好想光着脚奔跑在沙滩上…
在龙湖公园出来后，我关掉了导航线瞎跑，根本不认识路，不知道自己在哪，扫大街呗
话说现在骑车很少拍照，不是不爱拍，而是懒得下车，即使趴到腰酸，感觉腰快要断了，也不想停下来
拍这张照片时，已经快饿晕了，周六晚上吃得少，周日早上又空腹出门，体力消耗得厉害…
周日早晨睡到自然醒，一看表，我整个人都快立正了，居然八点半了。着急忙慌洗漱后，脱下内衣裤直接换上骑行服，背上包，拿了五块巧克力出发了。因为周一要上班，所以今天必须放纵一下，出发前大致算了算，来回返程再加上逛街的时间，早饭根本来不及吃…哎…
大约骑了25公里，在中石化买了瓶宝矿力水特。又骑行了二三十公里到了贾鲁河桥，饿的没劲，更别说爬坡了，挂上小盘，我慢悠悠到了桥中间，休息了几分钟，把五块巧克力补给全吃了
就这样空腹骑到了开封郊区，此时的里程已经来到了 75.38公里，用时3小时23分钟
到达开封后，心里那股坚持的信念瞬间消失了，又渴又饿，高德帮我找了最近一家名为三不炒(开封总店)的小炒店，我把车子靠着门店随便一放，就去买葡萄糖了
买完水出来发现要排队，人还不少，我是真的饿得快走不动了，但还是懒得换地方，抱着水坐在外面等了半小时。饿得快虚脱了，感觉此时此刻，就算把馒头挂我脖子上都能饿死
排队加吃饭花了一个半小时，吃得太撑，骑上车都趴不下去，推着车穿过老巷子走到了湖边
回到家已经八点半了，这条郑开大道路线真心推荐，毕竟二刷了，虽然沿途风景平平，但对于郑州来说，已经是顶级骑行路线了，一个人骑行在郑开大道，握着下把位，不用担心刹车，不用担心前方有没有人，听着歌，摇着车，也不枉来郑州走一遭
2025-03-12 03:26:01
之前我写过一篇《利用Go+Github Actions写个定时RSS爬虫》来实现这一目的，主要是用 GitHub Actions + Go 进行持续的 RSS 拉取，再把结果上传到 GitHub Pages 站点
但是遇到一些网络延迟、TLS 超时问题，导致订阅页面访问速度奇慢，抓取的数据也不完整，后来时断时续半个月重构了代码，进一步增强了并发和容错机制
在此感谢 GPT o1 给予的帮助，我已经脱离老本行很多年了，重构的压力真不小，有空就利用下班的时间进行调试，在今天凌晨 03:00 我终于写完了
旧版本主要基于 GitHub Actions 的定时触发，抓取完后把结果存放进 _data/rss_data.json 然后 Jekyll 就可以直接引用这个文件来展示订阅，但是这个方案有诸多不足:
网络不稳定导致的抓取失败
由于原先的重试机制不够完善，GitHub Actions 在国外，RSS 站点大多在国内，一旦连接超时就挂，一些 RSS 无法成功抓取
单线程串行，速度偏慢
旧版本一次只能串行抓取 RSS，效率低，数量稍多就拉长整体执行时间，再加上外网到内地的延时，更显迟缓
日志不够完善
出错时写到的日志文件只有大概的错误描述，无法区分是解析失败、头像链接失效还是RSS本身问题，排查不便
访问速度影响大
这是主要的重构原因！在旧版本里，抓取后的 JSON 数据是要存储到 Github 仓库的，虽然有 CDN 加持，但 GitHub Pages 的定时任务会引起连锁反应，当新内容刷新时容易出现访问延迟，极端情况下网页都挂了
重构后，在此基础上进行了大幅重构，引入了并发抓取 + 指数退避重试 + GitHub/COS 双端存储的能力，抓取稳定性和页面访问速度都得到显著提升
先看个简单的流程图
+--------------------------+
| 1. 读取RSS列表（双端可选） |
+------------+-------------+
|
v
+---------------------+
| 2. 并发抓取RSS,限流 |
| (max concurrency) |
+-------+-------------+
|
v
+------------------------------+
| 3. 指数退避算法 (重试解析失败) |
+------------------------------+
|
v
+-------------------+
| 4. 结果整合排序 |
+--------+----------+
|
v
+-------------------------+
| 5. 上传 RSS (双端可选) |
+-------------------------+
|
v
+--------------------+
| 6. 写日志到GitHub |
+--------------------+
并发抓取 + 限流
通过 Go 的 goroutine 并发抓取 RSS，同时用一个 channel 来限制最大并发数
指数退避重试
每个 RSS 如果第一次抓取失败，则会间隔几秒后再次重试，且间隔呈指数级递增（1s -> 2s -> 4s），最多重试三次，极大提高成功率
灵活存储
RSS_SOURCE: 可以决定从 COS 读取一个远程 txt 文件（里面存放 RSS 列表），或直接从 GitHub 的 data/rss.txt 读取
SAVE_TARGET: 可以把抓取结果上传到 GitHub，或者传到腾讯云 COS
日志自动清理
每次成功写入日志后，会检查 logs/ 目录下的日志文件，若超过 7 天就自动删除，避免日志越积越多
上一次写指数退避，还是在养老院写PHP的时候，时过境迁啊，这段算法我调试了很久，其实不难，也就是说失败一次，就等待更长的时间再重试，配置如下:
也就是说失败一次就加倍等待，下次若依然失败就再加倍，如果三次都失败则放弃处理
// fetchAllFeeds 并发抓取所有RSS链接，返回抓取结果及统计信息
//
// Description:
//
// 该函数读取传入的所有RSS链接，使用10路并发进行抓取
// 在抓取过程中对解析失败、内容为空等情况进行统计
// 若抓取的RSS头像缺失或无法访问，将替换为默认头像
//
// Parameters:
// - ctx : 上下文，用于控制网络请求的取消或超时
// - rssLinks : RSS链接的字符串切片，每个链接代表一个RSS源
// - defaultAvatar : 备用头像地址，在抓取头像失败或不可用时使用
//
// Returns:
// - []feedResult : 每个RSS链接抓取的结果（包含成功的Feed及其文章或错误信息）
// - map[string][]string : 各种问题的统计记录（解析失败、内容为空、头像缺失、头像不可用）
func fetchAllFeeds(ctx context.Context, rssLinks []string, defaultAvatar string) ([]feedResult, map[string][]string) {
// 设置最大并发量，以信道（channel）信号量的方式控制
maxGoroutines := 10
sem := make(chan struct{}, maxGoroutines)
// 等待组，用来等待所有goroutine执行完毕
var wg sync.WaitGroup
resultChan := make(chan feedResult, len(rssLinks)) // 用于收集抓取结果的通道
fp := gofeed.NewParser() // RSS解析器实例
// 遍历所有RSS链接，为每个RSS链接开启一个goroutine进行抓取
for _, link := range rssLinks {
link = strings.TrimSpace(link)
if link == "" {
continue
}
wg.Add(1) // 每开启一个goroutine，对应Add(1)
sem <- struct{}{} // 向sem发送一个空结构体，表示占用了一个并发槽
// 开启协程
go func(rssLink string) {
defer wg.Done() // 协程结束时Done
defer func() { <-sem }() // 函数结束时释放一个并发槽
var fr feedResult
fr.FeedLink = rssLink
// 抓取RSS Feed, 无法解析时，使用指数退避算法进行重试, 有3次重试, 初始1s, 倍数2.0
feed, err := fetchFeedWithRetry(rssLink, fp, 3, 1*time.Second, 2.0)
if err != nil {
fr.Err = wrapErrorf(err, "解析RSS失败: %s", rssLink)
resultChan <- fr
return
}
if feed == nil || len(feed.Items) == 0 {
fr.Err = wrapErrorf(fmt.Errorf("该订阅没有内容"), "RSS为空: %s", rssLink)
resultChan <- fr
return
}
// 获取RSS的头像信息（若RSS自带头像则用RSS的，否则尝试从博客主页解析）
avatarURL := getFeedAvatarURL(feed)
fr.Article = &Article{
BlogName: feed.Title,
}
// 检查头像可用性
if avatarURL == "" {
// 若头像链接为空，则标记为空字符串
fr.Article.Avatar = ""
} else {
ok, _ := checkURLAvailable(avatarURL)
if !ok {
fr.Article.Avatar = "BROKEN" // 无法访问，暂记为BROKEN
} else {
fr.Article.Avatar = avatarURL // 正常可访问则记录真实URL
}
}
// 只取最新一篇文章作为结果
latest := feed.Items[0]
fr.Article.Title = latest.Title
fr.Article.Link = latest.Link
// 解析发布时间，如果 RSS 解析器本身给出了 PublishedParsed 直接用，否则尝试解析 Published 字符串
pubTime := time.Now()
if latest.PublishedParsed != nil {
pubTime = *latest.PublishedParsed
} else if latest.Published != "" {
if t, e := parseTime(latest.Published); e == nil {
pubTime = t
}
}
fr.ParsedTime = pubTime
fr.Article.Published = pubTime.Format("02 Jan 2006")
resultChan <- fr
}(link)
}
// 开启一个goroutine等待所有抓取任务结束后，关闭resultChan
go func() {
wg.Wait()
close(resultChan)
}()
// 用于统计各种问题
problems := map[string][]string{
"parseFails": {}, // 解析 RSS 失败
"feedEmpties": {}, // 内容 RSS 为空
"noAvatar": {}, // 头像地址为空
"brokenAvatar": {}, // 头像无法访问
}
// 收集抓取结果
var results []feedResult
for r := range resultChan {
if r.Err != nil {
errStr := r.Err.Error()
switch {
case strings.Contains(errStr, "解析RSS失败"):
problems["parseFails"] = append(problems["parseFails"], r.FeedLink)
case strings.Contains(errStr, "RSS为空"):
problems["feedEmpties"] = append(problems["feedEmpties"], r.FeedLink)
}
results = append(results, r)
continue
}
// 对于成功抓取的Feed，如果头像为空或不可用则使用默认头像
if r.Article.Avatar == "" {
problems["noAvatar"] = append(problems["noAvatar"], r.FeedLink)
r.Article.Avatar = defaultAvatar
} else if r.Article.Avatar == "BROKEN" {
problems["brokenAvatar"] = append(problems["brokenAvatar"], r.FeedLink)
r.Article.Avatar = defaultAvatar
}
results = append(results, r)
}
return results, problems
}
为避免一下子开几十上百个协程导致阻塞，可以配合一个带缓存大小的 channel
maxGoroutines := 10
sem := make(chan struct{}, maxGoroutines)
for _, rssLink := range rssLinks {
// 启动 goroutine 前先写入一个空 struct
sem <- struct{}{}
go func(link string) {
// goroutine 执行结束后释放 <-sem
defer func() { <-sem }()
fetchFeedWithRetry(link, parser, 3, 1*time.Second, 2.0)
// ...
}(rssLink)
}
容错率显著提升
遇到网络抖动、超时等问题，能以10路并发限制式自动重试，很少出现直接拿不到数据
抓取速度更快
以 10 路并发为例，对于数量多的 RSS，速度提升明显
日志分类更细
分清哪条 RSS 是解析失败，哪条头像挂了，哪条本身有问题，后续维护比只给个403 Forbidden方便太多
支持 COS
可将最终 data.json 放在 COS 上进行 CDN 加速；也能继续放在 GitHub，视自己需求而定
自动清理过期日志
每次抓取后检查 logs/ 目录下 7 天之前的日志并删除，不用手工清理了
抓取到的文章信息会按时间降序排列，示例:
{
"items": [
{
"blog_name": "obaby@mars",
"title": "品味江南（三）–虎丘塔 东方明珠",
"published": "10 Mar 2025",
"link": "https://oba.by/2025/03/19714",
"avatar": "https://oba.by/wp-content/uploads/2020/09/icon-500-100x100.png"
},
{
"blog_name": "风雪之隅",
"title": "PHP8.0的Named Parameter",
"published": "10 May 2022",
"link": "https://www.laruence.com/2022/05/10/6192.html",
"avatar": "https://www.laruence.com/logo.jpg"
}
],
"updated": "2025年03月11日 07:15:57"
}
程序每次运行完毕后，把抓取统计和问题列表写到 GitHub 仓库 logs/YYYY-MM-DD.log:
[2025-03-11 07:15:57] 本次订阅抓取结果统计:
[2025-03-11 07:15:57] 共 25 条RSS, 成功抓取 24 条.
[2025-03-11 07:15:57] ✘ 有 1 条订阅解析失败:
[2025-03-11 07:15:57] - https://tcxx.info/feed
[2025-03-11 07:15:57] ✘ 有 1 条订阅头像无法访问, 已使用默认头像:
[2025-03-11 07:15:57] - https://www.loyhome.com/feed
如果你也想玩玩 LhasaRSS
准备一份 RSS 列表（TXT）:
格式：每行一个 URL
如果 RSS_SOURCE = GITHUB，则可以放在项目中的 data/rss.txt
如果 RSS_SOURCE = COS，就把它上传到某个 https://xxx.cos.ap-xxx.myqcloud.com/rss.txt
配置好环境变量:
默认所有数据保存到 Github，所以 COS API 环境变量不是必要的
env:
TOKEN: ${{ secrets.TOKEN }} # GitHub Token
NAME: ${{ secrets.NAME }} # GitHub 用户名
REPOSITORY: ${{ secrets.REPOSITORY }} # GitHub 仓库名
TENCENT_CLOUD_SECRET_ID: ${{ secrets.TENCENT_CLOUD_SECRET_ID }} # 腾讯云 COS SecretID
TENCENT_CLOUD_SECRET_KEY: ${{ secrets.TENCENT_CLOUD_SECRET_KEY }} # 腾讯云 COS SecretKey
RSS: ${{ secrets.RSS }} # RSS 列表文件
DATA: ${{ secrets.DATA }} # 抓取后的数据文件
DEFAULT_AVATAR: ${{ secrets.DEFAULT_AVATAR }} # 默认头像 URL
RSS_SOURCE ${{ secrets.RSS_SOURCE }} # 可选参数 GITHUB or COS
SAVE_TARGET ${{ secrets.SAVE_TARGET }} # 可选参数 GITHUB or COS
部署并运行
只需 go run . 或在 GitHub Actions workflow_dispatch 触发 运行结束后，就会在 data 文件夹更新 data.json，日志则写进 GitHub logs/ 目录，并且自动清理旧日志
注：如果你依旧想完全托管在 COS 上，需要把 RSS_SOURCE 和 SAVE_TARGET 都写为 COS，然后使用 GitHub Actions 去调度