Huginn实现自动通过slack推送豆瓣高分电影

如果尚未安装 Huginn,可以参考这里

想象下以下场景:每当有正在上映的电影在豆瓣上的评分超过7.8分,则 huginn 自动编辑一条信息并通过 Slack (当然也可以用 telegram 等app)通知到我电脑或者手机上。收到信息后,点击不喜欢忽略,或者点击购票按钮直接进入到购票页面。甚至 Huginn 可以结合 Google Calendar 查询你这几天的行程安排,推送高分电影信息的同时给你选择一个比较合适观看电影的时间点,购买好电影票后,huginn 又自动帮你把日程事件写入到 Google Calendar 中,并设置提醒。是不是很酷?!

Huginn 就如你的贴心管家,按照你的意愿自动帮你完成很多事情。

我们先来实现 每当有正在上映的电影在豆瓣上的评分超过7.8分,则给我推送 Slack 信息 这一部分需求。

最后达到的效果如下:

Huginn实现自动通过slack推送豆瓣高分电影
手机端效果
Huginn实现自动通过slack推送豆瓣高分电影
PC端效果

创建 Agents

首先进入 Huginn 首页(默认localhost:3000),左上角进入 Scenarios

Huginn实现自动通过slack推送豆瓣高分电影

我的理解:Scenario 代表一种场景,一般会包含多个 agent,一个 agent 表示进行一次事件的处理或者变换。拿我们现在的例子来说,自动通过slack推送豆瓣高分电影 这一整个就是一个 Scenario,但是这个 Scenario 会有很多的 agents 组成,比如:

  • 有一个 agent 是用来从豆瓣网页获取当前上映中的所有电影和它们的分数等信息;
  • 一个 agent 是用来从第一个 agent 里面拿到的所有电影进行过滤,过滤的标准就是 score > 7.8
  • 还有一个 agent 是用来把过滤后的电影通过 slack 推送到我们手机上。

看着跟 RxJava 的观察者模式是不是很像?第一个从豆瓣页面拉取数据的过程就像是 Observable,然后其它的 agent 就像很多的 operator 用来把数据进行转换和变化,最终通知到 subscriber,这里的 subscriber 就是我们自己。我们通过 huginn 订阅了 豆瓣高分电影,就是这么简单。

点击左下角的 New Scenario 创建一个名为 douban_high_score_movie 的 Scenario。

创建获取数据 agent

第一个 agent 用来从豆瓣官网获取所有正在上映的电影

在 douban_high_score_movie 的 Scenario 中点击 + New Agent 来创建第一个 Agent。

Huginn实现自动通过slack推送豆瓣高分电影

如上图,你需要去决定你要创建的 agent 的类型(这里是目前 Huginn 支持的所有的类型)。

我们通过输入 "web" 来进行过滤选择 Website Agent

Huginn实现自动通过slack推送豆瓣高分电影

上图,左边是我们需要去配置的地方;右边是每个设置对应的说明。

  • Name:给这个 agent 取个名字,我们这里取名为 step1_get_douban_playing_movies,表示这个 agent 是 douban_high_score_movie 这个 Scenario 的第一步,是用来从豆瓣获取当前正在上映的所有电影。
  • Schedule:表示调度周期,表示在什么时候自动执行这个 agent,比如 Every 1d 表示每一天执行一次、Every 2h 表示每2小时执行一次、8pm 表示每天下午8点执行等等;这里我们选择 3pm,每天下午3点执行一次。
  • Keep events:表示事件保留的时间;比如我们从豆瓣上获取到所有上映的电影,每一部电影信息都是一个 event,Huginn会把这些 event 保留在本地,你可以通过这个参数来设置这些 events 在本地保留多少时间,超过这个时间,Huginn会把数据清除。我们这里设置1小时(为什么只设置为1小时,下面我们会再讨论)。
  • Sources:表示这个 agent 处理的数据来源是哪个 agent。我们现在创建的 agent 是第一个 agent,是从豆瓣网站上获取正在上映的所有电影,所以不需要从其他 agent 传递数据(也就是上面说的 events)过来,所以这个留空。
  • Receivers:表示这个 agent 处理完数据之后把这些数据传入到哪个 agent。还是用 RxJava 做类比,因为每个 agnet 都有可能只是整个观察者模式中的一个操作符,用来转化数据,数据转化完之后,可能还需要其他 agent 把这些数据做进一步的转化。
  • Scenarios:表示这个 agent 是数据哪个 Scenario 的。
  • Options:这个非常关键,就是通过这个配置文件(JSON)来进行网络请求和豆瓣电影数据解析相关的操作的,这个我们重点讲下。

注意:以上没提到的配置可以留空

Options 配置

Options 配置其实就是一个 JSON 文件。Website Agent 的 Options 主要的元素有如下:

Huginn实现自动通过slack推送豆瓣高分电影
  • url:网站地址,表示我需要从哪个网站获取数据,现在我们是从豆瓣,所以需要输入豆瓣正在上映的网址,这里我们输入 https://movie.douban.com/cinema/nowplaying/hangzhou/,当然最后一个地点可以根据你的常驻地点做相应的修改。
  • type:数据解析的类型,支持的类型有 xmlhtmljsontext 四种,当前豆瓣网址返回的当然是 html 了,所以这里我们填写 html。如果其他场景,比如 调用第三方开放的 api,返回的类型可能就是 json 或者 xml了。
  • mode:表示获取数据的模式,我们这里选择 on_change
    • on_change:在数据有更改时才会获取作为 events。
    • merge:把新数据和输入的数据进行合并。
    • all:获取所有数据。
  • extract:用来配置(JSON)从这个网站解析出真正我们想要的数据。如果 type 是 html,则每个数据通过 css 选择器或者 xpath 来解析出真正的数据。

注意: on_change 这个设置在我们现在的场景下其实用处不大,这个下面我们会再讨论

最后的 options 如下:

  1. {
  2. "expected_update_period_in_days": "2",
  3. "url": "https://movie.douban.com/cinema/nowplaying/hangzhou/",
  4. "type": "html",
  5. "mode": "on_change",
  6. "extract": {
  7. "title": {
  8. "css": "li[@data-category='nowplaying']",
  9. "value": "@data-title"
  10. },
  11. "score": {
  12. "css": "li[@data-category='nowplaying']",
  13. "value": "@data-score"
  14. },
  15. "star": {
  16. "css": "li[@data-category='nowplaying']",
  17. "value": "@data-star"
  18. },
  19. "release": {
  20. "css": "li[@data-category='nowplaying']",
  21. "value": "@data-release"
  22. },
  23. "region": {
  24. "css": "li[@data-category='nowplaying']",
  25. "value": "@data-region"
  26. },
  27. "actors": {
  28. "css": "li[@data-category='nowplaying']",
  29. "value": "@data-actors"
  30. },
  31. "director": {
  32. "css": "li[@data-category='nowplaying']",
  33. "value": "@data-director"
  34. },
  35. "detail_url": {
  36. "css": "li[@data-category='nowplaying']/ul/li/a[@data-psource='poster']",
  37. "value": "@href"
  38. },
  39. "image_url": {
  40. "css": "li[@data-category='nowplaying']/ul/li/a[@data-psource='poster']/img",
  41. "value": "@src"
  42. }
  43. }
  44. }

以上可以看出,我们从豆瓣的每部电影中获取了以下信息:

  • title:电影名字
  • score:电影分数,满分10分
  • star:电影分数,满分50分
  • release:上映日期
  • region:地区
  • actors:演员
  • director:导演
  • detail_url:详细 url
  • image_url:电影封面

注意:获取具体 xpath 比较简单的方法:通过 chrome 右键的 inspect 来复制拿到。

以上配置完毕后,点击下面的 Dry Run,应该就会出现以下页面

Huginn实现自动通过slack推送豆瓣高分电影

最后进行保存。第一个 agent 就创建完毕了。

同时,这个 agent 在运行的过程中会生成以下 events:

Huginn实现自动通过slack推送豆瓣高分电影

创建过滤 agnet

step1_get_douban_playing_movies 把所有正在上映的电影数据从豆瓣上拉取下来并解析好,生成一个个 events。然后我们第二个 agent 就需要从这些 events 里面进行过滤筛选出所有分数大于 7.8(具体的标准可以自己定) 的电影。相当于 RxJava 的 filter 操作符吧。

同样创建 agent,选择为 TriggerAgent,名字为 step2_pick_high_score_movies。这是把 Sources 填写为第一个 agent 的名字,即 step1_get_douban_playing_movies,表示我要创建的 agent 处理的数据(events)是从 step1_get_douban_playing_movies 来的。

然后重点还是在 Options 中

  • keep_event:表示是否把我从 step1_get_douban_playing_movies 这个 agent 收到的 events 原封不动地再传给下一个 agent(下一个 agent 我们还没创建),我们设置为 true。因为下一个 agent 我们是用来把数据通过 slack 发送到给我们自己的,那肯定需要第一个 agent 中获取到的例如电影名字、分数等信息。
  • rules:表示我们过滤的规则,可以多个,具体下面说。
  • must_match:表示 rules 中我必须要满足几个规则,如果是1,则意味着 rules 中所有的规则是或关系(只要满足 rules 中的1个规则即可);默认不填写的话是必须要满足 rules 中所有的规则。,因为我们这里只需要满足一个分数大于7.8就可以,所以可以不填写。

最后 Options 的配置如下:

  1. {
  2. "expected_receive_period_in_days": "2",
  3. "keep_event": "true",
  4. "rules": [
  5. {
  6. "type": "field>=value",
  7. "value": "7.8",
  8. "path": "$.score"
  9. }
  10. ],
  11. "message": "Looks like your pattern matched in '{{value}}'!"
  12. }

如上,在 rules 中添加一个规则,type 表示匹配规则,field>=value

  • field: 通过下面 path 从 events 匹配出来的数据,这里是 $.score,所以表示的是电影的分数;
  • value:表示下面 json 的 value 字段的值,这里为 7.8

通过简单的表达式 field>=value 来设定匹配规则:电影分数 >= 7.8分。

至此,第二个 agent 创建完毕。

你同样可以通过下面的 Dry Run 来进行测试,测试时因为有 Sources,需要你构造一些假数据作为输入来运行。

创建去重 agnet

step2_pick_high_score_movies用来把 step1_get_douban_playing_movies 中从豆瓣官网获取的电影信息进行高分的过滤(分数>=7.8)。

我们还需要创建一个去重的 agent,来避免重复给我们自己推送高分电影(因为我们现在获取的频率是每天进行获取检测,但是电影总不可能是每部电影只上映一天吧,第二天获取的时候肯定有第一天获取的数据)。

这里大家可能会有个问题,因为我们在配置第一个 agent 的时候,已经把 mode 已经设置为 on_change 了,为什么还是会有重复数据呢?因为这里的电影信息中,有诸如 分数 这类的数据,这些数据是随时可能会有变化的,虽然是同一个电影,但是分数从 8.1 上升到 8.2,那 Huginn 也会认为满足了 on_change 条件,所以会造成重复推送。所以,我们还需要单独做去重处理。

注意: 之前提到过 on_change 等设置在第一个 agent 其实用处不大,同样也是由于上面说的原因,我们也不知道同样的电影什么时候分数会发生变化,就算用了 on_change,也可能会把之前获取过的数据拿到。所以第一个 agent 的 keep_event 设置的时间比较短,因为这些 events 提供给 on_change 匹配意义不大,所以还是节省空间,设置短一点。

创建 agent,type 选择 DeDuplicationAgent,名字取为 step2_1_deduplication_high_score_movies,Sources 填写为上一个 agent 的名字,即 step2_pick_high_score_movies

注意:这里 keep_event 设置了90天,因为一旦经过我们这个 agent 去重后,events 假设保留1小时,那下一天我再去获取所有上映的电影并高分过滤后,因为昨天的数据(events)已经被清空了,所以就没办法做比较去重了,所以会导致重复数据。所以这里保存时间应该要>=电影上映的时长,所以这里设置为90天,即3个月左右。

DeDuplicationAgent 的 Options 填写就比较简单了

Huginn实现自动通过slack推送豆瓣高分电影
  • Property:填写你要去重依据的字段,我们这里根据电影名字来去重,也就是 title
  • Lookback:表示去重的时候跟之前的多少条历史 events 做比较,同一时期一起上映的电影应该不会超过100部,所以设置为100了。

创建 slack 通知的 agent

Huginn 自带有一个 SlackAgent,用来发送 slack 消息。

Huginn实现自动通过slack推送豆瓣高分电影

它使用了 incoming-webhooks 来实现消息的发送。

但是为了有更多的可玩性,我们这里选择,自己创建一个 slack app,然后通过它的 open api 实现。

因此,我们需要创建一个 PostAgent。但是在此之前我们先来配置好 Slack 环境。

配置 Slack 环境

安装 Slack:https://slack.com

创建自己的 workspace(单独创建一个自己私有的,注意不要使用公司、团队的 workspace),比如我的是 https://wangjie.slack.com

在自己私有的 workspace 中创建一个私有的 channel:#huginn-movie

Huginn实现自动通过slack推送豆瓣高分电影

这个 channel 就是用来接收高分电影的数据了,当然你也可以使用 #general

然后我们创建一个自己的 app,用来发送电影信息。进入 https://api.slack.com/

Huginn实现自动通过slack推送豆瓣高分电影

点击 Start Building

Huginn实现自动通过slack推送豆瓣高分电影
  • App Name:可以随意填写
  • Development Slack Workspace:选择你刚刚创建的私有的 workspace

在 Add features and functionality 中点击 Permissions 进入权限配置。

在 Scope 中添加如下权限:

Huginn实现自动通过slack推送豆瓣高分电影

添加完以上所有权限后,点击保存,然后重新打开 Permissions,点击下面按钮安装我们的这个 app 到 slack。

Huginn实现自动通过slack推送豆瓣高分电影

安装完毕之后,再次进入 Permissions,拷贝 OAuth Access Token

Huginn实现自动通过slack推送豆瓣高分电影

然后,我们就可以使用我们的 token 来访问 slack 的 open api 了,具体文档在这里:https://api.slack.com/web

我们需要的发送消息到 #huginn-movie channel 的接口文档:
https://api.slack.com/methods/chat.postMessage

有了 api 文档,有了 token,一切就好办了。

Huginn实现自动通过slack推送豆瓣高分电影

由上述文档,我们可以通过 post 请求,把我们要发送的电影信息封装到 attachments 参数中执行请求即可。

而且 attachments 参数可以参考文档 https://api.slack.com/docs/message-attachments 来封装信息。

Slack 环境一切就绪,接下来,回到 Huginn。

创建 Agent 发送 Slack 消息

创建 PostAgent(注意,不是 SlackAgent),取名为 step3_high_score_movies_to_slack_post。Sources 填写为 step2_1_deduplication_high_score_movies,因为这个 agent 需要把去重后的电影信息通过 slack 发送给我们。

最终的 Options 配置如下:

  1. {
  2. "post_url": "{% credential slack_huginn_url_post_message %}",
  3. "expected_receive_period_in_days": "1",
  4. "content_type": "json",
  5. "method": "post",
  6. "payload": {
  7. "channel": "huginn-movie",
  8. "username": "Douban Movie",
  9. "icon_url": "https://img3.doubanio.com/pics/douban-icons/favicon_48x48.png",
  10. "attachments": [
  11. {
  12. "fallback": "Required plain-text summary of the attachment.",
  13. "mrkdwn_in": [
  14. "text",
  15. "pretext"
  16. ],
  17. "color": "#36a64f",
  18. "pretext": "Hi~ <@{% credential slack_at_user_id %}>, There is *high score* movie.",
  19. "author_name": "{{director}}",
  20. "author_link": "{{detail_url}}",
  21. "author_icon": "",
  22. "title": "《{{title}}》",
  23. "title_link": "{{detail_url}}",
  24. "text": "*Actors*: {{actors}}",
  25. "fields": [
  26. {
  27. "title": "Score",
  28. "value": "{{score}}",
  29. "short": true
  30. },
  31. {
  32. "title": "Star",
  33. "value": "{{star}}",
  34. "short": true
  35. },
  36. {
  37. "title": "Region",
  38. "value": "{{region}}",
  39. "short": true
  40. },
  41. {
  42. "title": "Release",
  43. "value": "{{release}}",
  44. "short": true
  45. }
  46. ],
  47. "image_url": "",
  48. "thumb_url": "{{image_url}}",
  49. "footer": "Slack",
  50. "footer_icon": "https://platform.slack-edge.com/img/default_application_icon.png",
  51. "ts": "{{\"now\" | date: \"%s\"}}"
  52. }
  53. ]
  54. },
  55. "headers": {
  56. "Content-Type": "application/json",
  57. "Authorization": "{% credential slack_huginn_token %}"
  58. },
  59. "emit_events": "false",
  60. "no_merge": "false",
  61. "output_mode": "clean"
  62. }

需要注意的是:

  • {\% credential slack_huginn_url_post_message %\}:此类的表达式为 Liquid-interpolated,具体的值配置在 Credentials 中,可以理解为全局定义,在 Credentials 中配置好 key-value 之后,可以在其它地方以诸如 {\% credential key \%} 的方式来使用,这里不做过多介绍了。
  • 在消息中使用Slack 中的 @ 某人的功能时,需要拿到对应用户的 ID,可以的获取方式可以通过在 slack 中选中名字然后 Copy link 的方式拿到用户链接,用户连接的最后就是 ID。
Huginn实现自动通过slack推送豆瓣高分电影

保存该 Agent,至此,所需的所有的 Agent 都已经创建完毕了。

总结

整个 Scenario 的事件流程图如下:

Huginn实现自动通过slack推送豆瓣高分电影

Huginn 还支持公开你创建的 Scenario,提供给其它人使用,以上的代码也已经公开:

http://h.wangjiegulu.com/scenarios/8/export.json

大家可以直接下载使用,不过需要在 Credentials 中配置如下参数:

  • slack_huginn_token:你创建的 Slack App 的 OAuth Access Token,具体方式可以参考这里
  • slack_at_user_id:你需要 @ 的 slack 用户 ID,填写你自己的,拿到你 ID 的方式可以参考这里
  • slack_huginn_url_post_message:填写 https://slack.com/api/chat.postMessage 即可。

除了以上例子,Huginn 还可以完成更多奇思妙想,限制你的只有你的想象力。

http://97z9.ygf6271.cn
http://o8.g4.vfm1218.cn
http://9j.zz75.aaa4131.cn
http://4aag.guc5469.cn
http://351.tf.dcj3647.cn
http://28isa.4g6y4.utm9669.cn
http://9rr.ahg7671.cn
http://j15.lp95.nxn1651.cn
http://aee.6y44.rrq5757.cn
http://r57bp.h3.pbr1256.cn
http://dnh7n.oai3459.cn
http://8c.wy.vaj6107.cn
http://gmi.aig.xfc0942.cn
http://1351.evc2128.cn
http://80qey.am8.bwu7749.cn
http://v77.71.rmf4655.cn
http://1j5.pyq8206.cn
http://8w.mso6.sdk5229.cn
http://2m.wko.sez8143.cn
http://vn.tfn8353.cn
http://mek.uem3051.cn
http://coa20.tza5452.cn
http://kgi.omcc6.epp9269.cn
http://k8gi.2k26c.tsr7510.cn
http://nn.7pj.xhv3734.cn
http://c0a.vrc9998.cn
http://6sqo.dsf5404.cn
http://t9vlh.xjm6385.cn
http://mqa.iaz1229.cn
http://k6m8.kcv6320.cn
http://0y8y.iqg.usl0022.cn
http://rnv.abo8793.cn
http://7f.qeb9677.cn
http://x1.atx6995.cn
http://91.vlzb7.buv6436.cn
http://bbn5.lll4952.cn
http://ww2.soq.cjx5965.cn
http://2s8c.00m.otg2660.cn
http://y4y86.bmn9515.cn
http://8wuio.ewf1466.cn
http://ztl7n.cbc3788.cn
http://ismm.iqp5694.cn
http://d5.17.drr8954.cn
http://wck.blk2293.cn
http://b1.7ll.tjx3222.cn
http://2c6o.c6c.ksy2010.cn
http://hn.p9ttd.uva7574.cn
http://51nd.d9.epq3151.cn
http://oumsq.ofi3691.cn
http://qmu.o26yc.hwh7329.cn
http://dljxp.xfnzt.qta0411.cn
http://yemc.88.oni7878.cn
http://d1.xlp3436.cn
http://q0.y22u8.trm9066.cn
http://tdt9.wrq6652.cn
http://owaua.oph4016.cn
http://ic.i0s4s.eis6490.cn
http://xpx15.zzjt.xfq2422.cn
http://oqi.iaoyq.tlj5370.cn

 

 

 

原文地址:https://blog.csdn.net/kkfd1002/article/details/79823379