简单的一言爬虫

原创
admin

前言

介绍一个比较好玩的api 一言hitokoto

看着这么多数据就想把他们都扒下来康康ヾ(≧∇≦*)ゝ

放网站页脚还挺好看的。↓

<script>
      var xhr = new XMLHttpRequest();
  xhr.open('get', 'https://v1.hitokoto.cn/');
  xhr.onreadystatechange = function () {
    if (xhr.readyState === 4) {
      var data = JSON.parse(xhr.responseText);//获得字符串形式的响应数据。
      var hitokoto = document.getElementById('hitokoto');
      var fromm=document.getElementById("from")
      fromm.innerText=data.from;
      hitokoto.innerText = data.hitokoto;
    }
  }
  xhr.send();
    </script>
<p class="mdui-col-md-4">
<span id="hitokoto">一言</span> ——<span id="from"></span>
</p>

大概看了下返回的句子质量还挺高据官网说句子数目有2425条
官方介绍:动漫也好、小说也好、网络也好,不论在哪里,我们总会看到有那么一两个句子能穿透你的心。我们把这些句子汇聚起来,形成一言网络,以传递更多的感动。如果可以,我们希望我们没有停止服务的那一天。


请求地址 请求方式 说明
https://v1.hitokoto.cn/ GET/POST 1、已启用 HSTS, 并已加入 HSTS Preload List 计划
2、站点QPS限制:10,超过有可能会被屏蔽
3、线路:大陆+海外
https://international.v1.hitokoto.cn/ GET/POST 1、已启用 HSTS, 并已加入 HSTS Preload List 计划
2、站点QPS限制:25,超过有可能会被屏蔽
3、线路:海外

然后就是采集数据了

我是用java随便写的访问频率不能太快不然要屏蔽。

  1. 分析返回的json数据

有四个字段
id:文字id
hitokoto:文字正文
from:来源
createdt:创建者
created_at:创建者id

下面只需要在数据库创建一个表存储就行了

在服务器上用php写了个接受数据存储到mysql的然后按id过滤下就差不多了

简单的一言爬虫

最后配合图片通过页面显示出来就差不多了

最终效果戳我查看大概有2411条

爬取的json文件test.json爬取的sql备份test.sql

简单的一言爬虫

版权协议须知!

本篇文章来源于 网络转载 ,如本文章侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意

1156 2 2019-11-27


分享:
爬取bilibili的番剧

本次测试为java环境1.通过浏览器抓包得到apihttp...

阅读全文
icon_mrgreen.gificon_neutral.gificon_twisted.gificon_arrow.gificon_eek.gificon_smile.gificon_confused.gificon_cool.gificon_evil.gificon_biggrin.gificon_idea.gificon_redface.gificon_razz.gificon_rolleyes.gificon_wink.gificon_cry.gificon_surprised.gificon_lol.gificon_mad.gificon_sad.gificon_exclaim.gificon_question.gif

2条评论

    今日新鲜事 Chrome Windows 7

    文章不错支持一下吧

    访客 二级 2020-03-08 22:54 回复

    林唯心❤️ QQ Android

    随便写的哈哈哈

    访客 二级 2019-12-11 15:41 回复

萌ICP备20201111号
  • 默认
  • 护眼
  • 夜晚
  • 壁纸
  • 默认