呓语 | 杨英明的个人博客

专注于c++、Python,欢迎交流

By

[顶] 大数据报告:知乎百万用户分析

最近用 python 爬虫抓取了知乎用户个人信息(公开信息),去重之后有300+万用户信息(公开信息),为了得到这些数据,还不小心跑崩了一台服务器…… 当然主要是配置太低。

手头有了数据也不能闲着,于是就有了这篇分析报告,这篇报告做了一些浅显的数据分析,主要目的是练练手,大家看个热闹,高手勿笑。

数据量:3,289,329 人。

数据采集工具:分布式 python 爬虫

分析工具:ElasticSearch + Kibana

分析角度包括:地理位置、男女比例、各类排名、所在高校、活跃程度等。

By

使用 APlayer && MetingJS 在博文中优雅的嵌入音频

在上一篇文章 利用 DPlayer+七牛云 在博文中优雅的嵌入视频(基于Django博客) 中,我们使用 DIYGod 大佬的 DPlayer 组件成功将视频嵌入到我们的博文中。

本篇文章使用大佬的另一个开源项目 APlayer 以及 metowolf 的 MetingJS 插件,在博文中嵌入音乐播放组件。

废话不多说,效果如下(我的网易云歌单):

By

使用 DPlayer && 七牛云 在博文中优雅的嵌入视频(基于Django博客)

最近逛博客的时候看到他们在博文中嵌入了视频,播放器无边框、设计简洁、甚至还有弹幕功能,十分好看优雅。分享几个博主的页面:

其实在这之前我还使用过bilibili自带的播放脚本,在视频页面点击分享可以找到,复制到博文中就可以出现一个播放器,点击就可以播放视频,但是这个播放器带B站的广告,还有很多零零碎碎的东西,总之不够简洁。

查看这几个博主的页面才发现他们用的是一款web播放器————DPlayer,是前端大佬 DIYGod 的开源项目。

项目地址:MoePlayer/DPlayer

文档地址:中文文档

看到 DPlayer 简洁的界面和弹幕功能后我简直如获至宝,这就是我心中的理想web播放器呀!

By

ISSO 评论系统部署攻略

自从多说关闭服务,这一年多来一直没找到合适的评论系统,之前多说关闭前保存的历史评论数据都快凉透了,于是干脆自己搭建评论系统,好在找到一个还不错的开源评论系统——ISSO。

下面是部署 ISSO 的过程。

By

【2018秋招笔试】2018.9.20 小米 测试工程师

前段时间在做数学建模比赛,所以前几天也没时间帮对象做笔试题。

比赛刚告一段落,今天晚上就出现了两个笔试题,还冲突了。

对象做完一个才想起来小米的也是今晚笔试,好在还有四十分钟结束,于是继续转战小米的笔试题,飞快的昨晚单选题和多选题,只剩十分钟时间做编程题。

编程题有两道,打眼一看应该都能用搜索解决,第一题比较典型,很快解决AC,做第二题的时候还有一分钟,没搞定0%。

By

【2018秋招笔试】2018.9.7 哔哩哔哩 算法工程师

哔哩哔哩笔试题很实在,直接出了三道编程题。

题目不是太难,一道简单dp,两道模拟题,全部AC。

By

【2018秋招笔试】2018.9.6 美团 算法工程师

美团的算法工程师题型有选择题和编程题,2道编程题过了一道半。

By

【2018秋招笔试】2018.9.7 阿里巴巴 测试工程师

阿里的测试选择题出了不少数学题,概率论,组合数学,比较难,不愧是大厂。

编程题有两道,过了一道半。

By

【2018秋招笔试】2018.9.9 第四范式 图像应用工程师

第四范式对象投的 图像应用工程师,90分钟,选择题30道,编程题2道。

选择题做的一般,编程题全部AC。

By

【2018秋招笔试】2018.9.9 字节跳动 算法工程师

字节跳动出了5道编程题,可以说非常实在了……

2个小时,一共过了3道半。第四题的题目描述没看懂,和测试样例对不上……

By

【2018秋招笔试】2018.9.12 华为笔试

华为笔试比较实在,三道编程题,一道200分,2个小时。

题目不难,两道模拟题,一道大数乘法,20分钟全部AC。

By

使用 TensorFlow 搭建神经网络预测泰坦尼克号乘客生存率(Kaggle => Titanic: Machine Learning from Disaster)

By

hexo-theme-freemind.386 主题设置图片居中

Hexo 是一款轻量级的博客框架,可以很轻松的生成静态网站,常用于搭配 gitpage 搭建博客。

而 hexo-theme-freemind.386 是 Hexo 的一款主题,github 主页见:blackshow/hexo-theme-freemind.386

本博客便采用了 Hexo 的 hexo-theme-freemind.386 主题搭建。

By

ElasticSearch + Kibana 安装配置(CentOS)

部署环境:CentOS 7 64bit

使用组件:ElasticSearch 5.4、Kibana 5.4

实例描述:在一台服务器上搭建 ElasticSearch + Kibana,并使内网可访问,假设服务器地址为 172.16.4.44 。搭建好之后,同一内网中的机器都可以访问这个地址进入 Kibana 查看 ElasticSearch 中的数据。

组件下载:ElasticSearch 5.4Kibana 5.4 均采用原生版本

注意:ElasticSearch 需要 java8 以上环境,这里假设你已经安装好。

By

解决 VPS 经 SS 访问 Google Schoolar 受限的问题(补充)

本文主要解决通过 ss 访问 谷歌学术,报如下错误的问题:

提示信息为:

We're sorry... but your computer or network may be sending automated queries. To protect our users, we can't process your request right now.

网上找到一篇文章可以基本解决这个问题:解决VPS经SS访问Google Schoolar受限,但是我在尝试的过程中发现有些坑还是花费了不少时间,下面针对这些坑对上文进行补充性的建议。

By

使用 Frp 进行内网穿透(在外网用 ssh 登录校园网中的服务器)

最近想在外网用 ssh 登录内网(校园网)的服务器,以便在外网也能跑跑实验什么的,于是研究了一下常用的内网穿透工具,下面分享下我的心得。

首先介绍一下 内网穿透解决的痛点,比如导师在你们实验室买了一台高配服务器,装配有高端显卡,可以用来跑深度学习模型,你在实验室玩的很开心。但是到了暑假你不得不离开实验室,回到家里的外网没法访问处于实验室内网的服务器,vpn也没法用!这怎么办呢,这个时候可以用内网穿透工具来解决这个问题啦!

部署的思路 是把内网穿透工具的客户端部署在内网服务器中,然后在有独立域名的 VPS 中部署内网穿透工具的服务端,然后你在外网的随便一台机器上用 ssh 登录你的 VPS 的 IP 和配置好的端口,便可以登录内网的服务器啦!

其实 原理 就是把 VPS 当做一个“桥”,和内网的操作全部通过互联网和这个“桥”连通,这样便打穿了内网和外网的界限。

By

Django 自定义装饰器进行登录访问限制

我们在设计网站用户系统的时候,往往需要进行登录访问限制,比如说用户还没有登录的时候,有些网页是不能访问的。

最简单粗暴的办法是,在每个页面的函数最开始加一个 登录验证函数,检查当前用户登录状态:如果已经登陆过,那么继续往下执行;如果用户还没登录,对不起,出门左转到登录页。

在 python 中有个优雅的解决办法——使用 装饰器。Django 中有提供使用装饰器进行登录访问限制的方法,详情可见 django实现用户登陆访问限制@login_required,如果对自己实现这套机制感兴趣的童靴,可以继续往下看。

By

一个 mui 底部选择卡切换的简化实现方案

网上有不少底部选择卡切换的解决方案,看了官方的和网上的资料之后做了一些简化。

顶部 和 底部选择卡:

By

Prolog 练习和笔记

Prolog 是一种主要用于人工智能领域的编程语言,编程体验和自然语言较为接近。

前段时间接触了一下,下面记录一下学习的笔记,主要是一个 prolog 和 C++ 混合编程的例子。

我把示例代码放到了 GitHub 上,链接在这里:windcode/prolog-demo

另外还有官方文档的链接:官方文档

By

如何配置 Sublime Text 3 的 Python 编程环境

用 IDLE 写 python 习惯了,还是发现它有些简陋,于是准备转向 Sublime 的怀抱。(我比较喜欢轻量级的 IDE)

为了方便用 Sublime 写 python 代码,我搜集了网上的一些资料,选出了常用 Python 编程的3个插件,整理出一篇轻量级的配置教程。

By

记录一次服务器重新部署的经历(网站、gogs和一些脚本)

前段时间由于手贱在服务器上跑爬虫,开了100个进程,内存和cpu双双达到极限值,第二天起来一看,性能曲线赛高,使用 putty 和网页版 ssh 登录服务器,被拒之门外。于是重启服务器,然后发现启动报错,找阿里云售后工程师,说部分关键文件丢失,这种情况无法正常启动,建议恢复快照…… 无奈,依次尝试恢复快照,结果发现只有一月份的快照是正常的…… 这意味着我没法把系统直接恢复到最近的正常状态,一些服务和程序需要我重新搭建一遍。

心情崩溃…… 好在网站有 自动备份,阿里云也可以 从快照创建磁盘 ,这说明数据没有丢失,不幸中的万幸,然后只要花时间把服务和程序重新搭建起来就可以恢复之前的状态了。