-
用Java程序来判断两个文件夹中的重复文件并删除
用Java程序来判断两个文件夹中的重复文件并删除今天把旧电脑的硬盘里面的音乐文件拷贝到新机器中，发现很多歌曲是重复的，但是又不是统一放置于一个文件夹最外层，而是有的按照歌手名称分类，有的是放外层，无法直接拷贝覆盖，又心疼存储，所以就想写一个程序来把我进行去重吧！！！1.文件去重package cn.zju.ZhXiQi;import java.io.BufferedReader;import java.io.File;import java.io.IOException;import ja...…
-
利用Hibernate+JPA的多条件查询功能形式通用工具类
利用Hibernate+JPA的多条件查询功能形式通用工具类Hibernate+JPA框架已经帮我们封装好了一套多条件查询功能，但是在工作的时候发现还是有不少小伙伴还是使用dao手动拼接SQL的方式来进行多条件动态查询，这样导致查询语句看起来很不雅观，所以为了更加雅观，增加代码可读性，我将这个多条件及分页查询写成了一个通用的工具类方法（会不会有歧义？工具类涉及业务？但是也是通用的），talk is cheap，show me the code！！！！1.主角多条件查询工具类package ...…
-
NGINX实现RTMP直播流并录制回放文件
NGINX实现RTMP直播流并录制回放文件利用nginx添加RTMP进行实时流数据传输，需要为nginx添加rtmp模块，所以需要将nginx添加此模块后进行编译1.重新编译nginx停止原来的nginx：nginx -s stop进入到一开始编译安装nginx的安装包路径，并将 nginx-rtmp-module 下载到nginx编译安装路径同级目录下进入到nginx安装路径: cd nginx-1.12.1使用 ./configure --add-module=../nginx-rtm...…
-
swagger导出markdown等文档笔记
需求之前开发项目的时候，没有使用swagger来进行接口文档输出，导致开发完成的时候整理文档时，面对整个项目的接口，感觉到量多且都是无聊的重复劳动，所以干脆直接添加swagger，然后从swagger中直接生成接口文档。当然，如果想要输出的文档内容全一些，需要swagger中添加的注解也全一些才行。实现想要使用swagger，并能够导出文档，需要在pom文件中添加以下依赖，导出文档使用的是GitHub上的一个swagger2markup项目：<properties> <...…
-
记一次MacBook Pro 2018款睡眠唤醒屏幕无法点亮（睡死）引发的日志分析
症状自从用上了MacBook设备，就没有了关机的习惯，所以每次用完都是直接盖屏，本来一直都是相安无事的，直到有几次出现打开盖子发现屏幕无法点亮，外接显示器发现所有的屏幕都在外屏中，MacBook Pro的内屏相当于丢失一样，只有关机重新启动，有时候甚至连外屏都没有数据显示，这种时候只能强制关机并重启，虽然用了快半年的设备，这种情况只出现过两三次，但是在昨天盒盖后，第二天醒来发现键盘灯亮了，但是屏幕没有点亮，这时候我就想看看系统日志是否能有所发现，于是就再次强制关机重启，找出mac系统的系统...…
-
iText+Freemarker动态生成PDF模板
iText+Freemarker动态生成PDF模板本次分享主要包含三个部分：iText部分、freemarker模板部分以及JFreeChart绘制图标部分1、iText：iText是著名的开放源码的站点sourceforge一个项目，是用于生成PDF文档的一个java类库。通过iText不仅可以生成PDF或rtf的文档，而且可以将XML、Html等文件转化为PDF文件。 iText的安装非常方便，下载iText.jar文件后，只需要在系统的CLASSPATH中加入iText.jar的路径...…
-
TF-IDF初探
前言 首先，为什么会有这篇学习记录呢？因为之前的聚类分析使用这种方式去聚类是比较好的一种方式，但是当时没有用，所以现在来了解一下这个算法。网络上其实不乏好的TF-IDF算法入门博客，这里也只是记录下我所了解到的知识。基本概念 TF-IDF(Term Frequency-Inverse Document Frequency，词频-逆文件频率)算法是很常见的一种入门级机器学习算法，是属于自然语言处理中的一类。是一种用于查询信息与信息归类的一种使用比较频繁的加权技术。TF-IDF是一种统计方法...…
-
大数据基础平台及其框架
前言 通过了这一段时间的学习，趁着新的一年，整理了一下自己的学习笔记以及理解，将这些内容发到自己的博客上，希望能对新入门的同学有所帮助，也希望有老司机能够指出理解不到位的地方，帮助我们我以及其他新司机一起不断进步。Hadoop基础首先说下Hadoop的特点： 扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。 高效...…
-
Echar数据可视化
比较简单，且数据也是直接以JSON格式写死的，所以直接展示代码和结果：GDP数据可视化先上效果图：代码如下：<!DOCTYPE html><html style="height: 100%"> <head> <meta charset="utf-8"> <meta http-equiv="Content-Security-Policy" content="upgrade-insecure-requests">...…
-
Kafka小记
前言 这个博文只是记录一下在学习过程中遇到的一些小知识或小坑，并不是系统的教程，会不断的更新内容，大佬就请直接绕过！！/手动笑哭 </br>Kafka基础指令 启动服务 ./bin/zookeeper-server-start.sh ./config/zookeeper.properties(开启Kafka自带的zookeeper)新开一个控制台： ./bin/kafka-server-start.sh ./config/server.propertie...…
-
Gephi数据可视化
Python分析《冰与火之歌》 本次数据爬取的是小说《冰与火之歌》，代码方面采用Python语言对小说进行文本获取。使用了python的jieba分词和wordcloud实现。jieba分词，最好用的开源中文分词工具，他最主要的两个功能是分词和关键词的抽取，在我们这次的任务中，我们使用了关键词抽取的功能，用他的分词功能来提取文本中的人名。在数据可视化方面，采用gephi，我们把数据处理成gephi可接受的csv格式，然后进行绘制可视化图形。冰与火之歌网络图分析一、代码原理 这个代码的实...…
-
Sogou数据分析二
二、使用hive对数据进行统计分析 对于数据的扩展和清理工作，我是直接使用Java语言来处理，主要的代码逻辑如下：首先将元数据中的时间字段拆分出年、月、日、小时字段，并合并到元数据对应行的末尾，写入到新的文件中，然后调用清理数据的程序对扩展字段的文件进行数据检查，如果有需要清理的数据则舍弃，否则将数据写入到新的文件中。具体代码如下：ExtData.java 扩展字段代码：package edu.zju.bigData;import java.io.BufferedReader;impor...…
-
Sogou数据分析一
一、基于Java的map-reduce聚类算法 本次实现的简单的聚类算法，主要思想是：也是仿照K-means算法，这里的做法是提取用户点击的URL中的关键部分，比如“http://www.baidu.com”，提取出“baidu”这个关键部分作为聚类算法的关键依据，然后选出这么多搜索记录中点击数量大于20次的URL关键部分，用它和用户的UID形成一个矩阵，然后利用“余弦相似性”，来判断是否属于一个聚类。可以通过两个向量之间夹角的余弦值来判断谁和谁离的近，夹角越小，即余弦值越大，代表越相似...…
-
MapReduce小记
前言 这个博文只是记录一下在学习过程中遇到的一些小知识和小坑，并不是系统的教程，会不断的更新内容，大佬就请直接绕过！！/手动笑哭 </br>初识MapReduce MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题，其解决海量数据的计算的思想是“分而治之”。 Hadoop分布式文件系统框架基于主从关系，一个名称结点和多个数据节点。主节点：namenode; 从节点，有很多个：datanode,其中： namenode负责...…
-
Git 学习笔记二
一、Git学习笔记二就不写什么教程之类的了，这次主要是记录一下学习过程中碰到的一些指令，以便于以后查看。在需要团队合作的时候，可以使用GitHub的组织，创建组织->创建仓库->创建分支->创建团队->邀请队友 巴拉巴拉。其他不多说，创建组织就说一点，邀请队友后，对方会收到邀请加入组织的邮件，所以叫小伙伴赶紧去检查GitHub上所使用的邮件吧。二、Git修改远程仓库地址1.在Git Bash上用命令修改修改命令：$ git remote set-url origi...…
-
Makedown常用语法
Makedown原理：新出的一个文档语言，使用性比较强从后台解释语言到html。下面是代码标题通过‘#’个数 区分h1-6（标题大小）# This is an <h1> tag## This is an <h2> tag###### This is an <h6> tag效果：h1>tagh2>tagh6> tag第二种写法：Hello {#id}---# Hello {#id}# Hello # {#id}效果Hello #标题Hel...…
-
Git 学习笔记
写这个blog的由来其实很早以前就想搞一个blog之类的东西，但是想了想好像搞来也不知道该写些什么内容（应该说是我文笔不好，不会写这种文字的东西），所以就一直没有实现，这次是实在想弄一个blog，所以就先搞一个再说吧，至于写什么内容就等以后有想法了再写也行，所以就查资料先搞了一个简单的blog，用的是Github Pages，毕竟免费。当然，在看了朋友blog的内容后，我突然想到，我可以写上我学习的笔记啊（之前我都学习笔记都是记录在OneNote上的），比如这次的 Git的一些使用，所以就...…
