• Welcome to LiuJason's Blog!

Latest Page29

LiuJason'sBlog

Linux笔记

基于web界面的多语言IDE--Jupyter Notebook|支持Python R Node.js

基于web界面的多语言IDE--Jupyter Notebook|支持Python R Node.js
最近为了处理气象数据头有点大,实验室、家里、笔记本都会用到VScode+gitlab来达到无缝切换设备进行编程。然而每次都要git clone真的好累啊,虽说也就是几秒钟的事,但是真的不如Rstudio-server的体验顺滑,不管走到哪里,有浏览器我就可以学术,真的是幸福啊233333333所以去找了一下相关的基于web的IDE,其实GitLab本身就有……Continue reading »

Jason 7 years ago (2019-01-20) 1610Views 1Comments0个赞

Linux笔记

MySQL错误处理: Errcode: 24 "Too many open files" when using LOCK TABLES|大数据库备份与导出导入

MySQL错误处理: Errcode: 24
最近在构建气象数据库,数据量2000亿行,内含从1901年到现在的全球近3万站点的逐小时气象数据,有兴趣的可以去看看: https://clidb.org数据结构的设计和查询优化真的是费了我不少心思,过几天有空可以来写写心得,不过本篇的重点还是在大数据导出导入过程中遇到的坑。由于为了加速查询,我分了4个数据库、每个库3万个表,每个表12个分区,于是就出现……Continue reading »

Jason 7 years ago (2019-01-18) 1278Views 0Comments0个赞

Linux笔记

[附速度测评]使用rclone给Linux VPS挂载OneDrive并开机启动|对比NFS|SSHFS|Samba|ISCSI

[附速度测评]使用rclone给Linux VPS挂载OneDrive并开机启动|对比NFS|SSHFS|Samba|ISCSI
本文以CentOS 7为例,其他发行版本也是基本一样的。实际上rclone同时还支持Windows、MacOS、Linux(包括Debian Ubuntu CentOS等等主流发行版),而且支持的网盘和协议也非常的多,列表可以看这里:Amazon Drive、Amazon S3 、Backblaze B2 、Box 、Ceph 、DigitalOcean……Continue reading »

Jason 7 years ago (2019-01-07) 1947Views 1Comments45个赞

R语言

R语言中在表格中显示Tukey HSD事后检验的分组结果|和SPSS一样可视化ANOVA方差分析

R语言中在表格中显示Tukey HSD事后检验的分组结果|和SPSS一样可视化ANOVA方差分析
在多层次方差分析之后,我们可能需要看看到底是哪些处理组之间有显著差异,或者虽然ANOVA结果是显著的但是我们还要看看哪些处理组之间是不显著的,这种时候我们就需要TukeyHSD事后检验了。用过SPSS的人应该知道,SPSS的事后检验结果非常的人类友好——可读性很高,会把每个层次的处理告诉你,但是R自带的结果就非常不友好了...我拿同一组数据在R和SPSS里跑……Continue reading »

Jason 7 years ago (2018-12-14) 3317Views 0Comments11个赞

Linux笔记

[已解决]"checking for gdal-config... no" 安装gdal2.x——R语言中GIS包rgdal的依赖包|CentOS7为例

[已解决]
在编译R环境的时候,最讨厌的额就是一些特殊的依赖包,只能通过ssh安装,而且还经常找不到这些包或者是版本不匹配...这次的gdal 2.x就是一个例子,浪费了我很长的时间去找相关的安装方法,这里记一下笔记,下次碰到了的话就方便了。这里还是强烈建议,安装各种包之前看一看包的介绍:packages/rgdal。 有很明确的说明需要什么样子的环境:for bu……Continue reading »

Jason 7 years ago (2018-12-07) 1917Views 1Comments0个赞

Linux笔记

如何在CentOS上使用cgroup限制CPU|内存|IO等资源--CentOS 6/7/RHEL适用

如何在CentOS上使用cgroup限制CPU|内存|IO等资源--CentOS 6/7/RHEL适用
自己留存备忘,翻译自:How To Limit Resources Using cgroups on CentOS 6介绍控制组或cgroup是CentOS 6中引入的内核功能,它提供了一种限制进程对系统资源的访问的新方法。您可以创建自己的cgroup,监视您配置的cgroup,拒绝cgroup访问某些资源,甚至可以在正在运行的系统上动态重新配置cgro……Continue reading »

Jason 7 years ago (2018-12-04) 1970Views 0Comments0个赞

Linux笔记

Linux下使用cgroup来限制用户CPU占用|CentOS为例

Linux下使用cgroup来限制用户CPU占用|CentOS为例
更新:别看这一篇了,看这个吧 → https://www.liujason.com/article/141.html自从买了Virmach家的黑五特价VPS之后,心里就忐忑不安的,生怕因为过度使用CPU被封停账户。这个5G内存2CPU的机器用来跑R+GitLab其实CPU还是挺吃紧的,而且有长期50%CPU占用的限制在这里:15分钟连续超过95%或2小时平……Continue reading »

Jason 7 years ago (2018-12-04) 1470Views 0Comments0个赞