大数据 ( 全部 )

2014-05-02 13:26:51
3.data.table的基本用法 dt[i, j]: 如果i不是一个data.table,执行的是类似data.frame的行的子集索引; 如果i是一个data.table,就把i和dt的key进行连接(join),效果相当于插入; j可以是一个单独的列名,列名的表达式,或者列名表达式的列表,函数引用。 iris.dt <- data.table(iris) iris.dt[, plot(Sepal.Len...... (3回应)
2014-05-01 22:21:05
R packages for big data:data.table data.table可以看作是对大家熟悉的R数据格式data.frame的功能的扩展和增强。使用data.table可以对数据集进行快速的索引、指派、按组快速的连接、修正和删除列,以及对大型数据集的快速聚合(e.g. 100GB in RAM[1])。 使用data.table对大型数据集进行处理可以大大加快编程速度和计算...... (1回应)

数据铺子的日记 ( 全部 )

2013-08-02 17:21:16
Box-Cox变换 Box-Cox变换是统计建模中常用的一种数据变换,用于连续的响应变量不满足正态分布的情况。比如在使用线性回归的时候,由于残差 \epsilon 不符合正态分布而不满足建模的条件,这时候要对响应变量Y进行变换,把数据变成正态的。 变换的形式是 f(x,λ)={(xλ−1)/λlog(x) if lambda≠0 if lambda=0 关于Box-C...... (9回应)
2013-06-22 14:12:28
> # 7 Dickey-Fuller Test > # Null hypothesis: > # There is a unit root. 单位根存在 > install.packages("urca") > library(urca) > args(ur.df) function (y, type = c("none", "drift", "trend"), lags = 1, selectlags = c("Fixed", &...... (7回应)
2013-06-22 14:08:34
> # 4 Durbin-Watson Test > > # Null hypothesis: > # The autocorrelation of the disturbance is 0. 干扰的自相关为0 > install.packages("car") > library(car) > args(durbinWatsonTest) # dwt is an abbreviation for durbinWatsonTest dwt是durbinWatsonTest的简称。 function (m......
2013-06-22 14:07:39
> # 4 Durbin-Watson Test > > # Null hypothesis: > # The autocorrelation of the disturbance is 0. 干扰的自相关为0 > install.packages("car") > library(car) > args(durbinWatsonTest) # dwt is an abbreviation for durbinWatsonTest dwt是durbinWatsonTest的简称。 function (m......
2013-06-07 04:04:23
先PS一个: 考虑到这次的题目本身的特点 尝试下把说明性内容都直接作为备注写在语句中 另外用于说明的部分例子参考了我的教授Guy Yollin在Financial Data Analysis and Modeling with R这门课课件上的例子 部分参考了相关package的帮助文档中的例子 下面正题 - 戌 > # Assume the predetermined significance level...... (3回应)
2013-03-22 14:40:13
又有些时候,geek们(我不在此列)认为他们需要做些高端的事情在智商平均水平的人类们(我在此列)前面显示其优越性,因此他们的plotcorr()函数还可以通过计算如下检验统计量给出样本相关系数的重要性。 Sometimes, geeks (not me) think they have to do something advanced to distinguish them from people with averag...... (7回应)
2013-03-22 14:35:29
作为一个开源软件,R常常通过在人们厌烦了使用某个特定函数的时候提供一些代替函数来表现其友好性。例如,如果你再也不想在画相关性分析图时输入p-l-o-t这几个字母了,欢迎你输入s-p-l-o-m,当然在此之前你需要下载好lattice包并将其载入库内。 As open source software, R behaves quite friendly that it commonly gives...... (2回应)
2013-03-22 14:16:17
没有前情的前情提要: 承蒙船长大人提携 有机会在小站写些跟量化有关的短文 内容预测是对正在上的研究生课程的总结笔记 借以巩固所学知识并练习英文写作 风格估计会捉摸不定 还请多多指教! - 戌 How to Draw Informative and Decent Pair Plots in R 为便于说明,我以Ecdat包中的Capm数据为例。Capm的前三行数据如下......

统计 ( 全部 )

2013-12-03 21:51:57
#####关于环境的一些基本知识 1.什么是环境 环境(environment)是R编程中与函数和变量作用域(scope)相联系的一个基本概念,是表示更强的作用域的一种数据结构。所有的变量都储存在环境当中,环境本身也是一种变量:可以指派,可以操作,也可以作为参数传递给函数。 通常,无需明确地处理环境。在指派一个变量的时候,......
2013-12-01 12:47:57
#####开一个新的系列。关于R的一些笔记,就是遇到过的一些问题的简单整理。可能很基本,也可能没什么大的用处,作为一个记录而已。 --------------------------------------------------------------------------- R笔记(1):formula和Formula 1.基本的R公式对象formula 在R当中,公式fomula是一个把响应变量(在~左侧...... (4回应)
2013-08-15 21:18:21
Markov chain Monte Carlo (MCMC)方法最早的实现是Linux下的BUGS,主要是用于Bayesian models涉及的统计计算(1989年),后来移植到Windows下发展成为WinBUGS,并终止了在Linux下的研发。它并不是开源的,于是芬兰的Helsinki大学搞了一个开源的OpenBUGS,法国人Martyn Plummer研发了个开源的JAGS。 JAGS,全称是Just anoth......
2013-08-09 23:22:07
1.从贝叶斯定理到贝叶斯统计推断 (1)贝叶斯统计简史 贝叶斯统计缘起于托马斯.贝叶斯(1702-1761),一位英国长老会牧师和业余数学家。在他去世后发表的论文“论有关机遇问题的求解”中, 贝叶斯定理的现代形式实际上归因于拉普拉斯(1812)。拉普拉斯重新发现了贝叶斯定理,并把它用来解决天体力学、医学甚至法学的问题...... (3回应)
2013-08-01 23:05:10
可重复的研究也是个很有前途的方向。 http://cran.r-project.org/web/views/ReproducibleResearch.html 根据这个http://rapporter.github.io/pander/#installation 做的笔记 1.pander包是什么 pander这个包提供了一系列的函数可以从多个类型的R对象自动地返回Pandoc's markdown 。这个包就是用R操作的pandoc。 也可以按......
2013-07-31 23:03:39
#####一份草稿 贝叶斯计算基础 一、从MC、MC到MCMC 斯坦福统计学教授Persi Diaconis是一位传奇式的人物。Diaconis14岁就成了一名魔术师,为了看懂数学家Feller的概率论著作,24岁时进入大学读书。他向《科学美国人》投稿介绍他的洗牌方法,在《科学美国人》上常年开设数学游戏专栏的著名数学科普作家马丁•加德纳给他写...... (9回应)
2013-07-19 19:26:40
stargazer 这个名字很炫的包是用来生成统计模型摘要的latex代码的。这样把生成的代码放到latex里边编译,就可以生成出版级的效果(显然这针对的是R输出的苍白无力)。 library(stargazer) prostate <- read.csv("E:/RB/prostate.csv") # 生成prostate的摘要 stargazer(prostate) ## \begin{table}[!htbp] \c...... (3回应)
2013-06-29 18:33:40
关于Lasso回归的一 个例子 #给一位朋友做的例子。 Lasso,套索。一种变量选择方法,使用罚约束来筛掉拟合模型中的系数。 可参考统计学习巨著ESL第2版(ESL这本书的主线可以说就是线性模型加罚约束)。 这个例子来自吴喜之老师《复杂数据统计方法》p29。第一种方案采用lars包(吴老师书里的方法,细节略有修正)。这个包...... (7回应)
2013-06-02 22:22:35
####贝叶斯集锦这个系列目的是想收集一些使用R的贝叶斯统计案例 ####没什么系统性也没啥方法介绍,大家见谅。 MCMCpack包的一个例子:贝叶斯线性回归 从1960年代贝叶斯统计学派复兴到今天贝叶斯统计的广泛运用,MCMC方法起到了极重要的作用。作为一种计算手段,MCMC以模拟的方法解决了贝叶斯方法中后验分布的计算...... (4回应)
2013-05-24 23:50:25
贝叶斯派和频率派:一个例子 这个例子的主要目的在于探讨贝叶斯派和频率派适用的具体情境。 (1)作为统计学的两大门派。贝叶斯派和频率派理念有别,方法也各异。但是撇开哲学层面的争论,从解决问题的角度来说,对于正确的问题采用正确的方法,才是运用之道。 一个来自初等概率论的例子。 在关于药物D的临床实验中,将背...... (6回应)
6人
数据铺子
something about data . 包括但不止于以下内容:统计,数据挖掘,统计学习,信息可视化,量化交易。

关注该小站的成员 ( 5142 )

  • 不负
  • shefer
  • 独自等待
  • 鲁小七
  • GY!BE
  • 蓝色忧郁
  • 雨霁天晴
  • LYLtim

关注该小站的成员也关注