Borg's Blog

Live as if you were to die tomorrow. Learn as if you were to live forever.

Regularization(Ridged Regression) & Cross Validation

Note: ml regression week4

Regularization 上周已经讲了overfitting，那么当我们所有的数据量特别大的时候，即使有很多个特征模型也很难overfit。当模型overfit的时候，weights会变得很大，因此如果各个特征都很重要不可去除，可以通过减小weights来减弱overfitting的程度。那么如何衡量w是否过大？可以用w的绝对值相加或者用w的平方相加，注意不能直接把w相加，因为w可...

Posted by Borg on April 15, 2016

评估模型

Note: ml regression week3

如何评估一个回归模型 loss function 首先定义loss function，即预测错误带来的损失，通常使用y-yhat的绝对值或者平方。但不绝对，比如在预测放假时如果估值过高，则可能完全卖不出去，带来的损失更大，因此可以定义loss function使估值过高带来的loss比估值过低带来的loss更大。然后看到一句很有意思的话： training error, gene...

Posted by Borg on April 10, 2016

折线回归模型

Note: data science regression

对于以下这样的数据应该如何用回归模型来预测呢？ x <- -5:5 y <- c(5.12, 3.93, 2.67, 1.87, 0.52, 0.08, 0.93, 2.05, 2.54, 3.87, 4.97) plot(x,y) 模型代码如下： knots<-c(0) splineTerms<-sapply(knots,function(knot) (...

Posted by Borg on April 2, 2016

多变量回归模型

Note: ml regression week2

Coursera 华盛顿大学机器学习系列课程回归分析第二周那么这门课讲的其实还蛮简单的，主要关注如何得到w，所以都在搞gradient descent。John Hopkins的数据科学课程就难多了= =。传送们有道好方便，懒得搬啦。。。

Posted by Borg on April 1, 2016

简单回归模型

Note: ml regression week1

Coursera 华盛顿大学机器学习系列课程回归分析第一周传送们有道好方便，懒得搬啦。。。

Posted by Borg on April 1, 2016

Unix/Linux 扫盲笔记

不适合人类阅读，非常水的自我笔记

This document is not completed and will be updated anytime. Unix Unix is a family of multitasking, multiuser computer OS. Derive from the original AT&T Unix, Developed in the 1970s a...

Posted by Hux on April 14, 2015

Hello 2015

"Hello World, Hello Blog"

“Yeah It’s on. ” 前言 Hux 的 Blog 就这么开通了。跳过废话，直接看技术实现 2015 年，Hux 总算有个地方可以好好写点东西了。作为一个程序员， Blog 这种轮子要是挂在大众博客程序上就太没意思了。一是觉得大部分 Blog 服务都太丑，二是觉得不能随便定制不好玩。之前因为太懒没有折腾，结果就一直连个写 Blog 的地儿都没有。在玩了一...

Posted by Hux on January 29, 2015