ITeye博客

fuliang

fuliang · 共 405 篇文章

[置顶] 开源软件/代码链接合集

定向抓取/抽取: http://www.scrapy.org 流式处理工具: 收集计算 https://github.com/nathanmarz/storm 流数据统计 https://sites.google.com/site/countminsketch/ 中文处理: 简繁转换cconv: http://code.google.com/p/cconv/ 汉字转拼音pinyin4j: http://pinyin4j.sourceforge.net/ 字符串匹配: ahocorasick python实现 ahocorasick: https://hkn.eecs.berkeley.edu…

2012-04-08 22:46 · Open Source Tool · 评论(0)

[置顶] paper and book阅读

我微博每周读论文列表 #每周读论文# 1、 Parameter estimation for text analysis 很好的介绍了参数估计的方法:最大似然、最大后验、贝叶斯估计,以及以LDA为例的文本参数估计方法以及Gibbs sampling实现。 #每周读论文# 2、 A 250-year argument:belife, behavior, and the bootstrap ,今年贝叶斯法则250周年,斯坦福Brad Efron大师的对贝叶斯派和频率派反思,从ML到MAP到贝叶斯方法到经验贝叶斯娓娓道来,反思了贝叶斯派和频率派argue的主要的地方以及有缺点, 以及从bootst…

2011-06-28 23:19 · Machine Learning · 评论(0)

Tutorials on topics in machine learning

Assessing and Comparing Classification Algorithms Cross Validation Andrew Moore The Many Faces of ROC Analysis in Machine Learning Peter A. Flach, ICML'04 Classification Decision trees Andrew Moore Tutorial on Practical Prediction Theory for Classification John Langford, JMLR'05 Tutorial on Fusion …

2014-03-20 22:19 · 评论(0)

LingPipe White Papers

The following white papers discuss some of the mathematics and bakeoff evaluations of some of the LingPipe modules. Carpenter, Bob. 2011. Sampling, Modeling and Measurement Error in Inference from Clinical Text . Invited talk at ICML 2011 Workshop on Learning from Unstructured Clinical Text. Carpen…

2013-09-16 17:45 · 评论(0)

Standord NLP组整理的NLP工具、资源列表

Statistical natural language processing and corpus-based computational linguistics: An annotated list of resources Contents Tools : Machine Translation , POS Taggers , NP chunking , Sequence models , Parsers , Semantic Parsers/SRL , NER , Coreference , Language models , Concordances , Summarization…

2013-06-11 20:32 · NLP · 评论(0)

一些机器学习公开课

Big Data, Large Scale Machine Learning: http://cilvr.cs.nyu.edu/doku.php?id=courses:bigdata:start 3rd Lisbon Machine Learning School: http://lxmls.it.pt/2013/ Unsupervised Feature Learning and Deep Learning Andrew Ng http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=ufldl Machine L…

2013-04-21 19:32 · 评论(1)

[zz]推荐系统-从入门到精通

为了方便大家从理论到实践,从入门到精通,循序渐进系统地理解和掌握推荐系统相关知识。特做了个读物清单。大家可以按此表阅读,也欢迎提出意见和指出未标明的经典文献以丰富各学科需求(为避免初学者疲于奔命,每个方向只推荐几篇经典文献)。 中文综述(了解概念-入门篇) a) 个性化推荐系统的研究进展 b) 个性化推荐系统评价方法综述 英文综述(了解概念-进阶篇) a) 2004ACMTois-Evaluating collaborative filtering recommender systems b) 2004ACMTois -Introduction to Recommender Systems …

2013-04-20 14:38 · Data/Web Mining · Machine Learning · 评论(0)

2012年读的一些书

今年看了比较多的书,主要上班比较远,1个多小时,大部分都是在坐地铁看的。 程序员系列 1、《程序员修炼之道 : 从小工到专家 》: 主要介绍了软件设计的一些原则,避免的问题,一个项目如何做好。 一些高效的工具。 2、《卓有成效的程序员》: 主要介绍怎么样才能称为高效的程序员,介绍一些工具、语言 打造一个高效的开发环境,提高开发效率。 3、《黑客与画家》 这本书比较杂,开始一些章节和程序员没有太大关系,后面介绍了一些 程序员品味类的东西:什么样的语言才是梦寐以求的,主要lisp,ruby 之类的。 程序语言相关 1、《深入Java虚拟机》:介绍了整个虚拟机的结构、字节码结构、GC以及一些调优。…

2013-03-02 08:45 · 评论(2)

机器学习在公司的分享

机器学习在公司的分享,ppt见附件,主要简单介绍了机器学习: 机器学习概念 相关学科 机器学习三大要素 生成模型和判别模型 频率派和贝叶斯派 基本算法的直观理解 模型选择 模型组合-Ensemble Method Online Learning Structure Learning Deep Learning 机遇和挑战 机器学习适用场景

2013-02-23 12:38 · Machine Learning · 评论(1)

Deep learning的一些教程[rz]

转载自http://baojie.org/blog/2013/01/27/deep-learning-tutorials/ Stanford Deep Learning wiki: http://deeplearning.stanford.edu/wiki/index.php/Main_Page 几个不错的深度学习教程,基本都有视频和演讲稿。附两篇综述文章和一副漫画。还有一些以后补充。 Jeff Dean 2013 @ Stanford http://i.stanford.edu/infoseminar/dean.pdf 一个对DL能干什么的入门级介绍,主要涉及Google在语音识别、图像处…

2013-02-03 19:14 · Machine Learning · 评论(0)

[ZZ]计算机视觉、模式识别、机器学习常用牛人主页链接

牛人主页(主页有很多论文代码) Serge Belongie at UC San Diego Antonio Torralba at MIT Alexei Ffros at CMU Ce Liu at Microsoft Research New England Vittorio Ferrari at Univ.of Edinburgh Kristen Grauman at UT Austin Devi Parikh at TTI-Chicago (Marr Prize at ICCV2011) John Wright at Columbia Univ. Piotr Dollar at Ca…

2012-11-30 13:13 · Data/Web Mining · Machine Learning · 评论(0)

Deep learning的一些有用链接

deeplearning tutorials: http://deeplearning.net/tutorials/ http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf Restricted boltzmann machine: http://deeplearning.net/tutorial/rbm.html http://blog.echen.me/2011/07/18/introduction-to-restricted-boltzmann-machines/ http://www.csri.utoronto.ca/~hi…

2012-11-12 19:09 · Machine Learning · 评论(0)

期望最大(EM)算法推导

X是一个随机向量,我们希望找到 使得 取得最大值,这就是关于 的最大似然估计。 为了方便估计 ,我们一般引入log似然函数: EM算法是一个迭代的过程,假设第n次迭代当前 的估计是 。由于我们的目标是最大化 ,我们希望新一轮的更新 使得 等价的,我们希望最大化他们的不同: 现在我们考虑隐变量的问题,隐变量可能是没有观测到的或者缺失的变量,有时为了计算最大似然函数更容易解决也会引入隐变量,因为可以利用EM框架来方便计算。我们假设隐变量用Z来表示,那么 我们重写一下 得到: 利用Jensen's不定式: 其中常量 并且 ![](http://latex.codecogs.com/gif.late…

2012-08-05 19:54 · Data/Web Mining · 评论(0)

信息论学习总结(一)基础知识

我们考虑一下一个离散的随机变量x,当我们观察到它的一个值,能给我们带来多少信息呢?这个信息量可以看做是我们观察到x的这个值带来的惊讶程度。我们被告知一个不太可能发生的事发生了要比告知一个非常可能发生的事发生,我们获得信息要多。 所以信息量的多少依赖于概率分布p(x),所以我们可以用关于p(x)的一个函数来建模信息量h(x).那什么函数模型适合表达呢? 我们观察两个相互独立的事件x,y,我们观察它得到的信息量,要和单独观察他们得到的信息量之和相等。即 h(x,y) = h(x) + h(y) 而两个独立的时间x,y的概率关系: p(x,y) = p(x) p(y) 基于上面的观察,信息量必须和…

2012-06-02 22:57 · Machine Learning · 评论(0)

使用SGD(Stochastic Gradient Descent)进行大规模机器学习

使用SGD(Stochastic Gradient Descent)进行大规模机器学习 1 基于梯度下降的学习 对于一个简单的机器学习算法,每一个样例包含了一个(x,y)对,其中一个输入x和一个数值输出y。我们考虑损失函数 ,它描述了预测值 和实际值y之间的损失。预测值是我们选择从一函数族F中选择一个以w为参数的函数 的到的预测结果。 我们的目标是寻找这样的函数 ,能够在训练集中最小化平均损失函数 =l(f_w(x),y)$$) 由于我们不知道数据的真实分布,所以我们通常使用 来代替 经验风险 用来衡量训练集合的效果。期望风险E(f)描述了泛化(generation)的效果,预测未知样例的能…

2012-05-11 23:01 · Machine Learning · 评论(2)