Theory

Some pure Theories other than DeepLearning.

这个问题无外乎有三个难点: 什么是sum 什么是reduce 什么是维度(indices, 现在均改为了axis和numpy等包一致) sum很简单,就是求和,那么问题就是2和3,让我们慢慢来讲。其实彻底讲清楚了这个问题,很多关于reduce,维度的问题都会恍然大悟。 0. 到底操作哪个维度?? sum这个操作完全可以泛化为任意函数,我们就以sum为例,来看看各种情况。 首先是一维(按照tensorflow的说法其实是0维,后面会说)就是这样 a = 1 sum(a) = 1 那么看看二维的情况,为了看的更清楚,特意写成了矩阵的形式: a = [[1,2], [3,4]] sum(a) = ??? 仔细观察,那么问题来了,sum(a)到底应该是多少?有人说,当然是[3, 7](“横着加”[[1+2],[3+4]]),有人说 不应该是[4, 6](“竖着加”[[1+3],[2+4]])吗?还有人或说,不应该是10(全加在一起)吗? 谁是对的? 都是对的。 […]

最近看自然语言处理词频统计的时候,看到的一种方法,小记于此。 伪计数可以看做是一种平滑,由拉普拉斯提出,也称为拉普拉斯平滑。 伪计数估计量的具体公式是: $$\hat\theta_i = \frac{x_i + \alpha}{ N + \alpha d} \quad (i = 1,…,d)$$ 其中$\hat\theta_i$是估计量,$x_i$是观测到的事件分类,$\alpha$是平滑参数(有些学者认为应该是1,不过一般都比较小,比如取0.5),$N$是观测事件总数,$d$是观测值的可能分类,例如二分类问题中$d=2$。 那么这个公式是什么意思呢?具体地说,为什么要这么规定这种平滑?那是因为这种平滑的好处是它的值在经验估计$\frac{x_i}{N}$与均匀分布概率$\frac{1}{d}$之间。也就是很好的完成了从事实发生概率到随机发生概率的平滑任务。 再具体一点是什么意思呢?那么我觉得就要从它的来历说起了。历史上,拉普拉斯试图估计明天太阳升起的可能性的时候,提出了这个概念。 大家都知道,太阳当然会升起啊!不升起来的概率(或者说观测到不升起来的次数)为0。 等等,那可不一定,至少拉普拉斯不这么认为,他甚至认为日出的前一秒,也不能确定能不能观测到太阳升起。当然,这不是抬杠,仔细想想确实是这个道理,毕竟谁也不知道太阳会不会被一个极小概率的事件毁灭。 那么,这个概率到底是多少?这个概率怎么计算出来既可以满足事实(姑且叫做“事实概率”),又可以满足幻想(姑且叫做“幻想概率”)。答案是:平滑。 比如,从我开始观测,一共是$N=98$次观测,其中有$x_{i}=0, i=no\ sunraise, i\in {sunraise, no\ sunraise }$取$\alpha […]

Traditional CS: CS110: Principles of Computer Systems CS161: Design and Analysis of Algorithms CS106A: Programming Methodology CS97SI: Introduction to Programming Contests CS143: Compilers AI/ML: CS221: Artificial Intelligence: Principles and Techniques […]

基础知识 线性代数 矩阵理论 概率论 随机过程 图论 数值分析 最优化理论 机器学习 数据挖掘 平台 Linux  语言 Python Linux shell 基础库 numpy pandas sklearn matplotlib or seaborn 框架 TensorFlow Pytorch Keras 常用模型 CNN RNN(LSTM) GAN 常用架构(包括transfer […]

今天研分会开了个《掌控资源,助力科研》的讲座,主讲人是图书馆的管理老师陈卫静,讲的非常nice,总结一下(Google keep渣排版……) 主要目标: 检索 分析课题进展 找到课题空白 跟踪课题进展 有序管理已有文献 主要途径: 图书馆数据库 & 学术搜索引擎 馆际互借 文摘数据库为主,全文数据库 & 学术搜索引擎为辅 主要文献类型(中文 & 外文): 文摘 期刊 电子图书 学位论文 数据库类型: 文摘数据库(无全文信息): SCI DII (专利) EI PQDT-B […]

These days, I’m working on time series data analysis because this is the topic of my paper. I follow this tutor to learn basic knowledge of time series analysis using […]