TF.Contrib,开源社区进献,新效用,内外部测试,依据反映意见革新性能,改进API友好度,API稳定后,移到TensorFlow主题模块。生产代码,以新颖官方教程和API指南参考。

科学 1

总结分布。TF.contrib.ditributions模块,Bernoulli、Beta、Binomial、Gamma、Ecponential、Normal、Poisson、Uniform等总括分布,统计研商、应用中常用,各类总结、机器学习模型基石,概率模型、图形模型依赖。

混乱科学 2

每个不同总计分布不同特点、函数,同样子类Distribution扩张。Distribution,建立和团体随机变量、总结分布基础类。is_continuous讲明随机变量分布是否连续。allow_nan_states表示分布是否接受nan数据。sample()从分布取样。prob()总结随机变量密度函数。cdf()求累积分布函数。entropy()、mean()、std()、variance()得到总括分布平均值和方差等特色。自定义总结分布类要落实上述方程。

全书尝试举例表达混乱比整齐和谐更好,效用更高,获益更多。案例都相比较有意思,不过推导过程和最终的结论我备感都多少牵强,感觉是作者挑了过多便于的案例,往往看不到工作的全貌。

Gamma分布。contrib.distributions导入Gamma分布,初始化alpha、beta
tf.constant,建立Gamma分布。batch_shap().eval()拿到每个样本形状,get_batch_shape(),tf.TensorShape()。log_pdf()函数,值log转换概率密度函数。建立多维Gamma分布,传入多维alpha、beta参数。

总体评价3星,有早晚参考价值。

Layer模块。Contrib.layer包含机器学习算法所需各类各个成份、部件,卷积层、批专业化层、机器学习指票、优化函数、开头器、特征列。

以下是书中部分内容的摘要,#号后边是kindle电子书中的页码:

机械学习层。深度学习和处理器视觉二维平均池avg_pool2d。np.random.uniform建立宽高都是3几张图纸,contrib.layers.avg_pool2d()对图纸很快建立3×3二维平均池,outpu形状[5,1,1,3],对每个3×3区域取统计平均值。

1:算法中有一种模拟退火算法,其行事原理是以一个自由方案为主导,在此之上尝试各类变动,不论结果好坏。渐渐地,它变得“挑剔”起来,不再接受这一个“偏坏”的结果,而将目标锁定在这些积极、正面的更动之上。#286

制造卷积层,contrib.layers.convolution2d()建立32个3×3过滤器卷积层,改stride、padding、activation_fn参数建立不同架构卷积层,使用不同卷我们层激活函数。contrib.layers自动建立op名字,output.op.name值’Conv/Relu’,用了Conv层和ReLU激活函数。layer有友好对应op名字,每个op空间存储对应变量,contrib.framework.get_variables_by_name()获得相应op空间变量值。get_variables_by_name获得确立卷积层权重,权重形状是weights_shape值,[3,3,4,32]。

2:英国自行车队便是透过动用这种“边际获益”理念,在教练、饮食和锻练方面举办微小立异,从而在国际赛事中反败为胜。最出名的要数加热骑行裤了:穿上这种电力加热的骑行裤,运动员在伺机出发指令时,便可涵养身体温度。#320

contrib.framework
arg_scope缩小代码重复使用。layers.convolution2d及传入参数放到agr_scope,制止重新在五个地方传入。normalizer_fn和normalizer_params,标准化方程及参数。

3:令人意外的是,当地铁恢复生机正常运行,采用新路线的司乘人员当中有5%沿用了新路径。个中原因不难猜测,那多少人很可能发现新路径比原来的更省钱或更精打细算。一句话,原来还有更好的挑三拣四。#340

len(tf.contrib.framework.get_variables(‘Conv/BatchNorm’))拿到第一个Conv/BatchNorm层长度。

4:对此,钻探人员发现了一个好玩的光景:顶级科学家总是在不停地改成自己的探究课题。据总括,那多少个地理学家先河发表的100篇杂文之中,平均切换了43次探讨课题。#502

统统连接神经网络层fully_connected()。建立输入矩阵,fully_connected()建立输出7个神经单元神经网络层。tf.name_scope截下来运算放name_scope。fully_科学,connected()传入scope。”fe/fc”层别号。传入outputs_collections,直接得到层输出。

5:多样化团队的组员会相互怀疑、争执不休,把商讨变成辩论。这是没用吗?相对不是。固然同质化团队的商量一派和谐,却没什么意思,表面的调和遮蔽了他们的双眼,啄磨最后沦为无用功。#884

repeat()重复用相同参数重复建立某个层。stack()用不同参数建立三个fully_connected()层。conv2d_transpose、conv2d_in_plane、separable_conv2d,参考官方文档。

6:哈林顿(哈林顿(Harrington))注意到,为了维护成员之间的友谊,社交性俱乐部总是做出不佳的投资控制,对龃龉和争议也避而不谈,以免危害任何人。相反,成员涉及更疏远的游乐场能顿时否决不佳的投资方案。#897

损失函数。tf.contrib.losses模块,各类常用损失函数,二类分类、多类分类、回归模型等机械学习算法。

7:大多数集团家并非像群众觉得的那么具有创造力,其中一个缘故是大多数集团家与其别人完全平等,只和同一个领域的人联手活动。#923

纯属差值。tf.constant建立predictions、targets数列。同样shape。采纳性建立权重。losses.absolute_difference()统计预测损失值。

8:小型大学的学习者接纳范围相比窄,所以只可以和与自己不同的人交朋友,没悟出,这样树立起来的情谊更是可亲、持久。这种同质化现象在其它领域也异常大规模,#938

测算softmax交叉熵。多类分类机器学习模型。建立predictions、labels,多给。losses.softmax_cross_entropy()总结预测softmax交叉熵值。loss.eval()运行。loss.op.name得到TensorFlow自动赋值op名字,’softmax_cross_entropy_loss/value’。softmax_cross_entropy()
label_smoothing平滑所有标识。

9:作家伊莱·帕里泽(EliPariser)警告网民,互联网存在一层“过滤泡沫”,可以过滤掉自己不赞同的谈话,因而我们看不见不同的观点,听不见不同的鸣响,但很少有人能发现这些泡沫的存在。#964

应用多数分布稀疏,sparse_softmax_cross_entropy()提升总结成效。

10:怎么着才能走出自己的舒适区,勇于结交另一个世界的仇人,有效扩大社交圈呢?第一课简单明了,那就是必须意识到只选取“和自家是一个社会风气的人”的交友心态至极被动。#975

特性列 Feature Column。tf.contrib.layers高阶特征列(Feature
Column)API,和TF.Learn API结合使用,建立最契合自己多少的模型。

11:罗伯斯山洞实验告诉我们,当面临一个紧急问题亟待解决时,不同部落的现代人可以抛弃分歧、携手合作。与其持续于不同聚会或者聚在一块玩一些傻乎乎的小游戏,不如合作解决一个一块问题,这样才能打败心中的部落主义。#1016

多少连接特征(continuous Feature)、连串特征(Categorical
Feature)。连续数值特征称连续特征,可一向用在模型里。不总是连串特征,需要数值化,转换为一多元数值代表每个不同品种。learn.datasets
API读入数据。

12:20号楼难以想象的紊乱形式,使充满新意的商量人口可以相互相互,从而发出了最为的更新生产力。何人会料到当电气工程师碰着铁路模型技术俱乐部的学员,会磕磕碰碰出黑客文化和视频游戏吗?何人又会料到电子学家、戏剧家和声学家的互动,会诞生出学士音响和电子邮件呢?#1286

layers.FeatureColumn API定义特征列。real_valued_column()定义连续特征。

13:当一个人方可随心所欲地装点自己的办公室条件时,他的积极性就会很高。假使上边非要把自己的审美强加于员工,便会挫伤员工的行事热情。可是,很多业主就是不精通这个道理,对他们的话,放手让职工改造办公条件比登天还难。#1359

sparse_column_with_keys()处理项目特征,事先知道特征所有可能值。不知情所有可能值,用sparse_column_with_hash_bucket()转为特征列,哈希表。SparseColumn,直接在TF.Learn传入Estimator。

14:隆美尔(Rommel)善于创造混乱,创制战机,因而在战场上所向无敌,他连连能在敌人迷惑他前头成功迷惑对方,由此得到了“沙漠之狐”的名称。#1871

数据科学使用,连续特征可能需要被离散化,形成新品类特征,更好意味着特征和目的分类项目之间涉及。bucketized_column()将SparseColumn区间化。

15:另一位弈棋机切磋学家盖伊(Guy)·霍沃思(盖伊Haworth)发现,卡尔(Carl)森的战术是拼命三郎让棋局复杂化,尤其是在敌方承受时间压力的时候。#1906

一部分采纳,四个性状综合、交互与目的分类项目关系更严密。四个特点相关,特征交互能树立更实用模型。crossed_column()建立交叉特征列。

16:似乎南洋理工商高校的学童和莱恩想到一起去了。他们都知道网上书店的发展潜力巨大,只是他们都认为Amazon要和巴诺抗衡,无异于以卵击石,一旦巴诺上线,亚马逊便会化为历史。#2113

特征列传入TF.Learn Estimator。fit()、predict()练习、评估模型。

17:其实,受生产格局影响最大的是产妇,顺产对他们的侵害比剖宫产小得多,可是医务卫生人员并不体贴,反正产妇产前产后的肢体情状又不会像新生儿那样被打分。弗吉尼娅·阿普加表明阿普加评分的时候,可没想到会爆发如此的情形。#2339

取部分特征加权求和作新特征列,weighted_sum_from_feature_columns()实现。

18:由于中等收入国家可以更好地形成联合国定下的目的,它们的“表现”更佳,所以广大援救国更愿意把资金投入这个国家,而这么些最亟需援助的区域却被遗忘了。据联合国报告呈现,近几年仅有三分之一的帮助总额流入最不发达国家。#2380

Embeddings,嵌入向量。稀疏、高维序列特征向量,转换低维、稠密实数值向量,和连续特征向量联合,一起输入神经网络模型磨炼和优化损失函数。大部分文书识别,先将文件转换成嵌入向量。

19:《马拉加商谈Ⅱ》的死穴之二就在于它会让具备银行由于同样原因此陷于同一危机。#2469

contrib.layers模块
embedding_column()神速把高维稀疏序列特征向量转为想要维数的放到向量。特征交互矩阵相比较稀疏,级别相比高,转换后得以使模型更具备概括性更管用。传入TF.Learn
Extimator举行模型建立、磨练、评估。embedding_columns传入DNNLinearCombinedClassifier深度神经网络特征列。

20:最新的钻研声明当数码有限时,马科维茨的经验法则——把资本分成等数码份,分别投资股票、债券和房产等等——要比他的诺Bell获奖理论有用得多。#2530

无数实际稀疏高维数据,通常有空特征及无效ID,safe_enbedding_lookup_sparse()安全建立嵌入向量。tf.SparseTensor建立稀疏ID和稀疏权重。建立嵌入向量权重embedding_weights,取决词汇量大小、嵌入同量维数、shard数量。initializer.run()、eval()先导化嵌入向量权重。safe_embedding_lookup_sparse()将原本特征向量安全转移为低维、稠密特征向量。eval()收集到一个tuple。

21:讽刺的是,发现群众尾气造假的并不是美利哥国家环境保护局,而是一个非营利团体——国际卫生运输委员会(ICCT)。ICCT并非存心针对群众挑刺,他们本来只是想找到一辆清洁车。#2612

特性分析器tfprof。分析模型架构、衡量系统特性。衡量模型参数、浮点运算、op执行时间、要求存储大小、探索模型结构。

22:这种科技越先进、人类反而越无能的场面被称作自动化悖论。它在生活中很普遍,不管您是在核电站可能游轮上工作,都有可能遇到。#2729

一声令下安装tfprof命令行工具。bazel build -c opt
tensorflow/contrib/trprof/…。

23:类似的软件随处可见。我们担心将来某一天机器人会抢走我们的差事,却未曾发觉到机器人已经在一步一步抢走大家的决定权。#2890

查询接济文件。bazel-bin/tensorflow/contrib/tfprof/tools/tfprof/tfprof
help。

24:Tom·范德比尔(Bill)特认为蒙德(蒙德)曼的方针不是让道路变得越来越专业,而是人工地将路况复杂化,让的哥们因为搞不清楚情形而只好集中注意力、保持警惕。#2991

执行互动形式,指定graph_path分析模型shape、参数。bazel-bin/tensorflow/contrib/tfprof/tools/tfprof/tfprof
\–graph_path=graph.pbtxt。

25:18世纪60年代,林业员约翰·Beck曼起首在德意志执行“科学造林”,可是六个世纪以后,德意志的改造林却起始大规模死亡。#3028

graph_path、checkpoint_path查看checkpoint
Tensor数据和对应值。bazel-bin/tensorflow/contrib/tfprof/tools/tfprof/tfprof
\–graph_path=graph.pbtxt \–checkpoint_path=model.ckpt。

26:结构单一的128公路在迈入之初异常成功,就好比德意志联邦共和国的“科学造林”。不过随着技术的日新月异,128公沿线路的合作社难以适应,要么倒闭,要么在硅谷的影子之下举步维艰。#3157

提供run_meta_path查看不同op请求存储、计时。bazel-bin/tensorflow/contrib/tfprof/tools/tfprof/tfprof
\–graph_path=graph.pbtxt \–fun_meta_path=run_meta
\–checkpoint_path=model.ckpt。

27:多元化的经济体才更有可能在其参加的五个产业中成功可以。在那些不可预测的社会风气里,只有多元化的经济体才能形成韧性,实现深刻而平安的欣欣向荣。#3181

graph_path文件是GraphDef文本文件,用来在内存建立模型代表。tf.Supervisor写graph.pbtxt。tf.Graph.as_graph_def()或另外类似API存储模型定义到GraphDef文件。

28:事实上,至今停止,社会学家都未曾收集到丰盛的证据来匡助“破窗效应”,也并未充分的凭据表明“破窗效应”和伦敦犯罪率的骤降存在因果关系。#3271

run_meta_path文件是tensorflow::RunMetadata结果。得到模型每个op所需贮存和岁月消耗。

29:惠科特发现搜索文件夹每便平均消费的刻钟接近一分钟,而其他模式只需17秒。那个用文件夹归类邮件的白领寻找文件花费的时日多得多,成功率却并未由此提高。#3507

checkpoint_path是模型checkpoint包含所有checkpoint变量op类型、shape、值。

30:简单的说,电脑那多少个月老根本不靠谱,还不如在网上来五次随机编造约会。#3644

op_log_path是tensorflow::tfprof::OpLog结果,包含额外op音信,op组体系名字。

31:研究发现,幼年孩子在荒郊玩耍时发生的竟然比传统的俱乐部还要少。不仅如此,当小孩子们回到课堂之后,表现更好了,注意力更加集中,欺凌事件也大大缩短,高校关闭了惩处学校恶霸的静闭室,也回落了巡回老师的数目。#3838

tfprof是CLI命令行工具,输入tfprof命令按回车,进入彼此形式,再按回车看到命令行参数默认值。

调节参数,show_name_regexes查找符合正则式条件的scope名字。

tfprof提供两体系型分析:scope、graph。graph,查看op在graph里所花内存、时间。

参考资料:
《TensorFlow实战》

迎接付费咨询(150元每刻钟),我的微信:qingxingfengzi