机器学习之分布式深度学习
因为经常会搞混一些基本的并行概念,所以特此记录一下。之所以要上分布式并行,是因为单机的计算力/资源不够。如果单机计算力已经足够强,那完全没有必要上分布式,毕竟还有通信开销。对于深度学习来说,由于计算量太大,所以有时GPU单卡太慢,那就有必要上多卡。如果多卡不是共享内...
2024-01-10机器学习之学习速率
学习速率正如之前所述, 梯度矢量具有方向和大小.梯度下降算法用梯度乘以一个称为学习速率 ( 有时也称为步长 ) 的标量,以确定下一个点的位置.例如, 如果梯度大小为 2.5, 学习速率为 0.01, 则梯度下降法算法会选择距离前一个点 0.025 的位置作为下一个点超参数超参数是编程人员在机器学习算法中用于...
2024-01-10【机器学习】4款常用的深度学习框架
导读近几年,随着深度学习爆炸式发展,在人工智能领域除了理论方面的突破外,还有基础架构的突破,它们奠定了深度学习繁荣发展的基础。这其中涌现了几个著名的深度学习平台,本文将对这些平台进行逐一介绍。01 TheanoTheano是在BSD许可证下发布的一个开源项目,诞生于加拿大魁北克蒙...
2024-01-10机器学习之集成学习和随机森林
一、集成学习集成学习就是合并多个分类器的预测。一般会在一个项目快结束的时候使用集成算法,一旦建立了一些好的分类器,就可以使用集成把它们合并成一个更好的分类器。著名的集成方法:投票分类、bogging、pasting、boosting、stacking、和一些其它算法。1.1 投票分类(少数服从多数)令人惊奇...
2024-01-10深度学习如何用于机器学习中的面部识别?
人脸识别是根据人脸识别和验证照片中出现的人的任务。这对人类来说是一项微不足道的任务,即使光线变化或面部因年龄而变化或被配饰、面部毛发等遮挡。但直到几年前,它仍然是一个相当具有挑战性的计算机视觉问题。深度学习方法已经能够利用大型人脸数据集并学习人脸的各种表示,从而使现...
2024-01-10机器学习&深度学习&人工智能资料
一、机器学习书籍吴恩达深度学习课程:神经网络和深度学习链接:https://pan.baidu.com/s/1H1_fB924YcWkIKZI9rP6Cg提取码:mjej机器学习_周志华:链接:https://pan.baidu.com/s/1j55DqrkCNEzLfdWoIOjwDQ提取码:m0es机器学习训练秘籍(完整中文版)链接:https://pan.baidu.com/s/1mcseYd3JvQ7jizXJGmyQsQ提取码:dfmoPython机器学习...
2024-01-10机器学习集成学习随机森林.GBDT
集成学习(Ensemble Learning)集成学习的思想是将若干个学习器(分类器&回归器)组合之后产生一个新学习器.弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrate < 0.5);集成算法的成功在于保证弱分类器的多样性(Diversity).而且集成不稳定的算法也能够得到一个比较明显的性能提升常见...
2024-01-10快速学习机器学习(线性代数[矩阵])
线性代数矩阵矩阵的定义特殊矩阵矩阵中的概念矩阵的加法矩阵的乘法矩阵的转置矩阵的运算法则矩阵的逆本文同步分享在 博客“cwl_java”(CSDN)。如有侵权,请联系 support@oschina.cn 删除。本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。...
2024-01-10机器学习算法中有哪些不同的学习风格?
机器学习算法中有四种学习风格。让我们来看看它们 -监督学习监督学习是机器学习中最常用的方法之一,它在训练过程中同时获取训练数据(也称为数据样本)及其相关输出(也称为标签或响应)。监督学习方法的主要目标是学习输入训练数据与其标签之间的关联。为此,它执行多个训练数据实例。...
2024-01-10机器学习之分类:精确率和召回率
精确率精确率指标尝试回答以下问题:在被识别为正类别的样本中,确实为正类别的比例是多少?精确率的定义如下:Precision = \dfrac{TP}{TP + FP}注意:如果模型的预测结果中没有假正例,则模型的精确率为 1.0 。让我们来计算一下上一部分中用于分析肿瘤的机器学习模型的精确率:精确率 = \dfrac{TP}{TP ...
2024-01-10关于机器学习中的强化学习,什么是Q学习?
Q学习是一种强化学习算法,其中包含一个“代理”,它采取达到最佳解决方案所需的行动。强化学习是“半监督”机器学习算法的一部分。将输入数据集提供给强化学习算法时,它会从此类数据集学习,否则会从其经验和环境中学习。当“强化代理人”执行某项操作时,将根据其是否正确预测(是采...
2024-01-10著名公司如何使用机器学习?机器学习应用例子
机器学习是今天的技术!尽管有些人声称这项技术可以终结世界, 但其他人则认为它可以使生活更加轻松。毫不奇怪, 几乎所有公司都在使用该技术通过提供个性化的客户体验来吸引尽可能多的客户。实际上, 有一个增长270%最近四年中接受ML的公司数量但是, 对于拥有大量资源的成熟技术公司而言, ...
2024-01-10数据科学和机器学习需要哪些基本数学和理论技能?
导读如果你有心学习数据科学,那么你一定会在脑海中想过下面的问题:没有或者只有很少的数学知识,我能做一个数据科学家吗?数据科学必需的数学工具有哪些?引言如果你有心学习数据科学,那么你一定会在脑海中想过下面的问题:没有或者只有很少的数学知识,我能做一个数据科学家...
2024-01-10机器学习之分类:ROC 和曲线下面积
ROC 曲线ROC 曲线 (接收者操作特征曲线)是一种显示分类模型在所有分类阈值下的效果的图表。该曲线绘制了以下两个参数:真正利率假正利率真正利率(TPR)是召回率的同义词,因此定义如下:TPR = \dfrac{TP}{TP + FN}假正例率(FPR)的定义如下:FPR = \dfrac{FR}{FP + TN}ROC 曲线用于绘制采用不同分类阈...
2024-01-10基于图深度学习的自然语言处理方法和应用
导读: 本次分享的内容为图深度学习在自然语言处理领域的方法与应用,主要内容和素材都来自于我们Graph4NLP团队的一篇调研文章:Graph Neural Networks for Natural Language Processing:A Survery,以及我们团队所开发的Graph4NLP的python开源库和教程。主要包括以下几大方面内容:DLG4NLP背景与发展DLG4NLP方法和模型...
2024-01-10苏伊士运河宽度和深度
苏伊士运河全长193.30公里,深24米,平均宽205米,其中最宽处345米。苏伊士运河 于1869年修筑通航,是一条海平面的水道,在埃及贯通苏伊士地峡,沟通地中海与红海,提供从欧洲至印度洋和西太平洋附近土地的最近航线。它是世界使用最频繁的航线之一,也是亚洲与非洲的交界线,是亚洲与非洲、欧...
2024-01-10基于深度学习算法和传统立体匹配算法的双目立体视觉
点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达 01 PART 立体视觉是什么? 在开始之前,我相信很多站友都会有这个疑问,所以我想先在这里做一下简要的介绍,以方便大家快速地了解这个项目。我们知...
2024-01-106款考试学习的高效率APP,让你轻松学习一整天!
手机APP不管是苹果版还是安卓版,使用的最终目的就是方便自己,提升自己,面对着众多的APP,我们既想找到适合自己的,又很实用的APP,还真是少之又少,不过不用担心,小编今天发现了几个小巧又实用的手机APP,全都送给你了。BBC新闻版本:1.0.0 大小:11.20M ...
2024-02-04机器学习:从入门到晋级
目前,人工智能(AI)非常热门,许多人都想一窥究竟。如果你对人工智能有所了解,但对机器学习(Machine Learning)的理解有很多的困惑,那么看完本文后你将会对此有进一步深入理解。在这里,不会详细介绍机器学习算法的基本原理,而是通过将比较有意思的视频(YouTube)和文字相结合,...
2024-01-10机器学习入门:脸部关键点检测
在前几篇文章中我们看到了怎样检测图片上的物体,例如人脸,那么把实现人脸识别的时候是不是可以把图片中的人脸截取出来再交给识别人脸的模型呢?下面的流程是可行的,但因为人脸的范围不够准确,截取出来的人脸并不在图片的正中心,对于识别人脸的模型来说,数据质量不够好就会导致识别...
2024-01-10近似字符串匹配-机器学习
我有一个要求,其中我的源数据位于HDFS中,并且有一个包含用户技能的字段。现在,源文件具有归因于用户的所有技能,例如-管理,JAVA,HADOOP,PIG,SQL,性能调整,C,业务咨询,销售等.....现在,我的疑问是,我需要构建一种机器学习算法来检测所谓的技能中是否存在一些拼写错误。例如,如果不...
2024-01-10使用机器学习预测股价
股票价格预测有助于确定未来几天或几周内股票的走势,或者至少显示趋势。股票价格取决于多种因素,例如:基本因素:收入,利润,市场份额,业务的潜在增长前景外部因素:大流行病,例如新冠,外汇汇率,石油价格,黄金价格,债券收益率,全球股票市场技术因素:价格走势,交易量,移动...
2024-01-10机器学习之分类:准确率
准确率是一个用于评估分类模型的指标。通俗来说,准确率是指我们的模型预测准确的结果所占的比例。正式点说,准确率的定义如下:Accuracy = \dfrac{Number of correct predictions}{Total number of predictions}对于二元分类,也可以根据正类别和负类别按如下方式计算准确率:Accuracy = \dfrac{TP + TN}{TP + TN + FP + FN}其...
2024-01-10机器学习之特征工程
传统编程的关注点是代码. 在机器学习项目中, 关注点变成了特征表示.也就是说, 开发者通过添加和改善特征来调整模型.将原始数据映射到特征图 1 左侧表示来自输入数据源的原始数据, 右侧表示特征矢量, 也就是组成数据集中样本的浮点值集.特征工程指的是将原始数据转换为特征矢量.进行特征工程...
2024-01-10如何入门机器学习
本篇文章,我将从过来的人角度介绍下机器学习如何从入门到精通,这里我们谈经验,谈工具,更谈方法论。1.入门作为初入机器学习的小白,你可能除了一颗好奇的心和一番热血外什么都不没有,当然最好还是希望你能有线性代数、微积分和概率论的基础。你可能会心存顾虑:学过但忘了。不用担...
2024-01-10机器学习之分类:预测偏差
逻辑回归预测应当无偏差。即:“预测平均值”应当约等于“观察平均值”预测偏差指的是这两个平均值之间的差值。即:预测偏差 = 预测平均值 - 数据集中相应标签的平均值注意:“预测偏差”与“偏差”(“wx + b”中的“b”)不是一回事。如果出现非常高的非零预测偏差,则说明模型某处存在错误...
2024-01-10机器学习的分类
品牌型号:Redmibook Pro 15系统:Windows 101、监督学习:表示机器学习的数据是带标记的,这些标记可以包括数据类别、数据属性及特征点位置等。这些标记作为预期效果,不断修正机器的预测结果。具体实现过程是:通过大量带有标记的数据来训练机器,机器将预测结果与期望结果进行比对;之后根据比对结果来修改模型中的参数,再一次输出预测结果;然后将预测结果与期望结果进行比对,重复多次直...
2024-02-13