机器学习之清理数据
苹果树结出的果子有品相上乘的, 也有虫蛀坏果.而高端便利店出售的苹果是 100% 完美的水果.从果园到水果店之间,专门有人花费大量时间将坏苹果剔除或给可以挽救的苹果涂上一层薄薄的蜡.作为一名机器学习工程师, 您将花费大量的时间挑出坏样本并加工可以挽救的样本.即使是非常少量的“坏苹果”也...
2024-01-10
机器学习之数据分析
熟话说,'巧妇难为无米之炊'，数据和特征就是'米'，模型和算法则是'巧妇'，没有充足的数据、合适的特征，再强大的模型结构也无法得到满意的输出，为了更好的使用模型，必须先对数据有个正确的认识，本博将对数据分析的三种方法(描述性统计，数据可视化和相关性系数)进行总结,为数据预处理准...
2024-01-10
机器学习之数据集的划分
通常将数据集划分为三个子集 ( 如下图所示 ) ,您可以大幅降低过拟合的发生几率:图 2.将单个数据集划分为三个子集使用验证集评估训练集的效果.然后, 在模型“通过”验证集之后,使用测试集再次检查评估结果. 下图展示了这一新工作流程:图 3.更好的工作流程在这一经过改进的工作流程中:1.选择在...
2024-01-10
数据科学和机器学习需要哪些基本数学和理论技能？
导读如果你有心学习数据科学，那么你一定会在脑海中想过下面的问题：没有或者只有很少的数学知识，我能做一个数据科学家吗?数据科学必需的数学工具有哪些?引言如果你有心学习数据科学，那么你一定会在脑海中想过下面的问题：没有或者只有很少的数学知识，我能做一个数据科学家...
2024-01-10
机器学习实战性别预测模型的构建与优化
基于用户画像进行广告投放，是优化投放效果、实现精准营销的基础；而人口属性中的性别、年龄等标签，又是用户画像中的基础信息。那该如何尽量准确的为数据打上这些标签？这时候机器学习就派上用场了。本文将以性别标签为例，介绍人口属性标签预测的机器学习模型构建与优化。性别标...
2024-01-10
线性代数之机器学习常用矩阵概念及操作
文章目录1 相关概念2 矩阵操作1 相关概念 1）实对称矩阵：如果有 n n n阶矩阵 A \rm A A，其元素都为实数，且 A T = A \rm A^{T} = A AT=A，则称 A \rm A A为实对称矩阵。 2）矩阵等价、合同及相似：情形定义简要理解矩阵等价 对于同行矩阵 A \rm A A和 B \rm B B，存在可逆矩阵 P \rm P P和 Q \rm Q Q，...
2024-01-10
机器学习之分类：真与假以及正类别与负类别
在本部分，我们将定义用于评估分类模型的指标的主要组成部分。不过，我们先来看一则寓言故事：伊索寓言：狼来了 （ 简介版 ）有一位牧童要照看镇上的羊群，但是他开始厌倦这份工作。为了找点乐子，他大声喊道：“狼来了！”其实根本一头狼也没有出现。村民们迅速跑来保护羊群，但他们发现...
2024-01-10
厉害了！AWS 这个奖，助力中国与全球一起促进机器学习的科研落地！
近年来，人工智能与大数据的飞速发展，都离不开背后的机器学习技术。但一项前沿技术的落地应用总要经过一个艰难又漫长的过程，机器学习也仍处于技术的加速发展阶段。为了加速机器学习技术的发展，2017 年 10 月，Amazon Web Services（AWS） 在全球设立了 AWS 机器学习研究奖 - Machine Learning Research Award...
2024-01-10
数据挖掘者紧急澄清《命运2》包月订阅服务为假消息
此前有国外的数据挖掘者称，《命运2》将推出包月订阅服务，现在数据挖掘者Elliott和Bruders出面澄清这只是玩笑，并向玩家道歉。 Elliott说道：“我们本打算让这种情况继续下去，但由于它发展地越来越大，而且人们实际上在服务器之外感到担心，我们只想正式道歉，并承认我们骚扰了所有人，这可能...
2024-01-10
数据挖掘有哪些应用？
数据挖掘是通过筛选存储在存储库中的大量数据、使用模式识别技术以及统计和数学技术来发现有意义的新关联、模式和趋势的过程。它是对观测数据集的分析，以发现意想不到的关系，并以对数据所有者既易于理解又有益的新技术总结记录。数据挖掘有多种应用，如下所示 -数据仓库和数据预处理- ...
2024-01-10
一个数据挖掘问题
这是一个数据挖掘比赛，现在遇到些问题，想与各位探讨：题目这样的：根据 'uid', 'mid', 'time', 'content' 来预测 'forward_count','comment_count', 'like_count'三个指标目前数据已经整理好，在特征工程处遇到了以下问题：1、uid 是categoriy 类型需要one-hot 编码，但是种类有uid有一万多种，one-hot编码会有memoryError 错误2...
2024-01-10
数据挖掘篇——特征工程之特征降维
在业界广泛流传着一句话：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，数据和特征是多么的重要，而在数据大多数场景下，数据已经就绪，不同人对于同样的数据处理得到的特征却千差万别，最终得到的建模效果...
2024-01-10数据挖掘有哪些功能？
数据挖掘功能用于表示必须在数据挖掘任务中发现的模式类型。一般来说，数据挖掘任务可以分为描述性和预测性两种类型。描述性挖掘任务定义数据库中数据的共同特征，预测性挖掘任务对当前信息进行推理以进行预测。有各种数据挖掘功能如下 -数据特征- 它是对数据对象类的一般特征的总结。用...
2024-01-10数据挖掘如何改善市场细分？
EAI 解决方案正在从中间件消息传递系统转变为业务流程集成。EAI 市场通常集中在 EAI 的 OSI 模型层，即集成中间件和接口语法。这两层目标的主要原因是EAI行业不成熟，而且这两层更容易产生利润。平台集成- 这支持异构硬件、操作框架和应用程序平台之间的连接。有几种支持平台集成的技术是 -消息...
2024-01-10数据仓库和数据挖掘
数据仓库数据仓库是工具和技术的集合，利用这些工具和技术可以从大量数据中清除更多的知识。这有助于决策过程并改善信息资源。 数据仓库基本上是具有唯一数据结构的数据库，该数据库可以相对快速，轻松地对大量数据执行复杂的查询。它是从多个异构源创建的。数据仓库的特点集成时变 非...
2024-01-10什么是数据挖掘？
数据挖掘是使用模式识别技术（包括统计和数学技术）传输存储在存储库中的大量数据，从而找到有用的新关联、模式和趋势的过程。它是对事实数据集的分析，以发现意想不到的关系并以对数据所有者既合乎逻辑又对数据所有者有帮助的新方法总结记录。它是对大量信息进行选择、探索和建模的过程...
2024-01-10EAI在数据挖掘中有哪些实现？
EAI 代表企业应用集成。它支持集成的方法来连接 IT 框架的多个组件——人员、软件、平台和数据库，以实现安全的企业内部和企业间协作。EAI 解决方案允许组织与业务合作伙伴在内部和外部集成业务流程，以创建提供当前和不断变化的业务需求的动态环境，从而形成一个全球性组织。EAI 有助于在企...
2024-01-10
使用机器学习预测股价
股票价格预测有助于确定未来几天或几周内股票的走势，或者至少显示趋势。股票价格取决于多种因素，例如：基本因素：收入，利润，市场份额，业务的潜在增长前景外部因素：大流行病，例如新冠，外汇汇率，石油价格，黄金价格，债券收益率，全球股票市场技术因素：价格走势，交易量，移动...
2024-01-10
机器学习之分类：准确率
准确率是一个用于评估分类模型的指标。通俗来说，准确率是指我们的模型预测准确的结果所占的比例。正式点说，准确率的定义如下：Accuracy = \dfrac{Number of correct predictions}{Total number of predictions}对于二元分类，也可以根据正类别和负类别按如下方式计算准确率：Accuracy = \dfrac{TP + TN}{TP + TN + FP + FN}其...
2024-01-10
机器学习之特征工程
传统编程的关注点是代码. 在机器学习项目中, 关注点变成了特征表示.也就是说, 开发者通过添加和改善特征来调整模型.将原始数据映射到特征图 1 左侧表示来自输入数据源的原始数据, 右侧表示特征矢量, 也就是组成数据集中样本的浮点值集.特征工程指的是将原始数据转换为特征矢量.进行特征工程...
2024-01-10
如何入门机器学习
本篇文章，我将从过来的人角度介绍下机器学习如何从入门到精通，这里我们谈经验，谈工具，更谈方法论。1.入门作为初入机器学习的小白，你可能除了一颗好奇的心和一番热血外什么都不没有，当然最好还是希望你能有线性代数、微积分和概率论的基础。你可能会心存顾虑：学过但忘了。不用担...
2024-01-10
机器学习之分类：预测偏差
逻辑回归预测应当无偏差。即：“预测平均值”应当约等于“观察平均值”预测偏差指的是这两个平均值之间的差值。即：预测偏差 = 预测平均值 - 数据集中相应标签的平均值注意：“预测偏差”与“偏差”（“wx + b”中的“b”)不是一回事。如果出现非常高的非零预测偏差，则说明模型某处存在错误...
2024-01-10
机器学习的分类
品牌型号：Redmibook Pro 15系统：Windows 101、监督学习：表示机器学习的数据是带标记的，这些标记可以包括数据类别、数据属性及特征点位置等。这些标记作为预期效果，不断修正机器的预测结果。具体实现过程是：通过大量带有标记的数据来训练机器，机器将预测结果与期望结果进行比对；之后根据比对结果来修改模型中的参数，再一次输出预测结果；然后将预测结果与期望结果进行比对，重复多次直...
2024-02-13
机器学习之分类：精确率和召回率
精确率精确率指标尝试回答以下问题：在被识别为正类别的样本中，确实为正类别的比例是多少？精确率的定义如下：Precision = \dfrac{TP}{TP + FP}注意：如果模型的预测结果中没有假正例，则模型的精确率为 1.0 。让我们来计算一下上一部分中用于分析肿瘤的机器学习模型的精确率：精确率 = \dfrac{TP}{TP ...
2024-01-10
社区推送博客机器学习插件项目
本文首发于： Jenkins 中文社区 原文链接 作者：Loghi Perinpanayagam 译者：wenjunzhangp 社区推送博客-机器学习插件项目 我认为机器插件学习一直都是一件很有意义的事，带你们一起回顾我的学习历程 大家好！这是 GSoC 2020 ...
2024-01-10
机器学习之过拟合的风险
假设这些图中的每个点代表一棵树在森林中的位置.图中的两种颜色分别代表以下含义:1.蓝点代表生病的树2.橙点代表健康的树接下来, 我们看看图 1图1.生病 ( 蓝色 ) 和健康 ( 橙色 ) 的树您能设想出一个有效的模型来预测以后的生病或健康的树吗 ?花点时间在脑海里绘制一条弧线将蓝点与橙点分开, 或者...
2024-01-10
机器学习：从入门到晋级
目前，人工智能（AI）非常热门，许多人都想一窥究竟。如果你对人工智能有所了解，但对机器学习（Machine Learning）的理解有很多的困惑，那么看完本文后你将会对此有进一步深入理解。在这里，不会详细介绍机器学习算法的基本原理，而是通过将比较有意思的视频（YouTube）和文字相结合，...
2024-01-10
