1. IT宝库
2. 菜鸟教程
3. 菜鸟入门教程
4. 初学者的数据科学教程

初学者的数据科学教程

数据科学已成为21世纪最苛刻的工作.每个组织都在寻找具有数据科学知识的候选人.在本教程中，我们正在介绍数据科学，数据科学作业角色，数据科学工具，数据科学，应用程序等组件.

所以让我们开始，

什么是数据科学?

数据科学是对大量数据的深入研究，它涉及从使用科学方法，不同技术和算法处理的原始，结构化和非结构化数据中提取有意义的见解.

是一个多学科字段，使用工具和技术来操纵数据，以便您可以找到新的和有意义的东西.

数据科学使用最强大的硬件，编程系统，以及最有效的算法来解决数据相关问题.这是人工智能的未来.

简而言之，我们可以说数据科学是关于:

• 询问正确的问题并分析原始数据.

• 使用各种复杂和高效算法建模数据.

• 可视化数据以获得更好的透视图.

• 了解数据以提高决策并找到最终结果.

示例:

让我们假设我们想从车站A到达B乘汽车.现在，我们需要采取一些决定，例如哪种路线是在该位置速度更快的最佳路线，其中路线将没有交通堵塞，这将是具有成本效益的.所有这些决策因素都将充当输入数据，我们将获得这些决策的适当答案，因此对数据分析称为数据分析，这是数据科学的一部分.

需要数据科学:

几年前，数据较少，主要以结构化形式提供，可以轻松存储在Excel床单中，并使用BI工具处理.

但在今天的世界中，数据变得如此大，即，每天都会产生大约

现在，处理如此大量的数据是每个组织的具有挑战性的任务.因此，为了处理，处理和分析这一点，我们需要一些复杂，强大，高效的算法和技术，并且该技术作为数据科学存在.以下是使用数据科学技术的一些主要原因:

• 在数据科学技术的帮助下，我们可以将大量的原始和非结构化数据转换为有意义的见解.

• 数据科学技术正在通过各种公司进行，无论是一个大品牌还是启动.谷歌，亚马逊，netflix等，处理大量数据，正在使用数据科学算法，以便更好的客户体验.

• 数据科学正在为自动化运输，如创建自动驾驶汽车，这是交通的未来.

• 数据科学可以帮助不同的预测，例如各种调查，选举，飞行票证确认等.

数据科学作业:

根据各种调查，由于对数据科学的需求增加，数据科学家工作正成为21世纪最苛刻的工作.有些人也称为21世纪的

数据科学家的平均工资范围将大约

数据科学作业的类型

如果您学习数据科学，那么您就会有机会在此域中找到各种令人兴奋的作业角色.主要作业角色如下:

1. 数据科学家

2. 数据分析师

3. 机器学习专家

4. 数据工程师

5. 数据架构

6. 数据管理员

7. 商业分析师

8. 商业智能经理

以下是对数据科学一些关键职称的解释.

1.数据分析师:

数据分析师是一个个人，谁执行大量数据，模拟数据，寻找模式，关系，趋势等.在一天结束时，他提出了可视化和报告，以分析决策和解决问题的数据.

技能所需:用于成为数据分析师，您必须在数学，商业智能，数据挖掘以及统计数据的基本知识中获得良好的背景.您还应该熟悉一些计算机语言和工具，如 matlab，python，sql，hive，Pig，excel，sas，r，js，Spark等.

2.机器学习专家:

机器学习专家是在数据科学中使用的各种机器学习算法，如回归，群集，分类，决策树，随机林等.

技能所需:计算机编程语言，如Python，C ++，R，Java和Hadoop.您还应该了解各种算法，解决问题的分析技能，概率和统计.

3.数据工程师:

数据工程师适用于大量数据，负责构建和维护数据科学项目的数据架构.数据工程师还用于创建建模，挖掘，采集和验证中使用的数据集流程.

技能所需:数据工程师必须具有深度知识 sql，mongodb，cassandra，hbase，apache spark，hive，mapreduce ，具有 python的语言知识，c/c ++，java，perl 等.

4.数据科学家:

数据科学家是通过部署各种工具，技术，方法，算法等，提出巨额巨大数据的专业人士.

技能所必需的:成为数据科学家，应该具有技术语言技能，如 r，sas，sql，python，hive，pig，apache spark，matlab .数据科学家必须了解统计数据，数学，可视化和沟通技巧.

数据科学的先决条件

非技术前提条件:

• 好奇心:学习数据科学，必须有一个技巧.当你有好奇心并询问各种问题时，你可以轻松理解业务问题.

• 批判性思维:数据科学家也需要它，以便您可以找到解决效率的多种新方法.

• 沟通技巧:沟通技巧对于数据科学家来说最重要的是因为解决了业务问题之后，您需要与团队沟通.

技术先决条件:

• 机器学习:了解数据科学，需要了解机器学习的概念.数据科学使用机器学习算法来解决各种问题.

• 数学建模:数学建模是必需的，从可用数据中进行快速的数学计算和预测.

• 统计:需要基本的统计信息，例如平均值，中位数或标准差.需要提取知识并从数据中获取更好的结果.

• 计算机编程:数据科学，需要至少需要一个编程语言. R，Python，Spark是一些需要数据科学的计算机编程语言.

• 数据库:对SQL等数据库的深度了解，对于数据科学来获取数据并与数据一起使用.

BI和数据科学之间的区别

BI代表商业智能，也用于商业信息的数据分析:下面是BI和数据科学之间的一些差异:

数据科学组件:

数据科学的主要组成部分如下:

1. 统计数据: 统计学是数据科学最重要的组成部分之一。 统计是一种收集和分析大量数值数据并从中找到有意义的见解的方法。

2. 领域专长: 在数据科学中，领域专业知识将数据科学结合在一起。 领域专业知识是指特定领域的专业知识或技能。 在数据科学中，我们需要领域专家的各个领域。

3. 数据工程: 数据工程是数据科学的一部分，它涉及获取、存储、检索和转换数据。 数据工程还包括数据的元数据（关于数据的数据）。

4. 可视化: 数据可视化是指在可视化的上下文中表示数据，以便人们可以轻松理解数据的重要性。 数据可视化使访问视觉中的大量数据变得容易。

5. 高级计算: 数据科学的重任是高级计算。 高级计算涉及设计、编写、调试和维护计算机程序的源代码。

6. 数学: 数学是数据科学的关键部分。 数学涉及对数量、结构、空间和变化的研究。 对于数据科学家来说，良好的数学知识是必不可少的。

7. 机器学习: 机器学习是数据科学的支柱。 机器学习就是为机器提供训练，使其可以充当人脑。 在数据科学中，我们使用各种机器学习算法来解决问题。

数据科学工具

以下是数据科学所需的一些工具:

• 数据分析工具: R, Python, Statistics, SAS, Jupyter, R Studio, MATLAB, Excel, RapidMiner.

• 数据仓库: ETL, SQL, Hadoop, Informatica/Talend, AWS Redshift

• 数据可视化工具: R, Jupyter, Tableau, Cognos.

• 机器学习工具: Spark, Mahout, Azure ML studio.

数据科学中的机器学习

要成为一名数据科学家，还应该了解机器学习及其算法，因为在数据科学中，有各种机器学习算法被广泛使用。 以下是数据科学中使用的一些机器学习算法的名称:

• 回归

• 决策树

• 聚类

• 主成分分析

• 支持向量机

• 朴素贝叶斯

• 人工神经网络

• Apriori

我们将在这里为您简要介绍一些重要的算法，

1. 线性回归算法: 线性回归是最流行的基于监督学习的机器学习算法。 该算法适用于回归，这是一种基于自变量对目标值进行建模的方法。 它表示线性方程的形式，它在输入集合和预测输出之间具有关系。 该算法主要用于预测和预测。 由于它显示了输入和输出变量之间的线性关系，因此称为线性回归。

下面的等式可以描述 x 和 y 变量之间的关系:

	Y= mx+c

其中，y = 因变量

X= 自变量

M=斜率

C=截距。

2. 决策树: 

决策树算法是另一种机器学习算法，属于监督学习算法。 这是最流行的机器学习算法之一。 它可以用于分类和回归问题。

在决策树算法中，我们可以通过树表示来解决这个问题，其中每个节点代表一个特征，每个分支代表一个决策，每个叶子代表一个结果。

以下是 Job offer 问题的示例:

在决策树中，我们从树的根开始，比较根属性与记录属性的值。 在这个比较的基础上，我们按照值跟随分支，然后移动到下一个节点。 我们继续比较这些值，直到我们到达具有谓词类值的叶节点。

3. K-Means 聚类: 

K-means聚类是机器学习中最流行的算法之一，属于无监督学习算法。 它解决了聚类问题。

如果给定一个项目数据集，具有某些特征和值，我们需要将这些项目集分类，那么可以使用 k-means 聚类算法解决此类问题。

K-means 聚类算法旨在最小化一个目标函数，称为平方误差函数，给出如下:

其中，J(V) => 目标函数

'||xi - vj||' => xi 和 vj 之间的欧几里得距离。

ci' => 第 i 个集群中的数据点数。

C => 簇数。

如何使用机器学习算法解决数据科学中的问题？

现在，让我们了解一下数据科学中最常见的问题类型以及解决问题的方法是什么。 所以在数据科学中，问题是使用算法来解决的，下面是可能问题的适用算法的图表表示:

这是A还是B？ :

我们可以参考这种类型的问题，它只有两个固定的解决方案，例如是或否，1或0，可能或可能不是。 而这类问题可以使用分类算法来解决。

这是不同的吗？ :

我们可以参考这种属于各种模式的问题，我们需要从中找出奇怪的问题。 此类问题可以使用异常检测算法来解决。

多少？

另一种类型的问题需要数值或数字，例如今天几点，今天的温度是多少，可以使用回归算法来解决。

这是如何组织的？

现在，如果您有一个需要处理数据组织的问题，那么可以使用聚类算法来解决。

聚类算法根据特征、颜色或其他共同特征对数据进行组织和分组。

Data Science Lifecycle

The life-cycle of data science is explained as below diagram.

数据科学生命周期的主要阶段如下:

1. 发现: 第一阶段是发现，其中涉及提出正确的问题。 当您开始任何数据科学项目时，您需要确定基本要求、优先级和项目预算是什么。 在这个阶段，我们需要确定项目的所有需求，例如人数、技术、时间、数据、最终目标，然后我们可以在第一个假设级别上构建业务问题。

2. 数据准备: 数据准备也称为数据整理。 在这个阶段，我们需要执行以下任务:

• 数据清洗

• 数据缩减

• 数据整合

• 数据转换

完成上述所有任务后，我们可以轻松地将这些数据用于我们的进一步处理。

3. 模型规划: 在这个阶段，我们需要确定建立输入变量之间关系的各种方法和技术。 我们将通过使用各种统计公式和可视化工具来应用探索性数据分析（EDA）来了解变量之间的关系并查看哪些数据可以告知我们。 用于模型规划的常用工具有:

• SQL Analysis Services

• R

• SAS

• Python

4. 建模: 在此阶段，模型构建过程开始。 我们将创建用于训练和测试目的的数据集。 我们将应用关联、分类和聚类等不同的技术来构建模型。

以下是一些常见的模型构建工具:

• SAS Enterprise Miner

• WEKA

• SPCS Modeler

• MATLAB

5. 操作化: 在这个阶段，我们将提供项目的最终报告，以及简报、代码和技术文档。 此阶段在全面部署之前为您提供小规模的完整项目性能和其他组件的清晰概览。

6. 沟通结果: 在这个阶段，我们将检查我们是否达到了我们在初始阶段设定的目标。 我们将与业务团队沟通调查结果和最终结果。

数据科学的应用:

• 图像识别和语音识别:
  数据科学目前用于图像和语音识别。 当您在 Facebook 上上传图片并开始收到要标记给您朋友的建议时。 这种自动标记建议使用图像识别算法，它是数据科学的一部分。

  当您使用"Ok Google、Siri、Cortana"等说话时，这些设备会根据语音控制做出响应，因此这可以通过语音识别算法实现。
  

• 游戏世界:
  在游戏世界中，机器学习算法的使用与日俱增。 EA Sports、索尼、任天堂正在广泛使用数据科学来增强用户体验。

• 互联网搜索:
  当我们想在互联网上搜索某些东西时，我们会使用不同类型的搜索引擎，例如 Google、Yahoo、Bing、Ask 等。所有这些搜索引擎都使用数据科学技术来改善搜索体验，您可以 在几分之一秒内获得搜索结果。

• 运输:
  运输行业也使用数据科学技术来制造自动驾驶汽车。 有了自动驾驶汽车，就很容易减少交通事故的数量。

• 卫生保健:
  在医疗保健领域，数据科学提供了很多好处。 数据科学正被用于肿瘤检测、药物发现、医学图像分析、虚拟医疗机器人等。

• 推荐系统:
  大多数公司，如亚马逊、Netflix、Google Play 等，都在使用数据科学技术通过个性化推荐来提供更好的用户体验。 例如，当你在亚马逊上搜索某样东西时，你开始得到类似产品的建议，这是因为数据科学技术。

• 风险检测:
  

  金融行业总是存在欺诈和损失风险的问题，但在数据科学的帮助下，这是可以挽救的。

  大多数金融公司都在寻找数据科学家来避免风险和任何类型的损失，从而提高客户满意度。

本文地址：https://www.itbaoku.cn/tutorial/cn_data_science-index.html