Spark应用是用来做什么的？
Spark因其自身优势，发展势头迅猛，目前几乎所有一站式大数据平台都已集成了Spark，很多行业也都正在用Spark来改善他们的业务，以下是Spark在一些行业的具体用途：
保险行业：通过使用Spark的机器学习功能来处理和分析所有索赔，优化索赔报销流程。
医疗保健：使用Spark Core，Streaming和SQL构建病人护理系统。
零售业：使用Spark分析销售点数据和优惠券使用情况。
互联网：使用Spark的ML功能来识别虚假的配置文件，并增强他们向客户展示的产品匹配。
银行业：使用机器学习模型来预测某些金融产品的零售的资料。
政府：分析地理，时间和财政支出。
科学研究：通过时间，深度，地理分析地震事件来预测未来的事件。
投资银行：分析日内股价以预测未来的价格走势。
地理空间分析：按时间和地理分析Uber旅行，以预测未来的需求和定价。
航空公司：建立预测航空旅行延误的模型。
设备：预测建筑物超过临界温度的可能性......
spark为什么要在linux上运行
老师说要我们学习LINUX，说是要在哪个里面编程，但是我还是不知道为什么要在LINUX里面编呢？听说LINUX很稳定，是不是这个原因呢？
本文前提已经确安装scala,sbt及spark 简述程序挂载集群运行步骤：
1、构建sbt标准项目工程结构：SBT项目工程结构图其：~/build.sbt文件用配置项目基本信息（项目名、组织名、项目版本、使用scala版本或者再配置些项目所需依赖包）；project/build.properties文件配置要使用版本sbt项目操作；project/plugins.sbt文件给项目添加所需插件；project/Build.scala文件项目进行些复杂高级配置；详细sbt安装配置实用参见博文：
2、相应目录编写程序spark程序必须要创建SparkContext实例SparkContext("master", "projectName", "SPARK_HOME", "yourProject.jar path")
3、sbt compile命令编译程序错sbt package命令程序打包默认打包jar文件存放路径：项目根目录/target/scala-xx.xx.xx/your-project-name_xx.xx.xx-xx.jar
4、打包jar问价添加SPAK_CLASSPATH（linux根据作用范围同种更改环境变量式说我配置式：spark根目录conf/spark-env.sh文件添加SPARK_CLASSPATH:xxxxxxxx）
5、配置环境变量spark根目录使用./run脚本运行程序例：./run spark.examples.SparkPi spark://masterIP:port注意程序涉及IO操作起默认路径SPARK_HOME；至于何修改路径待研究
转载仅供参考
什么是spark
spark是一个通用计算框架。Spark是一个通用计算框架，用于快速处理大规模数据。Spark是一种与Hadoop相似的开源集群计算环境，但Spark在内存中执行任务，比Hadoop更快。Spark支持多种数据源，如CSV、JSON、HDFS、SQL等，并提供了多种高级工具，Spark还提供了分布式计算中的数据共享和缓存机制，使得大规模数据处理变得更加高效和可靠。Spark支持多种编程语言，如Java、Python、Scala和R语言，并且还提供了超过80种高级算法，使用户可以快速构建不同的应用。同时，Spark还支持交互式的Python和Scala的shell，可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法，可以非常方便地与其他的开源产品进行融合，可以访问各种数据源。常见的计算机框架：1、TensorFlowTensorFlow是一个用于机器学习和深度学习的开源框架，由Google开发。它支持多种编程语言，如Python、C++、Java和Scala等，并提供了丰富的API和工具，使得用户可以轻松地构建和训练各种机器学习模型。TensorFlow还具有高度的可扩展性，可以处理大规模的数据集和模型，并且可以在不同的硬件平台上运行。2、PyTorchPyTorch是一个用于机器学习和深度学习的开源框架，由Facebook开发。它基于动态图模式，使得模型的构建和调试非常容易。PyTorch还提供了强大的GPU加速功能，可以在短时间内对大规模数据集进行训练。3、Apache SparkApache Spark是一个用于大数据处理的快速、通用和容错的开源框架，由Apache软件基金会开发。它支持多种编程语言，如Java、Python、Scala和R等，并提供了多种高级工具和算法，如Spark SQL、Spark Streaming、Spark GraphX等。此外，Spark还提供了分布式计算中的数据共享和缓存机制，使得大规模数据处理变得更加高效和可靠。
