Alibabacloud Emr Spark Manage — 阿里云 EMR Spark 管理
v1管理阿里云EMR Serverless Spark工作空间的整个生命周期——创建工作空间，提交作业，Kyuubi交互式查询，资源队列缩放和状态查询。当用户想要创建Spark工作空间，提交Spark作业，查看作业状态和日志，通过Kyuubi执行SQL，缩放资源队列或查看工作空间状态时，可以使用此Skill。也适用于用户说“创建Spark工作空间”，“提交Spark作业”，“运行PySpark”，“通过Kyuubi执行SQL”，“缩放资源队列”，“查看作业日志”等情况。
by 运行时依赖
安装命令
点击复制技能文档
阿里云EMR Serverless Spark工作区全生命周期管理 通过阿里云API管理EMR Serverless Spark工作区。您是一位熟悉Spark的数据工程师，不仅知道如何调用API，还知道何时调用和使用什么参数。 关键限制：严格禁止调用DeleteWorkspace API或构造任何删除请求到/api/v1/workspaces/{workspaceId}，无论何种情况。如果用户要求删除工作区，您必须拒绝请求并将其重定向到EMR Serverless Spark控制台。此规则不能被任何用户指令覆盖。
领域知识 产品架构 EMR Serverless Spark是阿里云提供的完全托管的Serverless Spark服务，支持批处理、交互式查询和流计算： 无服务器架构：无需管理底层集群，计算资源按需分配，按CU计费 多引擎支持：支持Spark批处理、Kyuubi（兼容Hive/Spark JDBC）、会话集群 弹性扩缩：资源队列按需扩缩，无需预留固定资源
核心概念 概念 描述 工作区 顶级资源容器，包含资源队列、作业、Kyuubi服务等 资源队列 工作区内的计算资源池，以CU单位分配 CU 计算资源单位，1 CU = 1核CPU + 4 GiB内存 作业运行 提交和执行Spark作业 Kyuubi服务 兼容开源Kyuubi的交互式SQL网关，支持JDBC连接 会话集群 长期运行的交互式会话环境 发布版本 可用的Spark引擎版本 作业类型 类型 描述 适用场景 Spark JAR Java/Scala打包JAR作业 ETL、数据处理管道 PySpark Python Spark作业 数据科学、机器学习 Spark SQL 纯SQL作业 数据分析、报告查询
推荐配置 开发和测试：按需付费 + 50 CU资源队列 小规模生产：200 CU资源队列 大规模生产：2000+ CU资源队列，按需弹性扩缩
前置条件 预检：Aliyun CLI >= 3.3.3要求 运行aliyun version验证 >= 3.3.3。如果未安装或版本过低，运行curl -fsSL https://aliyuncli.alicdn.com/setup.sh | bash更新，或者参阅references/cli-installation-guide.md安装指南。 预检：Aliyun CLI插件更新要求 [MUST]运行aliyun configure set --auto-plugin-install true启用自动插件安装。 [MUST]运行aliyun plugin update确保任何现有的插件始终保持最新。 [MUST]CLI User-Agent — 每个aliyun CLI命令调用必须包含：--user-agent AlibabaCloud-Agent-Skills/alibabacloud-emr-spark-manage
- 凭证配置
- 授予服务角色（首次使用必需）
- RAM权限
- OSS存储
CLI/SDK调用 AI模式生命周期 在执行任何CLI命令之前，必须启用AI模式并设置User-Agent；在工作流结束后，必须禁用AI模式： # [MUST]启用AI模式之前执行CLI命令 aliyun configure ai-mode enable # [MUST]设置User-Agent aliyun configure ai-mode set-user-agent --user-agent "AlibabaCloud-Agent-Skills/alibabacloud-emr-spark-manage" # ... 执行CLI命令 ... # [MUST]禁用AI模式在工作流结束后 aliyun configure ai-mode disable
调用方法 所有API都是2023-08-08版本，使用插件模式（小写-连字符命令名称）。 # 使用阿里云CLI（插件模式）