大规模数据集

大规模数据集

AI大模型技术：实现与优化

知识百科 • 数栈君 发表了文章 • 0 个评论 • 10 次浏览 • 2025-11-06 17:48 • 来自相关话题

随着人工智能技术的快速发展，AI大模型（Large Language Models, LLMs）正在成为企业数字化转型的核心驱动力。无论是数据中台的智能化升级，还是数字孪生与数字可视化场景的应用，AI大模型都扮演着越来越重要的角色。本文将深入探讨AI大模型的技... ...查看全部

批计算架构设计与分布式处理优化

知识百科 • 数栈君 发表了文章 • 0 个评论 • 94 次浏览 • 2025-09-17 21:30 • 来自相关话题

批计算架构设计与分布式处理优化批计算是一种常见的数据处理方式，通常用于处理大规模数据集。在批处理中，数据被分割成多个批次，每个批次的数据被独立处理。批处理的优点是能够处理大规模数据集，缺点是处理时间较长，无法实时处理数据。在设计批处理架构时，需要考虑以下几点：... ...查看全部

人工智能模型量化压缩技术实现

知识百科 • 数栈君 发表了文章 • 0 个评论 • 104 次浏览 • 2025-09-17 19:36 • 来自相关话题

人工智能模型量化压缩技术实现一、量化压缩技术概述量化压缩技术是通过降低模型参数的精度来减小模型大小，从而提高模型的推理速度。在深度学习领域，模型的大小和推理速度是两个重要的指标。随着模型复杂度的增加，模型大小和推理速度成为制约模型应用的重要因素。量化压缩技术通... ...查看全部

Hadoop核心参数调优策略与性能提升方法

知识百科 • 数栈君 发表了文章 • 0 个评论 • 37 次浏览 • 2025-09-17 18:26 • 来自相关话题

Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。它通过将数据分割成小块并将其存储在多个节点上，实现了并行处理。Hadoop的核心组件包括HDFS（分布式文件系统）和MapReduce（用于并行处理数据的计算模型）。为了充分发挥Hadoop的性能，... ...查看全部

Tez DAG 调度优化策略与性能调优实践

知识百科 • 数栈君 发表了文章 • 0 个评论 • 54 次浏览 • 2025-09-17 17:28 • 来自相关话题

Tez DAG 调度优化策略与性能调优实践Tez 是一个开源的分布式计算框架，它能够提供高效的数据处理能力，特别是在处理大规模数据集时。Tez 通过将任务分解为一系列的计算步骤，然后将这些步骤组织成有向无环图（DAG），从而实现了高效的数据处理。Tez DAG... ...查看全部

Hadoop分布式存储与MapReduce计算原理详解

知识百科 • 数栈君 发表了文章 • 0 个评论 • 110 次浏览 • 2025-09-17 14:44 • 来自相关话题

Hadoop是一个开源框架，用于存储大量数据并运行分布式应用。它主要由HDFS（Hadoop分布式文件系统）和MapReduce组成。HDFS用于存储数据，而MapReduce则用于处理数据。本文将详细介绍Hadoop的分布式存储和MapReduce计算原理。... ...查看全部

Hive配置文件明文密码加密处理方法

知识百科 • 数栈君 发表了文章 • 0 个评论 • 48 次浏览 • 2025-09-17 14:14 • 来自相关话题

在Hive配置文件中，明文密码的隐藏是一个常见的需求，这不仅能够提高系统的安全性，而且还能避免密码泄露的风险。本文将介绍如何对Hive配置文件中的明文密码进行加密处理。### 1. 什么是Hive配置文件？Hive是基于Hadoop的数据仓库工具，用于处理大规... ...查看全部

集团指标平台建设：实时数据处理与多维分析技术实现

知识百科 • 数栈君 发表了文章 • 0 个评论 • 73 次浏览 • 2025-09-17 11:05 • 来自相关话题

集团指标平台建设：实时数据处理与多维分析技术实现一、集团指标平台建设概述集团指标平台建设是企业数字化转型的重要组成部分，它通过实时数据处理与多维分析技术，帮助企业更好地理解业务状况，优化决策过程。集团指标平台建设需要综合运用大数据、人工智能、机器学习等前沿技术... ...查看全部

Hadoop分布式存储与MapReduce任务调度优化

知识百科 • 数栈君 发表了文章 • 0 个评论 • 77 次浏览 • 2025-09-16 20:30 • 来自相关话题

Hadoop是一个开源框架，用于存储大量数据并运行分布式应用。它是一个可靠的、可扩展的分布式计算框架，能够处理PB级别的数据。Hadoop的核心是HDFS（Hadoop分布式文件系统）和MapReduce。HDFS是一个分布式文件系统，用于存储大量数据，而Ma... ...查看全部

HDFS Namenode读写分离实现机制解析

知识百科 • 数栈君 发表了文章 • 0 个评论 • 44 次浏览 • 2025-09-16 17:51 • 来自相关话题

HDFS（Hadoop Distributed File System）是Hadoop的核心组件之一，用于存储大规模数据集。Namenode是HDFS的主节点，它负责管理文件系统的命名空间和客户端对文件的访问。为了提高Namenode的性能和可用性，HDFS引... ...查看全部
更多...

AI大模型技术：实现与优化

知识百科 • 数栈君 发表了文章 • 0 个评论 • 10 次浏览 • 2025-11-06 17:48 • 来自相关话题

随着人工智能技术的快速发展，AI大模型（Large Language Models, LLMs）正在成为企业数字化转型的核心驱动力。无论是数据中台的智能化升级，还是数字孪生与数字可视化场景的应用，AI大模型都扮演着越来越重要的角色。本文将深入探讨AI大模型的技... ...查看全部

批计算架构设计与分布式处理优化

知识百科 • 数栈君 发表了文章 • 0 个评论 • 94 次浏览 • 2025-09-17 21:30 • 来自相关话题

批计算架构设计与分布式处理优化批计算是一种常见的数据处理方式，通常用于处理大规模数据集。在批处理中，数据被分割成多个批次，每个批次的数据被独立处理。批处理的优点是能够处理大规模数据集，缺点是处理时间较长，无法实时处理数据。在设计批处理架构时，需要考虑以下几点：... ...查看全部

人工智能模型量化压缩技术实现

知识百科 • 数栈君 发表了文章 • 0 个评论 • 104 次浏览 • 2025-09-17 19:36 • 来自相关话题

人工智能模型量化压缩技术实现一、量化压缩技术概述量化压缩技术是通过降低模型参数的精度来减小模型大小，从而提高模型的推理速度。在深度学习领域，模型的大小和推理速度是两个重要的指标。随着模型复杂度的增加，模型大小和推理速度成为制约模型应用的重要因素。量化压缩技术通... ...查看全部

Hadoop核心参数调优策略与性能提升方法

知识百科 • 数栈君 发表了文章 • 0 个评论 • 37 次浏览 • 2025-09-17 18:26 • 来自相关话题

Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。它通过将数据分割成小块并将其存储在多个节点上，实现了并行处理。Hadoop的核心组件包括HDFS（分布式文件系统）和MapReduce（用于并行处理数据的计算模型）。为了充分发挥Hadoop的性能，... ...查看全部

Tez DAG 调度优化策略与性能调优实践

知识百科 • 数栈君 发表了文章 • 0 个评论 • 54 次浏览 • 2025-09-17 17:28 • 来自相关话题

Tez DAG 调度优化策略与性能调优实践Tez 是一个开源的分布式计算框架，它能够提供高效的数据处理能力，特别是在处理大规模数据集时。Tez 通过将任务分解为一系列的计算步骤，然后将这些步骤组织成有向无环图（DAG），从而实现了高效的数据处理。Tez DAG... ...查看全部

Hadoop分布式存储与MapReduce计算原理详解

知识百科 • 数栈君 发表了文章 • 0 个评论 • 110 次浏览 • 2025-09-17 14:44 • 来自相关话题

Hadoop是一个开源框架，用于存储大量数据并运行分布式应用。它主要由HDFS（Hadoop分布式文件系统）和MapReduce组成。HDFS用于存储数据，而MapReduce则用于处理数据。本文将详细介绍Hadoop的分布式存储和MapReduce计算原理。... ...查看全部

Hive配置文件明文密码加密处理方法

知识百科 • 数栈君 发表了文章 • 0 个评论 • 48 次浏览 • 2025-09-17 14:14 • 来自相关话题

在Hive配置文件中，明文密码的隐藏是一个常见的需求，这不仅能够提高系统的安全性，而且还能避免密码泄露的风险。本文将介绍如何对Hive配置文件中的明文密码进行加密处理。### 1. 什么是Hive配置文件？Hive是基于Hadoop的数据仓库工具，用于处理大规... ...查看全部

集团指标平台建设：实时数据处理与多维分析技术实现

知识百科 • 数栈君 发表了文章 • 0 个评论 • 73 次浏览 • 2025-09-17 11:05 • 来自相关话题

集团指标平台建设：实时数据处理与多维分析技术实现一、集团指标平台建设概述集团指标平台建设是企业数字化转型的重要组成部分，它通过实时数据处理与多维分析技术，帮助企业更好地理解业务状况，优化决策过程。集团指标平台建设需要综合运用大数据、人工智能、机器学习等前沿技术... ...查看全部

Hadoop分布式存储与MapReduce任务调度优化

知识百科 • 数栈君 发表了文章 • 0 个评论 • 77 次浏览 • 2025-09-16 20:30 • 来自相关话题

Hadoop是一个开源框架，用于存储大量数据并运行分布式应用。它是一个可靠的、可扩展的分布式计算框架，能够处理PB级别的数据。Hadoop的核心是HDFS（Hadoop分布式文件系统）和MapReduce。HDFS是一个分布式文件系统，用于存储大量数据，而Ma... ...查看全部

HDFS Namenode读写分离实现机制解析

知识百科 • 数栈君 发表了文章 • 0 个评论 • 44 次浏览 • 2025-09-16 17:51 • 来自相关话题

HDFS（Hadoop Distributed File System）是Hadoop的核心组件之一，用于存储大规模数据集。Namenode是HDFS的主节点，它负责管理文件系统的命名空间和客户端对文件的访问。为了提高Namenode的性能和可用性，HDFS引... ...查看全部
没有更多了...
热门产品
数雁EasyDigit 数栈DTinsight 数驹DTengine 易知微EasyV
解决方案
政务解决方案 港口解决方案 基金解决方案 制造解决方案 保险解决方案 高校解决方案 证券解决方案 文旅解决方案 银行解决方案 大宗商品解决方案
快速入口
合作与生态 开源社区 Github
联系我们

合作咨询 market@dtstack.com

联系电话 400-002-1024

总部地址 杭州市余杭区五常街道阿里巴巴数字生态创新园4号楼袋鼠云

袋鼠云官方订阅号
袋鼠云官方订阅号
热门搜索：
数据中台 企业数据中台 金融数据中台 离线数据中台 数据中台公司 一站式数据中台 数据中台开发 一站式数据开发 数据中台解决方案 大数据分析 数据分析平台 新基建 大数据开发 大数据开发平台 数据化转型解决方案 信创 数据可视化 数字孪生 可视化大屏 数字化转型

友情链接： 易知微 云掣

@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号