IDEA连接Linux上的Hadoop并对HDFS进行操作

Windows软件准备和Linux上版本相同的Hadoop压缩包解压: 将放在Linux上面的Hadoop压缩包(hadoop_xxxx.tar.gz)放在Windows任意硬盘中任意(建议新创建的一个Hadoop文件夹)文件夹, 然后直接进行解压即可, 不需...

   数栈君  发表于2024-04-19 15:53  258  0

数栈+AI:数栈V6.2创新发布,让数据开发更智能

近日,以“Data+AI,构建新质生产力”为主题的袋鼠云春季发布会圆满落幕,大会带来了一系列“+AI”的数字化产品与最新行业沉淀,旨在将数据与AI紧密结合,打破传统的生产力边界,赋能企业实现更高质量、更高效率的数字化发展。会上,袋鼠云数栈产品负责人偷天带来了融...

   数栈君  发表于2024-04-18 09:24  549  0

大数据知识图谱——基于知识图谱+深度学习的大数据(KBQA)NLP医疗知识问答可视化系统(2)

六、 构建neo4j知识图谱开启Node4j数据库:连接数据库 通过bolt协议(数据传输更快)对绝对路径进行拼接 获取json文件路径 这里使用的Json为部分数据量,这里数据txt和json格式都有,我们用json就可以了。连接我们所建的neo4j数据库:...

   数栈君  发表于2024-04-17 10:28  523  0

大数据知识图谱——基于知识图谱+深度学习的大数据(KBQA)NLP医疗知识问答可视化系统(1)

一、项目概述知识图谱是将知识连接起来形成的一个网络。由节点和边组成,节点是实体,边是两个实体的关系,节点和边都可以有属性。知识图谱除了可以查询实体的属性外,还可以很方便的从一个实体通过遍历关系的方式找到相关的实体及属性信息。基于知识图谱+flask的KBQA医...

   数栈君  发表于2024-04-17 10:25  311  0

Flink 使用场景

Apache Flink 功能强大,支持开发和运行多种不同种类的应用程序。它的主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、K8s 在内的多种资源管理框架上,还支持...

   数栈君  发表于2024-04-17 10:20  196  0

SpringCloud】从实际业务问题出发去分析Eureka-Server端源码

前言前段时间遇到了一个业务问题就是k8s滚动发布Eureka微服务的过程中接口会有很多告警,当时想着应该是Ribbon没有同步到实时的Eureka缓存,导致列表中存在下线服务,于是通过Redis手动更新了Ribbon缓存(详细实现可以见上篇文章:通过Redis...

   数栈君  发表于2024-04-16 17:06  129  0

RabbitMQ的幂等性、优先级队列和惰性队列

一、幂等性1、概念用户对于同一操作发起的一次请求或者多次请求的结果是一致的,不会因为多次点击而产生了副作用。举个最简单的例子,那就是支付,用户购买商品后支付,支付扣款成功,但是返回结果的时候网络异常,此时钱已经扣了,用户再次点击按钮,此时会进行第二次扣款,返回...

   数栈君  发表于2024-04-16 17:03  153  0

【Hadoop】下载安装及伪分布式集群搭建教程

1.概述hadoop有三种安装模式单机模式,只在一台机器上运行,存储用的本地文件系统而不是HDFS。伪分布式模式,存储采用HDFS,名称节点和数据节点在同一台机器上。分布式模式,标准的分布式集群。做实验或者学习阶段选择伪分布式就好,本文将详细讲解在Linux搭...

   数栈君  发表于2024-04-15 18:06  208  0

从零开始Hadoop安装和配置,图文手把手教你,定位错误(已部署成功)

1.事前准备Hadoop,说白了就是让我们计算机的算力可以进行分散,小唐这个月的搭建是真的,啊啊啊啊啊,为了让后人避免踩坑,以及后续自己也可以回来看看,就简单的说一下自己的搭建流程。咱们首先准备好这些软件1. VMware2. CentOS-7-x86_643...

   数栈君  发表于2024-04-15 18:03  237  0

一文理解Spark的基本概念和工作原理

在Hadoop 1.x版本中,采用的是MRv1版本的MapReduce编程模型,包括3个部分:运行时环境(JobTracker和TaskTracker)、编程模型(MapReduce)、数据处理引擎(MapTask和ReduceTask)。但是MRv1存在以下...

   数栈君  发表于2024-04-12 10:53  232  0
1989条数据,每页显示10条
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群