Akka.net: 访问集群中的远程行为者
在聚类的环境中,我有一个种子节点和node1和node2. 来自Node1,我想将消息发送给在Node2上创建的演员. Node2上此节点的本地路径是Akka:myakkasystem/user/anactor. 现在,我想通过使用类似的参与者从Node1发送来自Node1的演员的消息: var actorSystem = ActorSystem.Create("MyTestSystem"); var c = actorSystem.ActorSelection("/user/ConsoleReceiver"); c.Tell("Hello World"); node2上的演员是这样创建的: var actorSystem = ActorSystem.Create("MyTestSystem"); var r = actorSystem.ActorOf(Props.Create(), "ConsoleR
0 2024-04-20
编程技术问答社区
Windows服务器上的Hadoop
我正在考虑使用Hadoop在我现有的Windows 2003服务器上处理大型文本文件(大约10台具有16GB RAM的四核计算机) 问题是: 是否有关于如何在Windows上配置Hadoop群集的好教程? 有什么要求? Java + Cygwin + SSHD?还有其他吗? hdfs,它在Windows上播放吗? 我想在流模式下使用Hadoop.在C#? 中开发自己的映射器/还原器的任何建议,工具或技巧 您使用什么来提交和监视工作? 谢谢 解决方案 来自: Win32被支持为A 开发 平台.分布式操作具有 在Win32上没有经过很好的测试,所以 不支持A 生产 平台. 我认为是:"你一个人." 也就是说,如果您对安装cygwin和java shim的安装不感到不安,可能会有希望,根据 也可以运行hadoop 守护程序作为Windows服务使用 Java服务包装器(下载 这是单独的).这仍然需要 cygwin被安装为h
0 2024-04-14
编程技术问答社区
与SQL Server集群的连接字符串
任何人都可以指向我还是告诉我如何将连接字符串写入SQL Server群集实例? 我想建立与SQL Server群集的特定实例的数据库(初始目录)建立可信赖的连接.我发现了一段时间,但找不到Google的正式答案. 我要求C#ado.net代码的连接字符串. 我知道如何将连接字符串写入普通的一机非集群SQL Server实例. 解决方案 服务器名称是虚拟服务器名称. 示例: 您有物理pserver1,pserver2 这些一起使群集cserver - 此托管虚拟服务器vserv1(也许,请参见下文)vserv2 所以,它是vserv1\instancename或vserv1.您不使用物理服务器名称 编辑,基于虚拟服务器的可能名称数: 群集可以是活动/被动/A/P)或活动/活动(A/A) 在A/P中,仅托管了一台虚拟服务器,并且备用节点不被积极使用. 在A/A中,有2个虚拟服务器,通常每个节点host ost.每个节点都待命.
0 2024-04-13
编程技术问答社区
bash: /usr/bin/hydra_pmi_proxy: 没有这样的文件或目录
我正在努力建立一个MPI群集,遵循在Ubuntu 教程.我有运行的东西,我的机器文件是: pythagoras:2 # this will spawn 2 processes on pythagoras geomcomp # this will spawn 1 process on geomcomp 教程状态: 并运行它(-n旁边的参数指定要在节点之间产生和分布的过程数): mpiu@ub0:〜$ mpiexec -n 8 -f Machinefile ./mpi_hello 使用-n 1和-n 2,它运行良好,但是在-n 3中,它失败了,如下所示: gsamaras@pythagoras:/mirror$ mpiexec -n 1 -f machinefile ./mpi_hello Hello from processor 0 of 1 gsamaras@pythagoras:/mirror$ mpiexec -n 2
28 2024-04-07
编程技术问答社区
如何在MPI中创建新的类型
我是MPI的新手,我想为Residence struct创建一个新的数据类型.我只想看看是否可以正确创建新类型. 结构住宅 { 双X; 双y; }; 我的新MPI类型 MPI_Datatype createRecType() { // Set-up the arguments for the type constructor MPI_Datatype new_type; int count = 2; int blocklens[] = { 1,1 }; MPI_Aint indices[2]; //indices[0]=0; MPI_Type_extent( MPI_DOUBLE, &indices[0] ); MPI_Type_extent( MPI_DOUBLE, &indices[1] ); MPI_Datatype old_types[] = {MPI_DOUBLE,MPI_DOUBLE};
0 2024-04-06
编程技术问答社区
从源代码构建MPICH2
作为>这个问题,我开始从来源构建MPICH2.我找到了本教程:./configure --disable-f77 --disable-fc --disable-fortran [seems to be OK] make; sudo make install [long output with one warning] libtool: warning: relinking 'lib/libmpicxx.la' root@pythagoras:/home/gsamaras/mpich-3.1.4# mpich2version bash: mpich2version: command not found 我在做什么错?请注意,我首先安装了带有APT-GET的MPICH2,为了将其删除,我做到了: apt-get remove --purge mpich2 apt-get autoremove // which might removed something that I need
2 2024-04-05
编程技术问答社区
在集群上加载库
我成功地在C ++中汇编了一个程序,并在我们这里有一个集群上.我需要运行一个SGE脚本来运行模拟.我得到的错误是这个 ./main:加载共享时错误 库:libboost_thread.so.1.45.0: 无法打开共享对象文件:否 这样的文件或目录 启动程序时,我是否需要指定库的名称?我使用的脚本在下面 #!/bin/sh # (c) 2008 Sun Microsystems, Inc. All rights reserved. Use is subject to license terms. # This is a simple example of a SGE batch script # request Bourne shell as shell for job #$ -S /bin/sh #$ -N cr_number # this name shows in qstat #$ -S /bin/bash # run with this
2 2024-04-02
编程技术问答社区
在一台机器上运行一个Hadoop集群
我是Hadoop环境的新手. 我想知道使用虚拟机上是否可以在一台计算机上运行群集(包含2个或3个节点). 欢迎任何澄清. 谢谢. 解决方案 来自 virtual Hadoop wiki : 云和虚拟化需要单独检查,但是在所有情况下,答案都是"是的,您可以虚拟化,是的,您可以部署到云中,但是您需要知道后果并相应地计划". 此Wiki页面是您开始考虑如何在VM上设置Hadoop的好地方. 其他解决方案 是的,我们可以在一台计算机上安装许多VM.但是,如果我们考虑(例如)Cloudera VM 4.7,则需要每种4 GB的RAM.因此,对于3 VM的3*4 = 12 GB.而且,除此之外,您的机器还具有运行的应用程序,它需要至少2 GB.因此,总的来说,您需要14多个GB的RAM.而且,也应相应地进行硬盘分区. 其他解决方案 我建议您在您的情况下分布伪分布模式.在一台计算机上运行多个VM是绝对可以的.但是RAM您应该足以处理这些VM以及您的主要应
0 2024-03-30
编程技术问答社区
R,多重对应分析后的层次聚类问题
我想群集数据集(600000个观测值),对于每个群集,我想获得主要组件. 我的向量由一封电子邮件和30个定性变量组成. 每个定量变量有4个类:0,1,2和3. 所以我要做的第一件事是加载库Factominer并加载我的数据: library(FactoMineR) mydata = read.csv("/home/tom/Desktop/ACM/acm.csv") 然后,我将变量设置为定性(虽然我不包括"电子邮件"): for(n in 1:length(mydata)){mydata[[n]]
0 2024-03-30
编程技术问答社区
实施MySQL NDB Cluster的限制是什么?
我想为MySQL群集6实现NDB群集. 我想知道是否存在实现NDB群集的任何局限性.例如,NDB群集的RAM大小,数据库数或数据库的大小. 解决方案 200万个数据库?我的意思是"行". 无论如何,关于限制:要记住的最重要的事情之一是NDB/MySQL群集不是通用数据库.最值得注意的是,加入操作,但也可以进行子征服和范围作用(例如:从现在到一周前创建的订单)可能比您期望的要慢得多.这部分是由于数据分布在多个节点上.尽管已经进行了一些改进,但加入表演仍然非常令人失望. 另一方面,如果您需要处理许多(最好是小)并发事务(通常是单行更新/inserts/delete查找,请按主键查找),并且您可以管理所有数据,以使所有数据保持在内存中,那么它可以成为一个非常可扩展和性能的解决方案. 您应该问自己为什么要群集.如果您只希望您现在拥有的普通数据库,除了增加了99,999%的可用性,那么您可能会感到失望.当然,MySQL群集可以为您提供巨大的可用性和正常运行时间,但是您的
0 2024-03-30
编程技术问答社区
集群环境下的Java批处理作业
我们有一个带有2个JBOSS节点的群集.我们有一个批处理作业,将所有用户的详细信息从Active Directory加载到DB.这项工作每天都在运行.它是在非聚类环境中运行的,因此我们将其设计为单身人士. 现在我们有了一个聚集的环境,我不知道什么是获得相同结果的最佳方法.我希望每天只运行一次.我们使用春季和休眠状态,我看着春季批处理.我无法对我的问题得到任何简洁的答案. 有人可以让我知道您是否已经在集群环境中实施了批处理?在这种情况下,最好的解决方案是什么? 解决方案 我们通过通过MQ触发和启动作业来实现此功能(HTTP请求启动该作业也将起作用).调度程序在队列上输入了一条消息,即使我们有" n"节点在听排队,一个节点也会收到消息,并基于其内容,请开始作业.您也可以使用http做到这一点. 真正的"解决方案"是在外部安排批处理作业,而不是通过内部cron触发器.实际的开始机制是次要的. 其他解决方案 还请考虑 https://github.com/willsc
2 2024-03-29
编程技术问答社区
在Linux上以批处理模式运行R。输出问题
我正在Linux群集上运行R程序,因为它对我的处理器非常要求.我的程序旨在将PDF的多个图(大约15个)图输出到该程序中,该程序从该文件夹中收集其输入. 我希望我的程序在后台运行,并在登录群集时继续运行. 首先,我尝试了: cd /Users/The/Folder/With/My/RScript #changed working directory nohup ./BatchProgram.R & 但是,这是不起作用的,因为它将输出附加到称为nohup.out的文件,并且没有输出我需要的任何PDF. 接下来我尝试了: cd /Users/The/Folder/With/My/RScript #changed working directory R #to run R source(‘BatchProgram.R’) #to run my program 这给了我所需的输出,但没有在后台运行程序(当我从群集中登录时会停止). 有人可以启发我如何获
2 2024-03-29
编程技术问答社区
初始脚本在databricks笔记本中工作正常,但在连接到集群时失败了
我想将INIT脚本(具有所有库依赖关系)附加到数据映中的交互式群集.初始脚本看起来像以下附件,并且在Databricks笔记本中正常工作. 我希望这个shell脚本在群集启动下运行,但是当我将其配置为群集的初始脚本时,它会返回错误.这是我将初始脚本附加到我的群集的方式, 错误看起来像这样, 我找到了 解决方案 请删除额外(")以成功安装初始脚本. 根据我的repro:我使用了与上述相同的代码. 结果:集群终止原因:init脚本失败 删除了额外的报价("). 结果: init_scripts成功安装了. 其他解决方案 我遇到了同一个问题,但是我的是我使用了sudo apt install something,一段时间后,我意识到我需要添加-y标志,因为命令需要用户输入.因此,请尝试避免用户输入命令或添加标志: sudo apt install -y package
2 2024-03-29
编程技术问答社区
重新安装石块
我是使用岩石集群的新手.最近,我尝试安装freetype的较新版本.在这样做之前,我做了yum remove freetype.在执行此操作时,删除了所有取决于rocks的软件.后来,我发现yum remove删除了取决于要删除的软件包的软件包. 现在,在做rocks list roll时,我得到rocks: command not found.尽管文件系统未安装在compute nodes>. 上,但所有数据仍然完好无损 另外,当登录到头节点时,我会得到 Last login: Wed Jun 3 20:04:59 2015 from 172.28.4.149 Rocks 6.0 (Mamba) Profile built 09:16 19-Jun-2012 Kickstarted 15:10 19-Jun-2012 -bash: /opt/gridengine/util/arch: No such file or directory -bash: /opt/grid
2 2024-03-29
编程技术问答社区
如何使用ssh和bash脚本将本地变量传递给远程?
ssh remotecluster 'bash -s' export TEST="sdfsd" > echo $TEST > EOF 这什么都没有打印. 即使我将变量存储到文件中并将其复制到远程. ,它仍然不起作用. TEST="sdfsdf" echo $TEST > temp.par scp temp.par remotecluster ssh remotecluster 'bash -s' export test2=`cat temp.par` > echo $test2 > EOF 仍然什么都没打印. 所以我的问题是如何将局部变量作为变量传递给远程计算机? 答案已在 this 解决方案 此处文档中给出的变量分配TEST="sdfsd"不是真正的变量分配,i. e.实际上,变量分配实际上不会直接在此处文档的声明/定义中执行(但稍后,当此处的文档通过shell评估时). . 此外,在本地壳执行命令之
2 2024-03-28
编程技术问答社区
在SLURM中运行一个没有顶级脚本的二进制文件
在SGE/PBS中,我可以像本地一样将二进制可执行文件提交到集群中.例如: qsub -b y -cwd echo hello 将提交一个名为Echo的作业,该作业将" Hello"一词写入其输出文件. 如何向Slurm提交类似的工作.它预计该文件在第一行上有一个哈希解释器.在Slurm上,我得到 $ sbatch echo hello sbatch: error: This does not look like a batch script. The first sbatch: error: line must start with #! followed by the path to an interpreter. sbatch: error: For instance: #!/bin/sh 或使用pseuodo qsub: $ qsub echo hello There was an error running the SLURM sbatch c
0 2024-03-28
编程技术问答社区
如何在qsub中指定错误日志文件和输出文件
我有一个qsub脚本 #####----submit_job.sh---##### #!/bin/sh #$ -N job1 #$ -t 1-100 #$ -cwd SEEDFILE=/home/user1/data1 SEED=$(sed -n -e "$SGE_TASK_ID p" $SEEDFILE) /home/user1/run.sh $SEED 问题是 - 它将所有错误和输出文件(job1.ejobid&job1.ojobid)放在同一目录中,从我运行qsub survist_job.sh的位置,而我想保存这些文件(输出和错误日志文件在相同的位置(指定为$ SEED_OUTPUT). 我试图将行更改为 /home/user1/run.sh $SEED -o $SEED_output ,但它不起作用.有任何建议吗?如何指定默认输出和错误日志文件的路径和名称?? 解决方案 通常错误,输出文件作为
12 2024-03-28
编程技术问答社区
如何在服务器上的qsub作业完成后自动运行一个bash脚本?
我想在我发送到服务器的所有作业都完成时运行一个脚本. 例如,我发送 ssh server "for i in config*; do qsub ./run 1 $i; done" 我得到了开始的工作清单.我想自动在服务器上启动另一个脚本以处理这些作业后的输出. 我很感谢任何有助于我避免以下不高度解决方案的建议: 如果我将1000个作业ID中的每一个从上面的呼叫中保存在单独的文件中,我可以根据当前运行作业列表的列表检查每个文件的内容,即从呼叫输出到: ssh qstat 我只需要每半小时检查一次,但是我想有更好的方法. 解决方案 这取决于您正在使用的作业调度程序以及哪种版本,但是如果您的结果处理也可以与作业相同. 在最新版本的扭矩(以及带有电网引擎等)中管理大量相关工作的一种非常方便的方式是启动任何个人工作作为工作阵列(参见如果执行此操作,则可以提交一项分析作业,该作业对一系列作业有依赖,该作业只有一旦阵列中的所有作业才能完成:(参见http
6 2024-03-28
编程技术问答社区
在Bash脚本中使用一个循环变量来传递不同的命令行参数
我有一个C ++程序,我使用 从命令行中传递两个双打作为输入 int main(int argc, char *argv[]){ double a,b; a = atof(argv[1]); b = atof(argv[2]); further code..... 我使用qsub实用程序在群集上运行代码,并且我有一个名为'jobsub.sh`的bash脚本来提交看起来像这样的作业: #!/bin/csh -f hostname cd /home/roy/codes/3D # Change directory first -- replace Mysubdir set startdir = `pwd` # Remember the directory we're in if( ! -d /scratch/$USER ) then mkdir /scratch/$USER #
0 2024-03-28
编程技术问答社区