libcurl:如何使用原始文件名下载URL? (等效于" -o/- 远程名称")
问题1:当使用libcurl下载URL时,如何保留下载文件的原始名称? Libcurl要求程序员生成文件名.当URL具有 例如在下面的URL中,它易于弄清目标名称为 vimqrc.pdf . http://tnerual.eriogerg.free.fr/vimqrc.pdf) 但是,当URL动态生成目标名称时,例如below url下载 adberdr1010_eu_es.exe. http://get.adobe.com/reader/download/?installer=Reader_10.1_Basque_for_Windows&standalone=1%22 curl(-o)或wget如何算出 的名称 //invoked as ./a.out #include #include char *location = "/tmp/test/out"; size_t write_data(vo
2 2024-04-08
编程技术问答社区
我如何用C语言制作自己的头文件?
我试图制作自己的标头文件,但它不起作用vim说 wget.h:2:2: error: invalid preprocessing directive #ifndef__WGET_H__ wget.h:3:2: error: invalid preprocessing directive #define__WGET_H__ wget.h:7:2: error: #endif without #if 我的代码是: //wget header file #ifndef__WGET_H__ #define__WGET_H__ int my_wget (char web_address[]); #endif /*__WGET_H__*/ 对我来说似乎还不错(我读过的例子与我一样),我不知道出了什么问题.有什么想法吗? 解决方案 一切都是正确的,只是缺少空间. #ifndef __WGET_H__ #define __WGET_H__ int my_wget
0 2024-04-07
编程技术问答社区
wget + JavaScript?
我有此网页,该网页使用客户端端JavaScript在向用户显示之前在页面上格式化数据. 是否有可能以某种方式使用wget下载页面并使用某种客户端JavaScript引擎将数据格式化,因为它将显示在浏览器中? 解决方案 您可能会以 phantomjs 之类的方式实现这一目标 您可以编写一个像浏览器一样加载页面的phantomjs脚本,然后进行屏幕截图或使用JS检查页面并拔出数据. 其他解决方案 这是一个简单的小phantomjs脚本,可以在网页上触发JavaScript,并允许您本地将其删除: file: get.js var page = require('webpage').create(), system = require('system'), address; address = system.args[1]; page.scrollPosition= { top: 4000, left: 0} page.open(address,
0 2024-04-03
编程技术问答社区
我可以使用WGET生成一个网站的URL的网站地图吗?
我需要一个可以蜘蛛网站的脚本,并返回以普通文本或类似格式的所有爬行页面的列表;我将作为站点地图提交搜索引擎.我可以使用WGET生成网站的站点地图吗?还是可以做同样的php脚本? 解决方案 wget --spider --recursive --no-verbose --output-file=wgetlog.txt http://somewebsite.com sed -n "s@.\+ URL:\([^ ]\+\) .\+@\1@p" wgetlog.txt | sed "s@&@\&@" > sedlog.txt 这将创建一个称为sedlog.txt的文件,其中包含指定网站上的所有链接.您可以使用PHP或Shell脚本将文本文件站点地图转换为XML站点地图.调整WGET命令的参数(Accept/Repard/includ/dublude)以仅获取您需要的链接. 其他解决方案 您可以使用此Perl脚本来执行技巧:
2 2024-04-03
编程技术问答社区
从外部网站获取所有脚本
我在这里有一些代码,我使用此代码渲染外部页面(类似于iframe),但我有一个源代码.但是,当我启动代码时,一切都很好,但是一个窗口在那里显示,我无法关闭他的内容以查看内容.这是代码: 代码: 这生成了一个很好的HTML页面,但是要关闭窗口,我还需要使用此书签 获得所有脚本 javascript: (function(){ s = document.getElementsByTagName('SCRIPT'); tx = ''; sr = []; for (i = 0; i
0 2024-04-01
编程技术问答社区
从Bitbucket (mercurial)下载Wget压缩版提示
我们想将Mercurial用于Web开发,但是我们不能(也不想)在共享主机上安装Mercurial.我们尝试使用如上所述的WGET 在这里 ,但是我有401错误. 凭据和链接是正确的(已修改为安全). 有没有办法从命令行下载源? 这个错误还是我做错了什么? 响应下面: $ wget _http://xxxx:yyyyyyy@bitbucket.org/username/repo/get/be51983f6357.zip --2011-10-31 00:26:50-- http://username:password@bitbucket.org/username/repo/get/be51983f6357.zip Resolving bitbucket.org... 207.223.240.182, 207.223.240.181 Connecting to bitbucket.org|207.223.240.182|:80... connected. H
0 2024-03-31
编程技术问答社区
有可能在BitBucket获得原始文件吗?
github通过使用https://raw.github.com/user/repository/branch/filename之类的链接提供对公共存储库中文件的直接访问.使用这样的链接以及curl或wget,我可能会轻松地在公共存储库中获取文件. 我最近将我在Github拥有的一些存储库移至Bitbucket,因为Bitbucket免费为我提供了五个私人存储库,而Free总是对我来说是一个可爱的词.但是碰巧我在我的公共Bitbucket存储库中缺少此功能. bitbucket上是否有类似的功能? 如果是这样,获取文件的URL格式是什么? 解决方案 是. https://bitbucket.org///raw// 对于此仓库:/a> 选择一个文件(例如):现在单击原始按钮:似乎Bitbucket总是在文件之前添加SHA.您可以指定提交或头部似乎也有效:
0 2024-03-31
编程技术问答社区
将二进制文件转换为图像
我需要找到一种将二进制文件转换为图像的快速方法. 二进制文件由n n n矩阵组成,我想将0与颜色相关联,将1与其他颜色相关联. 我需要对1000个二进制文件进行此操作. 如果可能的话,我想避免使用MATLAB,是否有任何工具/软件(对于UNIX)可以帮助我? 编辑: 这正是我想要的! 在页面底部,它说:"提示:要处理许多文件,请使用shell脚本传递此URL和您所需的参数以WGET,然后将输出引导到文件"" 但是我不能这样做. 我尝试了: wget --post-data="blocksize=10&width=10&offset=0&markval=-1&autoscale=0" \ --post-file="userfile=/path.../filename" http://www.ryanwestafer.com/stuff/bin2img.php \ > output ,但我所得到的只是在本地文件夹中下载的原始页面! 解决
4 2024-03-30
编程技术问答社区
弹出窗口阻止用wget从网站批量下载pdf文件
我想从此网站 wget使用下面的bash脚本: for year in {14..57}; do for month in `seq -w 1 12`; do # -w for leading zero for day in `seq -w 1 31`; do wget -A pdf -nc -E -nd --no-check-certificate --content-disposition http://anno.onb.ac.at/pdfs/ONB_lzg_18$year$month$day.pdf done done done 除了某些没有可用的报纸问题外,即使存在,我也无法下载任何问题.我会遇到错误的错误,例如1814年6月30日现有的问题: http://anno.onb.ac.at/pdfs/ONB_lzg_18140630.pdf Aufl"osen des Hostnamens anno.onb.ac.at (anno
2 2024-03-29
编程技术问答社区
阻止wget编辑标题
我在WGET上遇到问题.当我使用WGET下载某些内容时,它显示了ProgressBar中的URL.我想设置自己的标题并保留它.这与这个问题相似:代码: title hello wget http://www.white.nl/custom/img/slides/slide2/glow.png 如何阻止WGET编辑标题? -Q什么都没显示,并且使用-nv它不再显示进度了,我想看到 解决方案 按照 wget源代码除非给出--no-verbose选项,否则它会更改Windows上的标题. 因此,保持标题并查看进度的唯一方法是在单独的[最小化]窗口中启动wget,例如: start /min /wait wget http://url
2 2024-03-29
编程技术问答社区
如何根据wget检索的内容做一个if语句
我有一个带有此命令的批处理文件 wget www.example.com || powershell.exe command example.com返回1或0作为content-type明文 但是它是否返回1或0 powershell.exe命令无法运行.我希望0的回应导致执行PowerShell命令 响应的长度是预期的1. 解决方案 如果wget实用程序返回errorlevel 退出代码 0或1,您应该使用 wget www.example.com && powershell.exe command 或 wget www.example.com if %errorlevel% equ 0 powershell.exe command 资源: ||和&& IF errorlevel sidenote :在我的答案的素数版本中,疑问wget实用程序输出(显示 0或1 唯一>或返回退出代码吗?),尝试使用下一个资源的第一种情况(显示)
0 2024-03-29
编程技术问答社区
使用wget或curl从Jenkins下载工件
我正在尝试使用DOS批处理脚本从Jenkins项目下载工件.这不仅仅是微不足道的原因是我的工件是一个zip文件,其中包括詹金斯构建编号的名称,因此我不知道确切的文件名. 我目前的攻击计划是使用wget指向:/lastsuccessfulbuild/trifact/ 进行某种递归/镜像下载. 如果我执行以下操作: wget -r -np -l 1 -A zip --auth-no-challenge --http-user=**** --http-password=**** http://*.*.*.*:8080/job/MyProject/lastSuccessfulBuild/artifact/ (*S是我更改为So的字符) 我永远不会得到zip文件.如果我省略-A ZIP选项,我确实会获取index.html,所以我认为授权正在工作,除非是某种会话缓存问题? 使用-A zip我作为响应的一部分: 删除...+8080/job/myprojec
0 2024-03-29
编程技术问答社区
WGET未被认为是内部或外部命令
我正在制作一个程序,以自动更新我的游戏,并在创建新的开发项目并添加新的补丁程序.当我运行补丁更新时,它不将WGET识别为内部或外部命令. 游戏: :Checkforupdates cls cd C:\AirlineSim\ echo Checking for Updates wget "http://interversesoftware.weebly.com/uploads/4/8/5/8/48585729/aspatcher.bat" if /i not exist "ASpatcher.bat" (echo Could not retrieve update file.) && pause if exist "ASpatcher.bat" call "ASpatcher.bat" if exist "ASpatcher.bat" del "ASpatcher.bat" goto menu 更新程序中的更多代码
0 2024-03-29
编程技术问答社区
VBS/批量检查是否下载完成
是否有任何方法使用vbs ant默认选项(没有 我正在使用的脚本我不知道如何检查文件是否100%下载,并且无法找到使用默认窗口(7/8)功能(而不必启用自定义功能)的方法. 另外,如果从vbs脚本中使用批处理(或任何其他默认的Windows功能),这也可以接受. . 解决方案 这是一个混合脚本[batch/vbscript],可以从用户从输入箱键入的URL下载文件. @echo off mode con:cols=70 lines=8 & Color 9B Title -==*==- Batch Downloader file by Hackoo -==*==- ( echo Option Explicit echo. echo Dim Message, result echo Dim Title, Text1, Text2 echo. echo Message = "Type the URL of the file to download." ec
4 2024-03-29
编程技术问答社区
批量脚本获取html网站并解析内容(无需wget、curl或其他外部应用程序)。
我只需要使用Windows CMD功能.我需要网站上的两个var/strings才能在批处理中使用,以验证操作.为了不太简单,此网站还需要身份验证. 我在某个地方找到了这个: @set @x=0 /* :: ChkHTTP.cmd @echo off setlocal set "URL=http://www.google.com" cscript /nologo /e:jscript "%~f0" %URL% | find "200" > nul if %ErrorLevel% EQU 0 ( echo Web server ok % Put your code here % ) else ( echo Web server error reported ) goto :EOF JScript */ var x=new ActiveXObject("Microsoft.XMLHTTP"); x.open("GET",WSH.Arguments(0));x.send(); w
2 2024-03-29
编程技术问答社区
如何将wget的输出转移到一个文件或DB上?
我正在尝试使用一个小脚本从多个页面下载字段.一方面,我只能从一个页面上获取它...但是我真正的问题是我不知道如何将输出移交给数据库表?我如何从curl/lynx | grep(将是所有列表项目)中获取输出到DB? #!/bin/bash lynx --source "http://www.thewebsite.com"|cut -d\" -f8|grep "" 我将连接到的数据库将是一个MySQL数据库.我们可以将虚拟表称为" ListTable".请尝试坚持bash?我不允许在我使用的服务器上编译,并且似乎无法让Curl与PHP一起使用.无论如何,我认为我需要制作一个变量,然后系统地将变量的内容传递给数据库,对吗? 解决方案 使用尴尬,sed或perl之类的东西创建插入语句,然后将其输送到您的SQL客户端(PSQL或MySQL). 其他解决方案 只需编写一个python脚本,该脚本读取从stdin an the the the the the the
0 2024-03-29
编程技术问答社区
如何使用Curl在多个子目录中下载多个文件?
我正在使用卷发下载多个文件.所有文件的基本URL都相同,例如 这些目录中的数据按日期和文件类型进一步分组.因此,我需要的第一个数据具有此目录 第二个数据为 我需要下载直到2017年最后一天的数据 如何使用卷曲或任何其他类似工具将所有文件下载到一个本地文件夹,最好采用原始文件名? 解决方案 在bash终端中使用for f in {001..365}; do curl https://mydata.gov/daily/2017/"$f"/17d/Roger"$f".gz -o /your-directory/Roger"$f".gz; done. 用要保存文件的目录替换your-directory.
0 2024-03-28
编程技术问答社区
如何从需要按键的URL中wget?
我试图从此URL下载: 使用bash wget. 但是,我需要手动按链接到"在此处下载历史数据"的右侧 有没有办法在命令行中代码? EDIT 1 或来自爪哇也很棒. 解决方案 我认为您需要使用支持JavaScript的HTML客户端库,例如PhantomJS,如其他选项包括python的mechanize库,以及中提到的一些内容. 如果您正在寻找Java中的无头浏览库,我会看看 其他解决方案 您无法下载它,因为下载是通过JavaScript触发的. 更好的是,您可以在普通计算机上下载它,而不是将其上传到另一台服务器,该服务器可通过HTTP直接访问该文件.您可以在命令行中下载它. 其他解决方案 由于我想自己学习PhantomJS,所以我尝试了它,但是phantomjs似乎还不够成熟,无法正确支持这一点. 由于我花了一些时间了解链接的工作原理,因此,这是php中的解决方案,假设您已经安装了php-cli,则应该能够将其复制并粘贴到命令行中
0 2024-03-28
编程技术问答社区
在Unix命令行或Shell脚本上创建网页的静态副本
我需要在shell脚本中创建网页的静态副本(所有媒体资源,例如CSS,图像和JS).此副本应在任何浏览器中脱机. 某些浏览器具有相似的功能(另存为...网页,完成),该功能从页面创建一个文件夹,然后将外部资源重写为此文件夹中的相对静态资源. 在Linux命令行上完成和自动将其自动化到给定URL的方法是什么? 解决方案 您可以使用wget这样: wget --recursive --convert-links --domains=example.org http://www.example.org 此命令将递归下载从页面上的超链接到达www.example.org的任何页面,不遵循示例之外的链接. 检查wget手动页面以获取更多用于控制递归的选项. 其他解决方案 您想要该工具wget镜像一个站点: $ wget -mk http://www.example.com/ 选项: -m-mirror 打开适合镜像的选项.此选项打开
2 2024-03-28
编程技术问答社区
WGET-同时连接是缓慢的
我使用以下命令将浏览器从URL列表中的响应附加到依次输出文件中: wget -i /Applications/MAMP/htdocs/data/urls.txt -O - \ >> /Applications/MAMP/htdocs/data/export.txt 这很好,完成后说: Total wall clock time: 1h 49m 32s Downloaded: 9999 files, 3.5M in 0.3s (28.5 MB/s) 为了加快我的速度: cat /Applications/MAMP/htdocs/data/urls.txt | \ tr -d '\r' | \ xargs -P 10 $(which wget) -i - -O - \ >> /Applications/MAMP/htdocs/data/export.txt 可以同时打开连接,从而使其更快: Total wall clock ti
2 2024-03-28
编程技术问答社区