黑帽联盟

 找回密码
 会员注册
查看: 1928|回复: 2
打印 上一主题 下一主题

[其它] PHP CURL教学详解

[复制链接]

895

主题

38

听众

3323

积分

管理员

Rank: 9Rank: 9Rank: 9

  • TA的每日心情
    无聊
    5 天前
  • 签到天数: 1644 天

    [LV.Master]伴坛终老

    目前最完整的CURL中文说明,学PHP的要好好掌握,有很多的参数,大部份都很有用,真正掌握了它和正则,一定就是个采集高手了。

    PHP中的CURL函式库(Client URL Library Function)
    curl_close        关闭一个curl会话
    curl_copy_handle        拷贝一个curl连接资源的所有内容和参数
    curl_errno        返回一个包含当前会话错误讯息的数字编号
    curl_error        返回一个包含当前会话错误讯息的字符串
    curl_exec        执行一个curl会话
    curl_getinfo        获取一个curl连接资源句柄的讯息
    curl_init        初始化一个curl会话
    curl_multi_add_handle        向curl批处理会话中添加单独的curl句柄资源
    curl_multi_close        关闭一个批处理句柄资源
    curl_multi_exec        解析一个curl批处理句柄
    curl_multi_getcontent        返回获取的输出的文本流
    curl_multi_info_read        获取当前解析的curl的相关传输讯息
    curl_multi_init        初始化一个curl批处理句柄资源
    curl_multi_remove_handle        移除curl批处理句柄资源中的某个句柄资源
    curl_multi_select        Get all the sockets associated with the cURL extension, which can then be "selected"
    curl_setopt_array        以数组的形式为一个curl设置会话参数
    curl_setopt        为一个curl设置会话参数
    curl_version        获取curl相关的版本讯息
    curl_init() 函式的作用初始化一个curl会话,curl_init()函式唯一的一个参数是可选的,表示一个url地址。
    curl_exec() 函式的作用是执行一个curl会话,唯一的参数是curl_init()函式返回的句柄。
    curl_close() 函式的作用是关闭一个curl会话,唯一的参数是curl_init()函式返回的句柄。
    curl_version()函式的作用是获取curl相关的版本讯息,curl_version()函式有一个参数,不清楚是做什么的
    curl_getinfo()函式的作用是获取一个curl连接资源句柄的讯息,curl_getinfo()函式有两个参数,第一个参数是curl的资源句柄,第二个参数是下面一些常量:

    可选的常量包括:
    CURLINFO_EFFECTIVE_URL        最后一个有效的url地址
    CURLINFO_HTTP_CODE        最后一个收到的HTTP代码
    CURLINFO_FILETIME        远程获取文档的时间,如果无法获取,则返回值为「-1」
    CURLINFO_TOTAL_TIME        最后一次传输所消耗的时间
    CURLINFO_NAMELOOKUP_TIME        名称解析所消耗的时间
    CURLINFO_CONNECT_TIME        建立连接所消耗的时间
    CURLINFO_PRETRANSFER_TIME        从建立连接到准备传输所使用的时间
    CURLINFO_STARTTRANSFER_TIME        从建立连接到传输开始所使用的时间
    CURLINFO_REDIRECT_TIME        在事务传输开始前复位向所使用的时间
    CURLINFO_SIZE_UPLOAD        上传数据量的总值
    CURLINFO_SIZE_DOWNLOAD        下载数据量的总值
    CURLINFO_SPEED_DOWNLOAD        平均下载速度
    CURLINFO_SPEED_UPLOAD        平均上传速度
    CURLINFO_HEADER_SIZE        header部分的大小
    CURLINFO_HEADER_OUT        发送请求的字符串
    CURLINFO_REQUEST_SIZE        在HTTP请求中有问题的请求的大小
    CURLINFO_SSL_VERIFYRESULT        Result of SSL certification verification requested by setting CURLOPT_SSL_VERIFYPEER
    CURLINFO_CONTENT_LENGTH_DOWNLOAD        从Content-Length: field中读取的下载内容长度
    CURLINFO_CONTENT_LENGTH_UPLOAD        上传内容大小的说明
    CURLINFO_CONTENT_TYPE        下载内容的「Content-type」值,NULL表示服务器没有发送有效的「Content-Type: header」
    curl_setopt()函式的作用是为一个curl设置会话参数。curl_setopt_array()函式的作用是以数组的形式为一个curl设置会话参数。

    可设置的参数有:
    CURLOPT_AUTOREFERER        自动设置header中的referer讯息
    CURLOPT_BINARYTRANSFER        在启用CURLOPT_RETURNTRANSFER时候将获取数据返回
    CURLOPT_COOKIESESSION        启用时curl会仅仅传递一个session cookie,忽略其他的cookie,

    默认状况下curl会将所有的cookie返回给服务端。session cookie是指那些用来判断服务器端的session是否有效而存在的cookie。
    CURLOPT_CRLF        启用时将Unix的换行符转换成回车换行符。
    CURLOPT_DNS_USE_GLOBAL_CACHE        启用时会启用一个全局的DNS缓存,此项为线程安全的,并且默认为true。
    CURLOPT_FAILONERROR        显示HTTP状态代码,默认行为是忽略编号小于等于400的HTTP讯息
    CURLOPT_FILETIME        启用时会尝试修改远程文文件中的讯息。结果讯息会通过
    curl_getinfo()函式的CURLINFO_FILETIME选项返回。
    CURLOPT_FOLLOWLOCATION        启用时会将服务器服务器返回的「Location:」放在header中递归的返回给服务器,

    使用CURLOPT_MAXREDIRS可以限定递归返回的数量。
    CURLOPT_FORBID_REUSE        在完成交互以后强迫断开连接,不能重用。
    CURLOPT_FRESH_CONNECT        强制获取一个新的连接,替代缓存中的连接。
    CURLOPT_FTP_USE_EPRT        TRUE to use EPRT (and LPRT) when doing active FTP downloads.
    Use FALSE to disable EPRT and LPRT and use PORT only. Added in PHP 5.0.0.
    CURLOPT_FTP_USE_EPSV        TRUE to first try an EPSV command for FTP transfers before
    reverting back to PASV. Set to FALSE to disable EPSV.
    CURLOPT_FTPAPPEND        TRUE to append to the remote file instead of overwriting it.
    CURLOPT_FTPASCII        An alias of CURLOPT_TRANSFERTEXT. Use that instead.
    CURLOPT_FTPLISTONLY        TRUE to only list the names of an FTP directory.
    CURLOPT_HEADER        启用时会将头文件的讯息作为数据流输出。
    CURLOPT_HTTPGET        启用时会设置HTTP的method为GET,因为GET是默认是,所以只在被修改的情况下使用。
    CURLOPT_HTTPPROXYTUNNEL        启用时会通过HTTP代理来传输。
    CURLOPT_MUTE        讲curl函式中所有修改过的参数恢复默认值。
    CURLOPT_NETRC        在连接建立以后,访问~/.netrc文件获取用户名和密码讯息连接远程站点。
    CURLOPT_NOBODY        启用时将不对HTML中的body部分进行输出。
    CURLOPT_NOPROGRESS        启用时关闭curl传输的进度条,此项的默认设置为true
    CURLOPT_NOSIGNAL        启用时忽略所有的curl传递给php进行的信号。在SAPI多线程传输时此项被默认打开。
    CURLOPT_POST        启用时会发送一个常规的POST请求,类型为:application/x-www-form-urlencoded,就像窗体提交的一样。
    CURLOPT_PUT        启用时允许HTTP发送文件,必须同时设置CURLOPT_INFILE和CURLOPT_INFILESIZE
    CURLOPT_RETURNTRANSFER        讲curl_exec()获取的讯息以文件流的形式返回,而不是直接输出。
    CURLOPT_SSL_VERIFYPEER        FALSE to stop cURL from verifying the peer's certificate.
    CURLOPT_UNRESTRICTED_AUTH        在使用CURLOPT_FOLLOWLOCATION产生的header中的多个locations中持续追加用户名和密码讯息,即使域名已发生改变。
    CURLOPT_UPLOAD        启用时允许文件传输
    CURLOPT_VERBOSE        启用时会汇报所有的讯息,存放在STDERR或指定的CURLOPT_STDERR中
    CURLOPT_BUFFERSIZE        每次获取的数据中读入缓存的大小,这个值每次都会被填满。
    CURLOPT_CLOSEPOLICY        不是CURLCLOSEPOLICY_LEAST_RECENTLY_USED就是
    CURLCLOSEPOLICY_OLDEST,还存在另外三个,但是curl暂时还不支持。.
    CURLOPT_CONNECTTIMEOUT        在发起连接前等待的时间,如果设置为0,则不等待。
    CURLOPT_DNS_CACHE_TIMEOUT        设置在内存中保存DNS讯息的时间,默认为120秒。
    CURLOPT_FTPSSLAUTH        The FTP authentication method (when is activated):
    CURLFTPAUTH_SSL (try SSL first), CURLFTPAUTH_TLS (try TLS first), or CURLFTPAUTH_DEFAULT (let cURL decide).
    CURLOPT_HTTP_VERSION        设置curl使用的HTTP协议,CURL_HTTP_VERSION_NONE(让curl自己判断),CURL_HTTP_VERSION_1_0(HTTP/1.0),CURL_HTTP_VERSION_1_1(HTTP/1.1)
    CURLOPT_HTTPAUTH        使用的HTTP验证方法,可选的值 有:CURLAUTH_BASIC,CURLAUTH_DIGEST,CURLAUTH_GSSNEGOTIATE,
    CURLAUTH_NTLM,CURLAUTH_ANY,CURLAUTH_ANYSAFE, 可以使用「|」操作符分隔多个值,
    curl让服务器选择一个支持最好的值,CURLAUTH_ANY等价于CURLAUTH_BASIC | CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM,CURLAUTH_ANYSAFE等价于CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM
    CURLOPT_INFILESIZE        设定上传文件的大小
    CURLOPT_LOW_SPEED_LIMIT        当传输速度小于CURLOPT_LOW_SPEED_LIMIT时,PHP会根据
    CURLOPT_LOW_SPEED_TIME来判断是否因太慢而取消传输。
    CURLOPT_LOW_SPEED_TIME        The number of seconds the transfer should be below CURLOPT_LOW_SPEED_LIMIT
    for PHP to consider the transfer too slow and abort. 当传输速度小于
    CURLOPT_LOW_SPEED_LIMIT时,PHP会根据CURLOPT_LOW_SPEED_TIME来判断是否因太慢而取消传 输。
    CURLOPT_MAXCONNECTS        允许的最大连接数量,超过是会通过CURLOPT_CLOSEPOLICY决定应该停止哪些连接
    CURLOPT_MAXREDIRS        指定最多的HTTP复位向的数量,这个选项是和CURLOPT_FOLLOWLOCATION一起使用的。
    CURLOPT_PORT        一个可选的用来指定连接端口的量
    CURLOPT_PROXYAUTH        The HTTP authentication method(s) to use for the proxy connection.
    CURLOPT_RESUME_FROM        在恢复传输时传递一个字节偏移量(用来断点续传)
    CURLOPT_SSL_VERIFYHOST        1 to check the existence of a common name in the SSL peer certificate.
    CURLOPT_SSLVERSION        The SSL version (2 or 3) to use. By default PHP will try to determine this itself, although in some cases this must be set manually.
    CURLOPT_TIMECONDITION        如果在CURLOPT_TIMEVALUE指定的某个时间以后被编辑过,则使用CURL_TIMECOND_IFMODSINCE返回页面,
    如果没有被修 改过,并且CURLOPT_HEADER为true,则返回一个"304 Not Modified"的header,
    CURLOPT_HEADER为false,则使用CURL_TIMECOND_ISUNMODSINCE,
    默认值为CURL_TIMECOND_IFMODSINCE
    CURLOPT_TIMEOUT        设置curl允许执行的最长秒数
    CURLOPT_TIMEVALUE        设置一个CURLOPT_TIMECONDITION使用的时间戳,在默认状态下使用的是CURL_TIMECOND_IFMODSINCE
    CURLOPT_CAINFO        The name of a file holding one or more certificates to verify the peer with. This only makes sense when used in combination with CURLOPT_SSL_VERIFYPEER.
    CURLOPT_CAPATH        A directory that holds multiple CA certificates. Use this option alongside CURLOPT_SSL_VERIFYPEER.
    CURLOPT_COOKIE        设定HTTP请求中「Set-Cookie:」部分的内容。
    CURLOPT_COOKIEFILE        包含cookie讯息的文件名称,这个cookie文件可以是Netscape格式或者HTTP风格的header讯息。
    CURLOPT_COOKIEJAR        连接关闭以后,存放cookie讯息的文件名称
    CURLOPT_CUSTOMREQUEST        A custom request method to use instead of "GET" or "HEAD" when doing a HTTP request.
    CURLOPT_EGBSOCKET        Like CURLOPT_RANDOM_FILE, except a filename to an Entropy Gathering Daemon socket.
    CURLOPT_ENCODING        header中「Accept-Encoding: 」部分的内容,支持的编码格式为:"identity","deflate","gzip"。

    如果设置为空字符串,则表示支持所有的编码格式
    CURLOPT_FTPPORT        The value which will be used to get the IP address to use for the FTP "POST" instruction.
    CURLOPT_INTERFACE        在外部网络接口中使用的名称,可以是一个接口名,IP或者主机名。
    CURLOPT_KRB4LEVEL        KRB4(Kerberos 4)安全级别的设置,可以是一下几个值之一:"clear","safe","confidential","private"。默认的值 为"private",设置为null的时候表示禁用KRB4,现在KRB4安全仅能在FTP传输中使用。
    CURLOPT_POSTFIELDS        在HTTP中的「POST」操作。如果要传送一个文件,需要一个@开头的文件名
    CURLOPT_PROXY        设置通过的HTTP代理服务器
    CURLOPT_PROXYUSERPWD        连接到代理服务器的,格式为「[username]:[password]」的用户名和密码。
    CURLOPT_RANDOM_FILE        设定存放SSL用到的随机数种子的文件名称
    CURLOPT_RANGE        设置HTTP传输范围,可以用「X-Y」的形式设置一个传输区间,如果有多个HTTP传输,则使用逗号分隔多个值,形如:"X-Y,N-M"。
    CURLOPT_REFERER        设置header中"Referer: " 部分的值。
    CURLOPT_SSL_CIPHER_LIST        A list of ciphers to use for SSL. For example, RC4-SHA and TLSv1 are valid cipher lists.
    CURLOPT_SSLCERT        传递一个包含PEM格式证书的字符串。
    CURLOPT_SSLCERTPASSWD        传递一个包含使用CURLOPT_SSLCERT证书必需的密码。
    CURLOPT_SSLCERTTYPE        The format of the certificate. Supported formats are "PEM" (default), "DER", and "ENG".
    CURLOPT_SSLENGINE        The identifier for the crypto engine of the private SSL key specified in CURLOPT_SSLKEY.
    CURLOPT_SSLENGINE_DEFAULT        The identifier for the crypto engine used for asymmetric crypto operations.
    CURLOPT_SSLKEY        The name of a file containing a private SSL key.
    CURLOPT_SSLKEYPASSWD        The secret password needed to use the private SSL key specified in CURLOPT_SSLKEY.
    CURLOPT_SSLKEYTYPE        The key type of the private SSL key specified in CURLOPT_SSLKEY. Supported key types are "PEM" (default), "DER", and "ENG".
    CURLOPT_URL        需要获取的URL地址,也可以在PHP的curl_init()函式中设置。
    CURLOPT_USERAGENT        在HTTP请求中包含一个」user-agent」头的字符串。
    CURLOPT_USERPWD        传递一个连接中需要的用户名和密码,格式为:「[username]:[password]」。
    CURLOPT_HTTP200ALIASES        设置不再以error的形式来处理HTTP 200的响应,格式为一个数组。
    CURLOPT_HTTPHEADER        设置一个header中传输内容的数组。
    CURLOPT_POSTQUOTE        An array of FTP commands to execute on the server after the FTP request has been performed.
    CURLOPT_QUOTE        An array of FTP commands to execute on the server prior to the FTP request.
    CURLOPT_FILE        设置输出文件的位置,值是一个资源类型,默认为STDOUT (浏览器)。
    CURLOPT_INFILE        在上传文件的时候需要读取的文件地址,值是一个资源类型。
    CURLOPT_STDERR        设置一个错误输出地址,值是一个资源类型,取代默认的STDERR。
    CURLOPT_WRITEHEADER        设置header部分内容的写入的文件地址,值是一个资源类型。
    CURLOPT_HEADERFUNCTION        设置一个回调函式,这个函式有两个参数,第一个是curl的资源句柄,
    第二个是输出的header数据。header数据的输出必须依赖这个函式,返回已写入的数据大小。
    CURLOPT_PASSWDFUNCTION        设置一个回调函式,有三个参数,第一个是curl的资源句柄,第二个是一个密码提示符,
    第三个参数是密码长度允许的最大值。返回密码的值。
    CURLOPT_READFUNCTION        设置一个回调函式,有两个参数,第一个是curl的资源句柄,第二个是读取到的数据。
    数据读取必须依赖这个函式。返回读取数据的大小,比如0或者EOF。
    CURLOPT_WRITEFUNCTION        设置一个回调函式,有两个参数,第一个是curl的资源句柄,第二个是写入的数据。
    数据写入必须依赖这个函式。返回精确的已写入数据的大小
    curl_copy_handle()函式的作用是拷贝一个curl连接资源的所有内容和参数


    curl_error()函式的作用是返回一个包含当前会话错误讯息的字符串。
    curl_errno() 函式的作用是返回一个包含当前会话错误讯息的数字编号。
    curl_multi_init()函式的作用是初始化一个curl批处理句柄资源。
    curl_multi_add_handle() 函式的作用是向curl批处理会话中添加单独的curl句柄资源。
    url_multi_add_handle() 函式有两个参数,第一个参数表示一个curl批处理句柄资源,第二个参数表示一个单独的curl句柄资源。
    curl_multi_exec() 函式的作用是解析一个curl批处理句柄,curl_multi_exec()函式有两个参数,第一个参数表示一个批处理句柄资源,第二个参数是一个引用值的参数,表示剩余需要处理的单个的curl句柄资源数量。
    curl_multi_remove_handle() 函式表示移除curl批处理句柄资源中的某个句柄资 源,curl_multi_remove_handle()函式有两个参数,第一个参数表示一个curl批处理句柄资源,第二个参数表示一个单独的curl句柄资源。
    curl_multi_close() 函式的作用是关闭一个批处理句柄资源。

    curl_multi_getcontent()函式的作用是在设置了CURLOPT_RETURNTRANSFER的情况下,返回获取的输出的文本流。
    curl_multi_info_read()函式的作用是获取当前解析的curl的相关传输讯息。
    curl_multi_select()
    Get all the sockets associated with the cURL extension, which can then be "selected"

    范例解说:
    如果要用php来抓取网页,一般人最常想到的就是「fopen」这个函式了。但现在有了更强大的函式,「curl」,至于这个函式怎么用呢?就往下看吧!
    如使用MySQL一样,首先,我们必须先建立一个「curl」的联机,也因此,必须使用到「$ch = curl_init()」这个函式。而为了怕建立联机忘了关闭。因此,必须先写好关闭的函式,「curl_close($ch)」。
    接下来,你可以设定他截取网页的选项, 一般来说常用的有:
    CURLOPT_RETURNTRANSFER        将结果回传成字符串
    CURLOPT_URL        设定截取网址
    CURLOPT_HEADER        是否截取header的信息
    CURLOPT_FOLLOWLOCATION        是否抓取转址
    CURLOPT_USERAGENT        浏览器的user agent
    最后,再执行「curl_exec($ch)」以取出结果就可以了。
    而以抓取yahoo为例,若我们要伪装成google bot去抓取

    当然,你也可以将选项们设定一个数组,以增加设定时的阅读度。这时就得动用「curl_setopt_array()」这个函式了。
    帖子永久地址: 

    黑帽联盟 - 论坛版权1、本主题所有言论和图片纯属会员个人意见,与本论坛立场无关
    2、本站所有主题由该帖子作者发表,该帖子作者与黑帽联盟享有帖子相关版权
    3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和黑帽联盟的同意
    4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
    5、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责
    6、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
    7、黑帽联盟管理员和版主有权不事先通知发贴者而删除本文

    勿忘初心,方得始终!

    12

    主题

    5

    听众

    192

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    擦汗
    2017-10-11 12:07
  • 签到天数: 125 天

    [LV.7]常住居民III

    好长,学语言是一件耐心的事情
    回复

    使用道具 举报

    2

    主题

    0

    听众

    114

    积分

    黑帽新手

    Rank: 2

  • TA的每日心情
    擦汗
    2019-8-19 11:08
  • 签到天数: 54 天

    [LV.5]常住居民I

    学语言是一件耐心的事情
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 会员注册

    发布主题 !fastreply! 收藏帖子 返回列表 搜索
    回顶部