前言 在7月份 go 团队正式推出了官方的漏洞检测工具 - govulncheck, govulncheck 默认向 https://vuln.go.dev/ 漏洞数据库请求, 对数据库的请求不包含代码只有使用的包，你也可以使用 -db 来指导所使用的漏洞数据库，所使用的数据库必须实现相应的规范。 govulncheck 具有以下限制: Govulncheck在分析函数指针和接口调用时采用保守的方法，这可能导致一些情况下的误报或不准确的调用堆栈。 使用reflect进行的函数调用对于静态分析是不可见的。仅通过这些调用才能访问的易受攻击的代码将不会被报告。使用unsafe包可能导致漏报。 由于Go二进制文件不包含详细的调用信息，govulncheck无法显示检测到的漏洞的调用图。对于二进制文件中但无法访问的代码，它可能还会报告误报。 目前还不支持 silencing 漏洞发现。请参阅https://go.dev/issue/61211 。 Govulncheck只能读取使用Go 1.18及更高版本编译的二进制文件。 对于无法提取符号信息的二进制文件，govulncheck会报告二进制文件所依赖的所有模块的漏洞。 govulncheck 架构图 govulncheck 还提供了一个可用的 API govulncheck,使开发者能够方便的将 govulncheck 集成到各种工具之中。 安装 通过以下命令安装 govulncheck: 1 go install golang.org/x/vuln/cmd/govulncheck@latest 使用 安装完 govulncheck 后，我们就可以使用了，进入项目路径中，执行 govulncheck ./... 。 以下是我的一个项目的输出: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 Scanning your code and 508 packages across 71 dependent modules for known vulnerabilities....

最近在实现一个功能时需要使用第三方的接口,由于第三方只提供了一个 WSDL 文件的链接,于是研究了 golang 如何解析 WSDL 并调用相应接口, 本文就是介绍 WSDL 和 go 如何解析并调用。 WSDL 介绍 WSDL 是 Web Services Description Language（Web服务描述语言）的缩写。它是一种用于描述基于Web服务的通信协议和消息格式的XML格式语言。 WSDL 被广泛用于描述Web服务的接口和操作。它定义了Web服务所提供的功能、方法、参数、数据类型以及与服务进行交互的方式。通过WSDL文件，客户端应用程序可以了解如何与特定的Web服务进行通信。 WSDL文件通常包含以下几个主要部分： 服务定义：描述了Web服务的名称、命名空间和位置。 类型定义：定义了Web服务中使用的数据类型，例如字符串、整数等。 消息定义：定义了Web服务中使用的消息格式，包括输入和输出消息。 操作定义：定义了Web服务的操作或方法，包括输入和输出消息以及相关的参数。 绑定定义：定义了Web服务使用的通信协议和消息格式，例如SOAP（Simple Object Access Protocol）和HTTP（Hypertext Transfer Protocol）。 服务定义：将服务、绑定和端口等部分组合在一起，定义了Web服务的完整描述。 使用WSDL，开发人员可以生成客户端代码，使其能够与Web服务进行交互。客户端可以根据WSDL文件了解Web服务的结构和可用方法，以便正确地构造请求和解析响应。 总之，WSDL是一种用于描述Web服务接口和操作的语言，它提供了一种标准化的方式来描述和访问Web服务。 gowsdl go语言如何解析 wsdl呢,我们使用 gowsdl 来解析 wsdl ,生成相应的 golang 代码。 安装 1 go install github.com/hooklift/gowsdl/cmd/gowsdl@latest 生成代码 使用命令 gowsdl -o myservice.go http://www.example.com/myservice?wsdl 生成代码。如果网络情况不好，我们也可以将 WSDL 文件下载下来解析 gowsdl -o xx.go a.xml。 解析完毕会生成相应的客户端文件，我们只要通过生成的客户端链接服务即可执行相应的方法。 code: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 package main import ( "adx/myservice" "fmt" "github....

问题 最近在调用一个上传文件的接口时，发现接口调用响应状态码为413,并且控制台显示跨域错误信息。查找了相关信息，得知 413 状态码表示请求的包体过大导致的。 出现这种情况，我想到了2种解决方案: 1) 调整上传文件的方式 2) 调整网关的参数。 综合目前的现况，采取了第二种方式调整网关客户端请求体最大值的参数。 解决 通过查阅 nginx ingress 的文档, 得知可以添加 nginx.ingress.kubernetes.io/proxy-body-size 注解来设置请求体的最大值, 设置 nginx.ingress.kubernetes.io/proxy-body-size 值为合适的值后，再请求接口发现接口顺利响应。 小结 本文介绍了客户端请求接口时,由于 nginx 默认 proxy-body-size 参数太小, 导致请求413 的问题及相应的解决方案。 参考 https://opendocs.alipay.com/support/01rb44 https://nginx.org/en/docs/http/ngx_http_core_module.html#client_max_body_size https://github.com/kubernetes/ingress-nginx/blob/main/docs/user-guide/nginx-configuration/annotations.md#custom-max-body-size

以前的文章介绍了 chromedp 进行浏览器网页截图, 这次介绍一种新的网页截图的方法——即使用 playwright 进行浏览器网页截图。 playwright 介绍 Playwright是一个用于自动化浏览器操作的开源工具集。它由微软开发并于2020年发布，旨在提供一种跨浏览器、跨平台的解决方案，可用于测试Web应用程序、编写爬虫、执行自动化任务等。 Playwright支持多种主流浏览器，包括Chrome、Firefox、Safari和Edge，它提供了一组简单易用的API，可以模拟用户与Web页面的交互行为，例如点击、填写表单、导航等。与其他类似工具相比，Playwright的一个重要特点是它的跨浏览器支持，这意味着你可以使用相同的代码在不同浏览器上运行你的自动化任务，而不需要为每个浏览器单独编写代码。 Playwright还提供了强大的调试功能，可以帮助开发人员在自动化过程中定位和解决问题。它支持截图和录制操作，使得调试变得更加直观和高效。 另外，Playwright还具有一些高级功能，例如可以模拟不同的设备、网络环境和地理位置，以及支持并发执行多个浏览器实例等，这些功能使得它在编写复杂的自动化任务时非常有用。 由于我日常主要使用 go 语言进行开发，所以本文的内容主要以 playwright 的 go 模块 playwright-go 为主要介绍。 安装 1 go get -u github.com/playwright-community/playwright-go 安装相关浏览器和操作系统依赖项： 1 2 3 4 go run github.com/playwright-community/playwright-go/cmd/playwright@latest install --with-deps # Or go install github.com/playwright-community/playwright-go/cmd/playwright@latest playwright install --with-deps 也可以在代码中使用以下代码安装: err := playwright.Install() 通过安装截图可以看出安装了3大主流浏览器和ffmpeg。 例子 接下来我们看一个官方的例子,从Hacker News中抓取当前投票最高的项目。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 package main import ( "fmt" "log" "github....

问题 最近需要使用 Google Api Go Client 获取 Google Adsense的数据，由于常规 generate 接口返回的数据是有10w行的限制，不满足目前的使用需要，于是使用了 csv的生成方法 generateCsv，和 generate 相比 generateCsv 能返回更多的数据并且不需要改动太多参数。 在调用 generateCsv 接口时，发现接口不能返回正确数据，提示错误，错误信息如下: 1 panic: invalid character 'D' looking for beginning of value 根据错误信息可以得知错误应该是解析错误，通过方法接口和源代码看出，接口返回的是csv类型的数据，但 api 只针对 json 进行解析，没有判断数据类型，导致解析失败。 解决 找到问题后，我立即就想到一个方法，就是在decode代码里添加csv格式的判断，尝试了一下，由于对csv解析方法不熟悉，并且修改 Client 代码会导致模块更新不方便(客户端代码都是生成的，于是决定另寻它法。 通过寻找各种资料issue后,找到了一个可能可行的方法，就是创建手动创建http连接发送请求。 根据相应的文档，很快就写好了相应的代码: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 package main import ( "context" "fmt" "golang....