通过 TightVNC 进行实时流式传输和远程控制

重要提示：

这适用于 Windows 机器人 2023.4 和 2023.10 版本。

实时流式传输和远程控制功能可用于：

• Windows 机器人版本 2023.4 和 2023.10
• Automation Cloud Robot - Serverless
• Automation Cloud Robot - VM

由于技术限制，我们无法为 Linux 机器人提供全面支持，但此迭代中提供了主要用例。

备注：

此功能不能与 Windows 后台作业一起使用。

Windows Robot 2023.10 及更早版本的先决条件

1. 启用 SignalR。详细信息…
2. 请按照以下步骤安装 VNC 服务器：
   1. 下载TightVNC。我们当前支持的版本为 2.8.75。
   2. 运行安装程序，并在进入“选择安装类型”界面后选择“自定义”。
   3. 单击“下一步”。
   4. 确保未选择“将 TightVNC 服务器注册为系统服务”选项（在“ TightVNC 服务配置”下）。
   5. 如果您使用的是物理计算机，则必须将显示器连接到该计算机。

网络要求

由于许多因素，要使实时流和远程控制会话顺利运行，最低网络要求可能会有很大差异：

• 机器人的屏幕分辨率
• 自动化推动的变化 - 图像和文本的变化越动态，流量就越大
• 您的计算机和 Automation Cloud 区域之间的延迟时间
• 机器人与 Automation Cloud 区域之间的延迟

考虑到上述情况，对于 1920x1080 的屏幕分辨率，我们建议使用 3MB/秒的网络带宽。

安全注意事项

客户端和目标计算机之间的实时流连接通过 VNC 代理经由 TLS 建立隧道，这意味着服务器是安全的。此外，每次启动实时流会话时，都会生成唯一的 JWT 令牌，并将其用于对请求进行身份验证。不安全流量的唯一实例是用于本地主机连接的机器人计算机。

在机器人端，系统会为每个作业生成唯一的密码，并为 VNC 服务器设置密码。服务器仅在实时流会话期间运行。当用户与会话断开连接时，VNC 服务器也会关闭。

网络流程

1. 当您从 Orchestrator 界面发出请求以启动实时流时，Orchestrator 会向机器人发送命令以启动新的远程控制会话。
2. 机器人启动在动态端口上侦听的 VNC 服务器。VNC 服务器以“仅环回”方式启动，该设置将禁用远程连接。Orchestrator 命令还包括用于 VNC 身份验证的密码，该密码在 VNC 服务器和浏览器客户端之间共享。
3. 然后，机器人将启动以下内容：
   1. 另一个通过动态端口连接到本地 VNC 服务器的程序
   2. UiPath 实时流代理

The program forwards all TCP traffic to the live streaming proxy by converting it into the WebSocket Secure protocol (wss). 4. The Orchestrator VNC client connects to the same live streaming proxy whose job is to pair the two websockets: one from the VNC client in the browser, and the other from the robot. It then creates a tunnel between the two websockets and forwards any traffic from one websocket to the other.

VNC 客户端使用两个端口：443 和 5900。

必须打开端口 443 才能连接到辅助在线服务。

端口 5900 在同一台计算机上本地运行，用于在两个应用程序之间建立流量隧道。

为了正常通信，需要双向打开这些端口，允许传入和传出流量。

图 1. 网络流图

TightVNC 配置

在本地计算机上启动会话之前，将禁用 HTTP 连接，并将 VNC 服务器配置为不接受本地计算机外部的连接。