[WPE][GTK] Bump minimum versions of GLib, GTK, libsoup, ATK, GStreamer, and Cairo
[WebKit-https.git] / Source / WebKit / UIProcess / Automation / gtk / WebAutomationSessionGtk.cpp
1 /*
2  * Copyright (C) 2017 Igalia S.L.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS''
14  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
15  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS
17  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
18  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
19  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
20  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
21  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
22  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
23  * THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include "config.h"
27 #include "WebAutomationSession.h"
28
29 #include "WebAutomationSessionMacros.h"
30 #include "WebPageProxy.h"
31 #include <WebCore/GtkUtilities.h>
32 #include <gtk/gtk.h>
33
34 namespace WebKit {
35 using namespace WebCore;
36
37 static unsigned modifiersToEventState(OptionSet<WebEvent::Modifier> modifiers)
38 {
39     unsigned state = 0;
40     if (modifiers.contains(WebEvent::Modifier::ControlKey))
41         state |= GDK_CONTROL_MASK;
42     if (modifiers.contains(WebEvent::Modifier::ShiftKey))
43         state |= GDK_SHIFT_MASK;
44     if (modifiers.contains(WebEvent::Modifier::AltKey))
45         state |= GDK_META_MASK;
46     if (modifiers.contains(WebEvent::Modifier::CapsLockKey))
47         state |= GDK_LOCK_MASK;
48     return state;
49 }
50
51 static unsigned mouseButtonToGdkButton(WebMouseEvent::Button button)
52 {
53     switch (button) {
54     case WebMouseEvent::NoButton:
55     case WebMouseEvent::LeftButton:
56         return GDK_BUTTON_PRIMARY;
57     case WebMouseEvent::MiddleButton:
58         return GDK_BUTTON_MIDDLE;
59     case WebMouseEvent::RightButton:
60         return GDK_BUTTON_SECONDARY;
61     }
62     return GDK_BUTTON_PRIMARY;
63 }
64
65 static void doMouseEvent(GdkEventType type, GtkWidget* widget, const WebCore::IntPoint& location, unsigned button, unsigned state)
66 {
67     ASSERT(type == GDK_BUTTON_PRESS || type == GDK_BUTTON_RELEASE);
68
69     GUniquePtr<GdkEvent> event(gdk_event_new(type));
70     event->button.window = gtk_widget_get_window(widget);
71     g_object_ref(event->button.window);
72     event->button.time = GDK_CURRENT_TIME;
73     event->button.x = location.x();
74     event->button.y = location.y();
75     event->button.axes = 0;
76     event->button.state = state;
77     event->button.button = button;
78     event->button.device = gdk_seat_get_pointer(gdk_display_get_default_seat(gtk_widget_get_display(widget)));
79     int xRoot, yRoot;
80     gdk_window_get_root_coords(gtk_widget_get_window(widget), location.x(), location.y(), &xRoot, &yRoot);
81     event->button.x_root = xRoot;
82     event->button.y_root = yRoot;
83     gtk_main_do_event(event.get());
84 }
85
86 static void doMotionEvent(GtkWidget* widget, const WebCore::IntPoint& location, unsigned state)
87 {
88     GUniquePtr<GdkEvent> event(gdk_event_new(GDK_MOTION_NOTIFY));
89     event->motion.window = gtk_widget_get_window(widget);
90     g_object_ref(event->motion.window);
91     event->motion.time = GDK_CURRENT_TIME;
92     event->motion.x = location.x();
93     event->motion.y = location.y();
94     event->motion.axes = 0;
95     event->motion.state = state;
96     event->motion.device = gdk_seat_get_pointer(gdk_display_get_default_seat(gtk_widget_get_display(widget)));
97     int xRoot, yRoot;
98     gdk_window_get_root_coords(gtk_widget_get_window(widget), location.x(), location.y(), &xRoot, &yRoot);
99     event->motion.x_root = xRoot;
100     event->motion.y_root = yRoot;
101     gtk_main_do_event(event.get());
102 }
103
104 void WebAutomationSession::platformSimulateMouseInteraction(WebPageProxy& page, MouseInteraction interaction, WebMouseEvent::Button button, const WebCore::IntPoint& locationInView, OptionSet<WebEvent::Modifier> keyModifiers)
105 {
106     unsigned gdkButton = mouseButtonToGdkButton(button);
107     auto modifier = stateModifierForGdkButton(gdkButton);
108     unsigned state = modifiersToEventState(keyModifiers) | m_currentModifiers;
109
110     switch (interaction) {
111     case MouseInteraction::Move:
112         doMotionEvent(page.viewWidget(), locationInView, state);
113         break;
114     case MouseInteraction::Down:
115         doMouseEvent(GDK_BUTTON_PRESS, page.viewWidget(), locationInView, gdkButton, state);
116         m_currentModifiers |= modifier;
117         break;
118     case MouseInteraction::Up:
119         doMouseEvent(GDK_BUTTON_RELEASE, page.viewWidget(), locationInView, gdkButton, state);
120         m_currentModifiers &= ~modifier;
121         break;
122     case MouseInteraction::SingleClick:
123         doMouseEvent(GDK_BUTTON_PRESS, page.viewWidget(), locationInView, gdkButton, state);
124         doMouseEvent(GDK_BUTTON_RELEASE, page.viewWidget(), locationInView, gdkButton, state | modifier);
125         break;
126     case MouseInteraction::DoubleClick:
127         doMouseEvent(GDK_BUTTON_PRESS, page.viewWidget(), locationInView, gdkButton, state);
128         doMouseEvent(GDK_BUTTON_RELEASE, page.viewWidget(), locationInView, gdkButton, state | modifier);
129         doMouseEvent(GDK_BUTTON_PRESS, page.viewWidget(), locationInView, gdkButton, state);
130         doMouseEvent(GDK_BUTTON_RELEASE, page.viewWidget(), locationInView, gdkButton, state | modifier);
131         break;
132     }
133 }
134
135 static void doKeyStrokeEvent(GdkEventType type, GtkWidget* widget, unsigned keyVal, unsigned state, bool doReleaseAfterPress = false)
136 {
137     ASSERT(type == GDK_KEY_PRESS || type == GDK_KEY_RELEASE);
138
139     GUniquePtr<GdkEvent> event(gdk_event_new(type));
140     event->key.keyval = keyVal;
141
142     event->key.time = GDK_CURRENT_TIME;
143     event->key.window = gtk_widget_get_window(widget);
144     g_object_ref(event->key.window);
145
146     gdk_event_set_device(event.get(), gdk_seat_get_pointer(gdk_display_get_default_seat(gtk_widget_get_display(widget))));
147     event->key.state = state;
148
149     // When synthesizing an event, an invalid hardware_keycode value can cause it to be badly processed by GTK+.
150     GUniqueOutPtr<GdkKeymapKey> keys;
151     int keysCount;
152     if (gdk_keymap_get_entries_for_keyval(gdk_keymap_get_default(), keyVal, &keys.outPtr(), &keysCount) && keysCount)
153         event->key.hardware_keycode = keys.get()[0].keycode;
154
155     gtk_main_do_event(event.get());
156     if (doReleaseAfterPress) {
157         ASSERT(type == GDK_KEY_PRESS);
158         event->key.type = GDK_KEY_RELEASE;
159         gtk_main_do_event(event.get());
160     }
161 }
162
163 static int keyCodeForVirtualKey(Inspector::Protocol::Automation::VirtualKey key)
164 {
165     switch (key) {
166     case Inspector::Protocol::Automation::VirtualKey::Shift:
167         return GDK_KEY_Shift_R;
168     case Inspector::Protocol::Automation::VirtualKey::Control:
169         return GDK_KEY_Control_R;
170     case Inspector::Protocol::Automation::VirtualKey::Alternate:
171         return GDK_KEY_Alt_L;
172     case Inspector::Protocol::Automation::VirtualKey::Meta:
173         return GDK_KEY_Meta_R;
174     case Inspector::Protocol::Automation::VirtualKey::Command:
175         return GDK_KEY_Execute;
176     case Inspector::Protocol::Automation::VirtualKey::Help:
177         return GDK_KEY_Help;
178     case Inspector::Protocol::Automation::VirtualKey::Backspace:
179         return GDK_KEY_BackSpace;
180     case Inspector::Protocol::Automation::VirtualKey::Tab:
181         return GDK_KEY_Tab;
182     case Inspector::Protocol::Automation::VirtualKey::Clear:
183         return GDK_KEY_Clear;
184     case Inspector::Protocol::Automation::VirtualKey::Enter:
185         return GDK_KEY_Return;
186     case Inspector::Protocol::Automation::VirtualKey::Pause:
187         return GDK_KEY_Pause;
188     case Inspector::Protocol::Automation::VirtualKey::Cancel:
189         return GDK_KEY_Cancel;
190     case Inspector::Protocol::Automation::VirtualKey::Escape:
191         return GDK_KEY_Escape;
192     case Inspector::Protocol::Automation::VirtualKey::PageUp:
193         return GDK_KEY_Page_Up;
194     case Inspector::Protocol::Automation::VirtualKey::PageDown:
195         return GDK_KEY_Page_Down;
196     case Inspector::Protocol::Automation::VirtualKey::End:
197         return GDK_KEY_End;
198     case Inspector::Protocol::Automation::VirtualKey::Home:
199         return GDK_KEY_Home;
200     case Inspector::Protocol::Automation::VirtualKey::LeftArrow:
201         return GDK_KEY_Left;
202     case Inspector::Protocol::Automation::VirtualKey::UpArrow:
203         return GDK_KEY_Up;
204     case Inspector::Protocol::Automation::VirtualKey::RightArrow:
205         return GDK_KEY_Right;
206     case Inspector::Protocol::Automation::VirtualKey::DownArrow:
207         return GDK_KEY_Down;
208     case Inspector::Protocol::Automation::VirtualKey::Insert:
209         return GDK_KEY_Insert;
210     case Inspector::Protocol::Automation::VirtualKey::Delete:
211         return GDK_KEY_Delete;
212     case Inspector::Protocol::Automation::VirtualKey::Space:
213         return GDK_KEY_space;
214     case Inspector::Protocol::Automation::VirtualKey::Semicolon:
215         return GDK_KEY_semicolon;
216     case Inspector::Protocol::Automation::VirtualKey::Equals:
217         return GDK_KEY_equal;
218     case Inspector::Protocol::Automation::VirtualKey::Return:
219         return GDK_KEY_Return;
220     case Inspector::Protocol::Automation::VirtualKey::NumberPad0:
221         return GDK_KEY_KP_0;
222     case Inspector::Protocol::Automation::VirtualKey::NumberPad1:
223         return GDK_KEY_KP_1;
224     case Inspector::Protocol::Automation::VirtualKey::NumberPad2:
225         return GDK_KEY_KP_2;
226     case Inspector::Protocol::Automation::VirtualKey::NumberPad3:
227         return GDK_KEY_KP_3;
228     case Inspector::Protocol::Automation::VirtualKey::NumberPad4:
229         return GDK_KEY_KP_4;
230     case Inspector::Protocol::Automation::VirtualKey::NumberPad5:
231         return GDK_KEY_KP_5;
232     case Inspector::Protocol::Automation::VirtualKey::NumberPad6:
233         return GDK_KEY_KP_6;
234     case Inspector::Protocol::Automation::VirtualKey::NumberPad7:
235         return GDK_KEY_KP_7;
236     case Inspector::Protocol::Automation::VirtualKey::NumberPad8:
237         return GDK_KEY_KP_8;
238     case Inspector::Protocol::Automation::VirtualKey::NumberPad9:
239         return GDK_KEY_KP_9;
240     case Inspector::Protocol::Automation::VirtualKey::NumberPadMultiply:
241         return GDK_KEY_KP_Multiply;
242     case Inspector::Protocol::Automation::VirtualKey::NumberPadAdd:
243         return GDK_KEY_KP_Add;
244     case Inspector::Protocol::Automation::VirtualKey::NumberPadSubtract:
245         return GDK_KEY_KP_Subtract;
246     case Inspector::Protocol::Automation::VirtualKey::NumberPadSeparator:
247         return GDK_KEY_KP_Separator;
248     case Inspector::Protocol::Automation::VirtualKey::NumberPadDecimal:
249         return GDK_KEY_KP_Decimal;
250     case Inspector::Protocol::Automation::VirtualKey::NumberPadDivide:
251         return GDK_KEY_KP_Divide;
252     case Inspector::Protocol::Automation::VirtualKey::Function1:
253         return GDK_KEY_F1;
254     case Inspector::Protocol::Automation::VirtualKey::Function2:
255         return GDK_KEY_F2;
256     case Inspector::Protocol::Automation::VirtualKey::Function3:
257         return GDK_KEY_F3;
258     case Inspector::Protocol::Automation::VirtualKey::Function4:
259         return GDK_KEY_F4;
260     case Inspector::Protocol::Automation::VirtualKey::Function5:
261         return GDK_KEY_F5;
262     case Inspector::Protocol::Automation::VirtualKey::Function6:
263         return GDK_KEY_F6;
264     case Inspector::Protocol::Automation::VirtualKey::Function7:
265         return GDK_KEY_F7;
266     case Inspector::Protocol::Automation::VirtualKey::Function8:
267         return GDK_KEY_F8;
268     case Inspector::Protocol::Automation::VirtualKey::Function9:
269         return GDK_KEY_F9;
270     case Inspector::Protocol::Automation::VirtualKey::Function10:
271         return GDK_KEY_F10;
272     case Inspector::Protocol::Automation::VirtualKey::Function11:
273         return GDK_KEY_F11;
274     case Inspector::Protocol::Automation::VirtualKey::Function12:
275         return GDK_KEY_F12;
276     }
277
278     ASSERT_NOT_REACHED();
279     return 0;
280 }
281
282 static unsigned modifiersForKeyCode(unsigned keyCode)
283 {
284     switch (keyCode) {
285     case GDK_KEY_Shift_R:
286         return GDK_SHIFT_MASK;
287     case GDK_KEY_Control_R:
288         return GDK_CONTROL_MASK;
289     case GDK_KEY_Alt_L:
290         return GDK_MOD1_MASK;
291     case GDK_KEY_Meta_R:
292         return GDK_META_MASK;
293     }
294     return 0;
295 }
296
297 void WebAutomationSession::platformSimulateKeyboardInteraction(WebPageProxy& page, KeyboardInteraction interaction, WTF::Variant<VirtualKey, CharKey>&& key)
298 {
299     unsigned keyCode;
300     WTF::switchOn(key,
301         [&] (VirtualKey virtualKey) {
302             keyCode = keyCodeForVirtualKey(virtualKey);
303         },
304         [&] (CharKey charKey) {
305             keyCode = gdk_unicode_to_keyval(g_utf8_get_char(&charKey));
306         }
307     );
308     unsigned modifiers = modifiersForKeyCode(keyCode);
309
310     switch (interaction) {
311     case KeyboardInteraction::KeyPress:
312         m_currentModifiers |= modifiers;
313         doKeyStrokeEvent(GDK_KEY_PRESS, page.viewWidget(), keyCode, m_currentModifiers);
314         break;
315     case KeyboardInteraction::KeyRelease:
316         m_currentModifiers &= ~modifiers;
317         doKeyStrokeEvent(GDK_KEY_RELEASE, page.viewWidget(), keyCode, m_currentModifiers);
318         break;
319     case KeyboardInteraction::InsertByKey:
320         doKeyStrokeEvent(GDK_KEY_PRESS, page.viewWidget(), keyCode, m_currentModifiers, true);
321         break;
322     }
323 }
324
325 void WebAutomationSession::platformSimulateKeySequence(WebPageProxy& page, const String& keySequence)
326 {
327     CString keySequenceUTF8 = keySequence.utf8();
328     const char* p = keySequenceUTF8.data();
329     do {
330         doKeyStrokeEvent(GDK_KEY_PRESS, page.viewWidget(), gdk_unicode_to_keyval(g_utf8_get_char(p)), m_currentModifiers, true);
331         p = g_utf8_next_char(p);
332     } while (*p);
333 }
334
335 } // namespace WebKit