3b51f5134c6c3ff1bfa437b96f627ed16ea30c2c
[WebKit-https.git] / Source / WebCore / editing / markup.cpp
1 /*
2  * Copyright (C) 2004, 2005, 2006, 2007, 2008, 2009, 2013 Apple Inc. All rights reserved.
3  * Copyright (C) 2008, 2009, 2010, 2011 Google Inc. All rights reserved.
4  * Copyright (C) 2011 Igalia S.L.
5  * Copyright (C) 2011 Motorola Mobility. All rights reserved.
6  *
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  * 1. Redistributions of source code must retain the above copyright
11  *    notice, this list of conditions and the following disclaimer.
12  * 2. Redistributions in binary form must reproduce the above copyright
13  *    notice, this list of conditions and the following disclaimer in the
14  *    documentation and/or other materials provided with the distribution.
15  *
16  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
17  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
19  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
20  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
21  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
22  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
23  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
24  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
25  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
26  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
27  */
28
29 #include "config.h"
30 #include "markup.h"
31
32 #include "CDATASection.h"
33 #include "CSSPrimitiveValue.h"
34 #include "CSSPropertyNames.h"
35 #include "CSSValue.h"
36 #include "CSSValueKeywords.h"
37 #include "ChildListMutationScope.h"
38 #include "DocumentFragment.h"
39 #include "DocumentType.h"
40 #include "Editor.h"
41 #include "ElementIterator.h"
42 #include "ExceptionCode.h"
43 #include "ExceptionCodePlaceholder.h"
44 #include "Frame.h"
45 #include "HTMLBodyElement.h"
46 #include "HTMLElement.h"
47 #include "HTMLNames.h"
48 #include "HTMLTableElement.h"
49 #include "HTMLTextAreaElement.h"
50 #include "HTMLTextFormControlElement.h"
51 #include "URL.h"
52 #include "MarkupAccumulator.h"
53 #include "Range.h"
54 #include "RenderBlock.h"
55 #include "Settings.h"
56 #include "StyleProperties.h"
57 #include "VisibleSelection.h"
58 #include "VisibleUnits.h"
59 #include "htmlediting.h"
60 #include <wtf/StdLibExtras.h>
61 #include <wtf/text/StringBuilder.h>
62
63 #if ENABLE(DELETION_UI)
64 #include "DeleteButtonController.h"
65 #endif
66
67 namespace WebCore {
68
69 using namespace HTMLNames;
70
71 static bool propertyMissingOrEqualToNone(StyleProperties*, CSSPropertyID);
72
73 class AttributeChange {
74 public:
75     AttributeChange()
76         : m_name(nullAtom, nullAtom, nullAtom)
77     {
78     }
79
80     AttributeChange(PassRefPtr<Element> element, const QualifiedName& name, const String& value)
81         : m_element(element), m_name(name), m_value(value)
82     {
83     }
84
85     void apply()
86     {
87         m_element->setAttribute(m_name, m_value);
88     }
89
90 private:
91     RefPtr<Element> m_element;
92     QualifiedName m_name;
93     String m_value;
94 };
95
96 static void completeURLs(DocumentFragment* fragment, const String& baseURL)
97 {
98     Vector<AttributeChange> changes;
99
100     URL parsedBaseURL(ParsedURLString, baseURL);
101
102     for (auto& element : descendantsOfType<Element>(*fragment)) {
103         if (!element.hasAttributes())
104             continue;
105         for (const Attribute& attribute : element.attributesIterator()) {
106             if (element.isURLAttribute(attribute) && !attribute.value().isEmpty())
107                 changes.append(AttributeChange(&element, attribute.name(), URL(parsedBaseURL, attribute.value()).string()));
108         }
109     }
110
111     size_t numChanges = changes.size();
112     for (size_t i = 0; i < numChanges; ++i)
113         changes[i].apply();
114 }
115     
116 class StyledMarkupAccumulator final : public MarkupAccumulator {
117 public:
118     enum RangeFullySelectsNode { DoesFullySelectNode, DoesNotFullySelectNode };
119
120     StyledMarkupAccumulator(Vector<Node*>* nodes, EAbsoluteURLs, EAnnotateForInterchange, const Range*, bool needsPositionStyleConversion, Node* highestNodeToBeSerialized = 0);
121
122     Node* serializeNodes(Node* startNode, Node* pastEnd);
123     void wrapWithNode(Node&, bool convertBlocksToInlines = false, RangeFullySelectsNode = DoesFullySelectNode);
124     void wrapWithStyleNode(StyleProperties*, Document&, bool isBlock = false);
125     String takeResults();
126     
127     bool needRelativeStyleWrapper() const { return m_needRelativeStyleWrapper; }
128
129     using MarkupAccumulator::appendString;
130
131 private:
132     void appendStyleNodeOpenTag(StringBuilder&, StyleProperties*, Document&, bool isBlock = false);
133     const String& styleNodeCloseTag(bool isBlock = false);
134
135     String renderedText(const Node&, const Range*);
136     String stringValueForRange(const Node&, const Range*);
137
138     void appendElement(StringBuilder& out, const Element&, bool addDisplayInline, RangeFullySelectsNode);
139
140     virtual void appendText(StringBuilder& out, const Text&) override;
141     virtual void appendElement(StringBuilder& out, const Element& element, Namespaces*) override
142     {
143         appendElement(out, element, false, DoesFullySelectNode);
144     }
145
146     enum NodeTraversalMode { EmitString, DoNotEmitString };
147     Node* traverseNodesForSerialization(Node* startNode, Node* pastEnd, NodeTraversalMode);
148
149     bool shouldAnnotate()
150     {
151         return m_shouldAnnotate == AnnotateForInterchange;
152     }
153
154     bool shouldApplyWrappingStyle(const Node& node) const
155     {
156         return m_highestNodeToBeSerialized && m_highestNodeToBeSerialized->parentNode() == node.parentNode() && m_wrappingStyle && m_wrappingStyle->style();
157     }
158
159     Vector<String> m_reversedPrecedingMarkup;
160     const EAnnotateForInterchange m_shouldAnnotate;
161     Node* m_highestNodeToBeSerialized;
162     RefPtr<EditingStyle> m_wrappingStyle;
163     bool m_needRelativeStyleWrapper;
164     bool m_needsPositionStyleConversion;
165 };
166
167 inline StyledMarkupAccumulator::StyledMarkupAccumulator(Vector<Node*>* nodes, EAbsoluteURLs shouldResolveURLs, EAnnotateForInterchange shouldAnnotate, const Range* range, bool needsPositionStyleConversion, Node* highestNodeToBeSerialized)
168     : MarkupAccumulator(nodes, shouldResolveURLs, range)
169     , m_shouldAnnotate(shouldAnnotate)
170     , m_highestNodeToBeSerialized(highestNodeToBeSerialized)
171     , m_needRelativeStyleWrapper(false)
172     , m_needsPositionStyleConversion(needsPositionStyleConversion)
173 {
174 }
175
176 void StyledMarkupAccumulator::wrapWithNode(Node& node, bool convertBlocksToInlines, RangeFullySelectsNode rangeFullySelectsNode)
177 {
178     StringBuilder markup;
179     if (node.isElementNode())
180         appendElement(markup, toElement(node), convertBlocksToInlines && isBlock(&node), rangeFullySelectsNode);
181     else
182         appendStartMarkup(markup, node, 0);
183     m_reversedPrecedingMarkup.append(markup.toString());
184     appendEndTag(node);
185     if (m_nodes)
186         m_nodes->append(&node);
187 }
188
189 void StyledMarkupAccumulator::wrapWithStyleNode(StyleProperties* style, Document& document, bool isBlock)
190 {
191     StringBuilder openTag;
192     appendStyleNodeOpenTag(openTag, style, document, isBlock);
193     m_reversedPrecedingMarkup.append(openTag.toString());
194     appendString(styleNodeCloseTag(isBlock));
195 }
196
197 void StyledMarkupAccumulator::appendStyleNodeOpenTag(StringBuilder& out, StyleProperties* style, Document& document, bool isBlock)
198 {
199     // wrappingStyleForSerialization should have removed -webkit-text-decorations-in-effect
200     ASSERT(propertyMissingOrEqualToNone(style, CSSPropertyWebkitTextDecorationsInEffect));
201     if (isBlock)
202         out.appendLiteral("<div style=\"");
203     else
204         out.appendLiteral("<span style=\"");
205     appendAttributeValue(out, style->asText(), document.isHTMLDocument());
206     out.appendLiteral("\">");
207 }
208
209 const String& StyledMarkupAccumulator::styleNodeCloseTag(bool isBlock)
210 {
211     DEFINE_STATIC_LOCAL(const String, divClose, (ASCIILiteral("</div>")));
212     DEFINE_STATIC_LOCAL(const String, styleSpanClose, (ASCIILiteral("</span>")));
213     return isBlock ? divClose : styleSpanClose;
214 }
215
216 String StyledMarkupAccumulator::takeResults()
217 {
218     StringBuilder result;
219     result.reserveCapacity(totalLength(m_reversedPrecedingMarkup) + length());
220
221     for (size_t i = m_reversedPrecedingMarkup.size(); i > 0; --i)
222         result.append(m_reversedPrecedingMarkup[i - 1]);
223
224     concatenateMarkup(result);
225
226     // We remove '\0' characters because they are not visibly rendered to the user.
227     return result.toString().replaceWithLiteral('\0', "");
228 }
229
230 void StyledMarkupAccumulator::appendText(StringBuilder& out, const Text& text)
231 {    
232     const bool parentIsTextarea = text.parentElement() && isHTMLTextAreaElement(text.parentElement());
233     const bool wrappingSpan = shouldApplyWrappingStyle(text) && !parentIsTextarea;
234     if (wrappingSpan) {
235         RefPtr<EditingStyle> wrappingStyle = m_wrappingStyle->copy();
236         // FIXME: <rdar://problem/5371536> Style rules that match pasted content can change it's appearance
237         // Make sure spans are inline style in paste side e.g. span { display: block }.
238         wrappingStyle->forceInline();
239         // FIXME: Should this be included in forceInline?
240         wrappingStyle->style()->setProperty(CSSPropertyFloat, CSSValueNone);
241
242         appendStyleNodeOpenTag(out, wrappingStyle->style(), text.document());
243     }
244
245     if (!shouldAnnotate() || parentIsTextarea)
246         MarkupAccumulator::appendText(out, text);
247     else {
248         const bool useRenderedText = !enclosingNodeWithTag(firstPositionInNode(const_cast<Text*>(&text)), selectTag);
249         String content = useRenderedText ? renderedText(text, m_range) : stringValueForRange(text, m_range);
250         StringBuilder buffer;
251         appendCharactersReplacingEntities(buffer, content, 0, content.length(), EntityMaskInPCDATA);
252         out.append(convertHTMLTextToInterchangeFormat(buffer.toString(), &text));
253     }
254
255     if (wrappingSpan)
256         out.append(styleNodeCloseTag());
257 }
258     
259 String StyledMarkupAccumulator::renderedText(const Node& node, const Range* range)
260 {
261     if (!node.isTextNode())
262         return String();
263
264     const Text& textNode = toText(node);
265     unsigned startOffset = 0;
266     unsigned endOffset = textNode.length();
267
268     TextIteratorBehavior behavior = TextIteratorDefaultBehavior;
269     if (range && &node == range->startContainer())
270         startOffset = range->startOffset();
271     if (range && &node == range->endContainer())
272         endOffset = range->endOffset();
273     else if (range)
274         behavior = TextIteratorBehavesAsIfNodesFollowing;
275
276     Position start = createLegacyEditingPosition(const_cast<Node*>(&node), startOffset);
277     Position end = createLegacyEditingPosition(const_cast<Node*>(&node), endOffset);
278     return plainText(Range::create(node.document(), start, end).get(), behavior);
279 }
280
281 String StyledMarkupAccumulator::stringValueForRange(const Node& node, const Range* range)
282 {
283     if (!range)
284         return node.nodeValue();
285
286     String nodeValue = node.nodeValue();
287     if (&node == range->endContainer())
288         nodeValue.truncate(range->endOffset());
289     if (&node == range->startContainer())
290         nodeValue.remove(0, range->startOffset());
291     return nodeValue;
292 }
293
294 void StyledMarkupAccumulator::appendElement(StringBuilder& out, const Element& element, bool addDisplayInline, RangeFullySelectsNode rangeFullySelectsNode)
295 {
296     const bool documentIsHTML = element.document().isHTMLDocument();
297     appendOpenTag(out, element, 0);
298
299     const bool shouldAnnotateOrForceInline = element.isHTMLElement() && (shouldAnnotate() || addDisplayInline);
300     const bool shouldOverrideStyleAttr = shouldAnnotateOrForceInline || shouldApplyWrappingStyle(element);
301     if (element.hasAttributes()) {
302         for (const Attribute& attribute : element.attributesIterator()) {
303             // We'll handle the style attribute separately, below.
304             if (attribute.name() == styleAttr && shouldOverrideStyleAttr)
305                 continue;
306             appendAttribute(out, element, attribute, 0);
307         }
308     }
309
310     if (shouldOverrideStyleAttr) {
311         RefPtr<EditingStyle> newInlineStyle;
312
313         if (shouldApplyWrappingStyle(element)) {
314             newInlineStyle = m_wrappingStyle->copy();
315             newInlineStyle->removePropertiesInElementDefaultStyle(const_cast<Element*>(&element));
316             newInlineStyle->removeStyleConflictingWithStyleOfNode(const_cast<Element*>(&element));
317         } else
318             newInlineStyle = EditingStyle::create();
319
320         if (element.isStyledElement() && toStyledElement(element).inlineStyle())
321             newInlineStyle->overrideWithStyle(toStyledElement(element).inlineStyle());
322
323         if (shouldAnnotateOrForceInline) {
324             if (shouldAnnotate())
325                 newInlineStyle->mergeStyleFromRulesForSerialization(toHTMLElement(const_cast<Element*>(&element)));
326
327             if (addDisplayInline)
328                 newInlineStyle->forceInline();
329             
330             if (m_needsPositionStyleConversion)
331                 m_needRelativeStyleWrapper |= newInlineStyle->convertPositionStyle();
332
333             // If the node is not fully selected by the range, then we don't want to keep styles that affect its relationship to the nodes around it
334             // only the ones that affect it and the nodes within it.
335             if (rangeFullySelectsNode == DoesNotFullySelectNode && newInlineStyle->style())
336                 newInlineStyle->style()->removeProperty(CSSPropertyFloat);
337         }
338
339         if (!newInlineStyle->isEmpty()) {
340             out.appendLiteral(" style=\"");
341             appendAttributeValue(out, newInlineStyle->style()->asText(), documentIsHTML);
342             out.append('\"');
343         }
344     }
345
346     appendCloseTag(out, element);
347 }
348
349 Node* StyledMarkupAccumulator::serializeNodes(Node* startNode, Node* pastEnd)
350 {
351     if (!m_highestNodeToBeSerialized) {
352         Node* lastClosed = traverseNodesForSerialization(startNode, pastEnd, DoNotEmitString);
353         m_highestNodeToBeSerialized = lastClosed;
354     }
355
356     if (m_highestNodeToBeSerialized && m_highestNodeToBeSerialized->parentNode())
357         m_wrappingStyle = EditingStyle::wrappingStyleForSerialization(m_highestNodeToBeSerialized->parentNode(), shouldAnnotate());
358
359     return traverseNodesForSerialization(startNode, pastEnd, EmitString);
360 }
361
362 Node* StyledMarkupAccumulator::traverseNodesForSerialization(Node* startNode, Node* pastEnd, NodeTraversalMode traversalMode)
363 {
364     const bool shouldEmit = traversalMode == EmitString;
365     Vector<Node*> ancestorsToClose;
366     Node* next;
367     Node* lastClosed = 0;
368     for (Node* n = startNode; n != pastEnd; n = next) {
369         // According to <rdar://problem/5730668>, it is possible for n to blow
370         // past pastEnd and become null here. This shouldn't be possible.
371         // This null check will prevent crashes (but create too much markup)
372         // and the ASSERT will hopefully lead us to understanding the problem.
373         ASSERT(n);
374         if (!n)
375             break;
376         
377         next = NodeTraversal::next(n);
378         bool openedTag = false;
379
380         if (isBlock(n) && canHaveChildrenForEditing(n) && next == pastEnd)
381             // Don't write out empty block containers that aren't fully selected.
382             continue;
383
384         if (!n->renderer() && !enclosingNodeWithTag(firstPositionInOrBeforeNode(n), selectTag)) {
385             next = NodeTraversal::nextSkippingChildren(n);
386             // Don't skip over pastEnd.
387             if (pastEnd && pastEnd->isDescendantOf(n))
388                 next = pastEnd;
389         } else {
390             // Add the node to the markup if we're not skipping the descendants
391             if (shouldEmit)
392                 appendStartTag(*n);
393
394             // If node has no children, close the tag now.
395             if (!n->childNodeCount()) {
396                 if (shouldEmit)
397                     appendEndTag(*n);
398                 lastClosed = n;
399             } else {
400                 openedTag = true;
401                 ancestorsToClose.append(n);
402             }
403         }
404
405         // If we didn't insert open tag and there's no more siblings or we're at the end of the traversal, take care of ancestors.
406         // FIXME: What happens if we just inserted open tag and reached the end?
407         if (!openedTag && (!n->nextSibling() || next == pastEnd)) {
408             // Close up the ancestors.
409             while (!ancestorsToClose.isEmpty()) {
410                 Node* ancestor = ancestorsToClose.last();
411                 if (next != pastEnd && next->isDescendantOf(ancestor))
412                     break;
413                 // Not at the end of the range, close ancestors up to sibling of next node.
414                 if (shouldEmit)
415                     appendEndTag(*ancestor);
416                 lastClosed = ancestor;
417                 ancestorsToClose.removeLast();
418             }
419
420             // Surround the currently accumulated markup with markup for ancestors we never opened as we leave the subtree(s) rooted at those ancestors.
421             ContainerNode* nextParent = next ? next->parentNode() : 0;
422             if (next != pastEnd && n != nextParent) {
423                 Node* lastAncestorClosedOrSelf = n->isDescendantOf(lastClosed) ? lastClosed : n;
424                 for (ContainerNode* parent = lastAncestorClosedOrSelf->parentNode(); parent && parent != nextParent; parent = parent->parentNode()) {
425                     // All ancestors that aren't in the ancestorsToClose list should either be a) unrendered:
426                     if (!parent->renderer())
427                         continue;
428                     // or b) ancestors that we never encountered during a pre-order traversal starting at startNode:
429                     ASSERT(startNode->isDescendantOf(parent));
430                     if (shouldEmit)
431                         wrapWithNode(*parent);
432                     lastClosed = parent;
433                 }
434             }
435         }
436     }
437
438     return lastClosed;
439 }
440
441 static Node* ancestorToRetainStructureAndAppearanceForBlock(Node* commonAncestorBlock)
442 {
443     if (!commonAncestorBlock)
444         return 0;
445
446     if (commonAncestorBlock->hasTagName(tbodyTag) || commonAncestorBlock->hasTagName(trTag)) {
447         ContainerNode* table = commonAncestorBlock->parentNode();
448         while (table && !isHTMLTableElement(table))
449             table = table->parentNode();
450
451         return table;
452     }
453
454     if (isNonTableCellHTMLBlockElement(commonAncestorBlock))
455         return commonAncestorBlock;
456
457     return 0;
458 }
459
460 static inline Node* ancestorToRetainStructureAndAppearance(Node* commonAncestor)
461 {
462     return ancestorToRetainStructureAndAppearanceForBlock(enclosingBlock(commonAncestor));
463 }
464
465 static bool propertyMissingOrEqualToNone(StyleProperties* style, CSSPropertyID propertyID)
466 {
467     if (!style)
468         return false;
469     RefPtr<CSSValue> value = style->getPropertyCSSValue(propertyID);
470     if (!value)
471         return true;
472     if (!value->isPrimitiveValue())
473         return false;
474     return toCSSPrimitiveValue(value.get())->getValueID() == CSSValueNone;
475 }
476
477 static bool needInterchangeNewlineAfter(const VisiblePosition& v)
478 {
479     VisiblePosition next = v.next();
480     Node* upstreamNode = next.deepEquivalent().upstream().deprecatedNode();
481     Node* downstreamNode = v.deepEquivalent().downstream().deprecatedNode();
482     // Add an interchange newline if a paragraph break is selected and a br won't already be added to the markup to represent it.
483     return isEndOfParagraph(v) && isStartOfParagraph(next) && !(upstreamNode->hasTagName(brTag) && upstreamNode == downstreamNode);
484 }
485
486 static PassRefPtr<EditingStyle> styleFromMatchedRulesAndInlineDecl(const Node* node)
487 {
488     if (!node->isHTMLElement())
489         return 0;
490
491     // FIXME: Having to const_cast here is ugly, but it is quite a bit of work to untangle
492     // the non-const-ness of styleFromMatchedRulesForElement.
493     HTMLElement* element = const_cast<HTMLElement*>(static_cast<const HTMLElement*>(node));
494     RefPtr<EditingStyle> style = EditingStyle::create(element->inlineStyle());
495     style->mergeStyleFromRules(element);
496     return style.release();
497 }
498
499 static bool isElementPresentational(const Node* node)
500 {
501     return node->hasTagName(uTag) || node->hasTagName(sTag) || node->hasTagName(strikeTag)
502         || node->hasTagName(iTag) || node->hasTagName(emTag) || node->hasTagName(bTag) || node->hasTagName(strongTag);
503 }
504
505 static Node* highestAncestorToWrapMarkup(const Range* range, EAnnotateForInterchange shouldAnnotate)
506 {
507     Node* commonAncestor = range->commonAncestorContainer(IGNORE_EXCEPTION);
508     ASSERT(commonAncestor);
509     Node* specialCommonAncestor = 0;
510     if (shouldAnnotate == AnnotateForInterchange) {
511         // Include ancestors that aren't completely inside the range but are required to retain 
512         // the structure and appearance of the copied markup.
513         specialCommonAncestor = ancestorToRetainStructureAndAppearance(commonAncestor);
514
515         if (Node* parentListNode = enclosingNodeOfType(firstPositionInOrBeforeNode(range->firstNode()), isListItem)) {
516             if (WebCore::areRangesEqual(VisibleSelection::selectionFromContentsOfNode(parentListNode).toNormalizedRange().get(), range)) {
517                 specialCommonAncestor = parentListNode->parentNode();
518                 while (specialCommonAncestor && !isListElement(specialCommonAncestor))
519                     specialCommonAncestor = specialCommonAncestor->parentNode();
520             }
521         }
522
523         // Retain the Mail quote level by including all ancestor mail block quotes.
524         if (Node* highestMailBlockquote = highestEnclosingNodeOfType(firstPositionInOrBeforeNode(range->firstNode()), isMailBlockquote, CanCrossEditingBoundary))
525             specialCommonAncestor = highestMailBlockquote;
526     }
527
528     Node* checkAncestor = specialCommonAncestor ? specialCommonAncestor : commonAncestor;
529     if (checkAncestor->renderer() && checkAncestor->renderer()->containingBlock()) {
530         Node* newSpecialCommonAncestor = highestEnclosingNodeOfType(firstPositionInNode(checkAncestor), &isElementPresentational, CanCrossEditingBoundary, checkAncestor->renderer()->containingBlock()->element());
531         if (newSpecialCommonAncestor)
532             specialCommonAncestor = newSpecialCommonAncestor;
533     }
534
535     // If a single tab is selected, commonAncestor will be a text node inside a tab span.
536     // If two or more tabs are selected, commonAncestor will be the tab span.
537     // In either case, if there is a specialCommonAncestor already, it will necessarily be above 
538     // any tab span that needs to be included.
539     if (!specialCommonAncestor && isTabSpanTextNode(commonAncestor))
540         specialCommonAncestor = commonAncestor->parentNode();
541     if (!specialCommonAncestor && isTabSpanNode(commonAncestor))
542         specialCommonAncestor = commonAncestor;
543
544     if (Node *enclosingAnchor = enclosingNodeWithTag(firstPositionInNode(specialCommonAncestor ? specialCommonAncestor : commonAncestor), aTag))
545         specialCommonAncestor = enclosingAnchor;
546
547     return specialCommonAncestor;
548 }
549
550 // FIXME: Shouldn't we omit style info when annotate == DoNotAnnotateForInterchange? 
551 // FIXME: At least, annotation and style info should probably not be included in range.markupString()
552 static String createMarkupInternal(Document& document, const Range& range, const Range& updatedRange, Vector<Node*>* nodes,
553     EAnnotateForInterchange shouldAnnotate, bool convertBlocksToInlines, EAbsoluteURLs shouldResolveURLs)
554 {
555     DEFINE_STATIC_LOCAL(const String, interchangeNewlineString, (ASCIILiteral("<br class=\"" AppleInterchangeNewline "\">")));
556
557     bool collapsed = updatedRange.collapsed(ASSERT_NO_EXCEPTION);
558     if (collapsed)
559         return emptyString();
560     Node* commonAncestor = updatedRange.commonAncestorContainer(ASSERT_NO_EXCEPTION);
561     if (!commonAncestor)
562         return emptyString();
563
564     document.updateLayoutIgnorePendingStylesheets();
565
566     Node* body = enclosingNodeWithTag(firstPositionInNode(commonAncestor), bodyTag);
567     Node* fullySelectedRoot = 0;
568     // FIXME: Do this for all fully selected blocks, not just the body.
569     if (body && areRangesEqual(VisibleSelection::selectionFromContentsOfNode(body).toNormalizedRange().get(), &range))
570         fullySelectedRoot = body;
571     Node* specialCommonAncestor = highestAncestorToWrapMarkup(&updatedRange, shouldAnnotate);
572
573     bool needsPositionStyleConversion = body && fullySelectedRoot == body
574         && document.settings() && document.settings()->shouldConvertPositionStyleOnCopy();
575     StyledMarkupAccumulator accumulator(nodes, shouldResolveURLs, shouldAnnotate, &updatedRange, needsPositionStyleConversion, specialCommonAncestor);
576     Node* pastEnd = updatedRange.pastLastNode();
577
578     Node* startNode = updatedRange.firstNode();
579     VisiblePosition visibleStart(updatedRange.startPosition(), VP_DEFAULT_AFFINITY);
580     VisiblePosition visibleEnd(updatedRange.endPosition(), VP_DEFAULT_AFFINITY);
581     if (shouldAnnotate == AnnotateForInterchange && needInterchangeNewlineAfter(visibleStart)) {
582         if (visibleStart == visibleEnd.previous())
583             return interchangeNewlineString;
584
585         accumulator.appendString(interchangeNewlineString);
586         startNode = visibleStart.next().deepEquivalent().deprecatedNode();
587
588         if (pastEnd && Range::compareBoundaryPoints(startNode, 0, pastEnd, 0, ASSERT_NO_EXCEPTION) >= 0)
589             return interchangeNewlineString;
590     }
591
592     Node* lastClosed = accumulator.serializeNodes(startNode, pastEnd);
593
594     if (specialCommonAncestor && lastClosed) {
595         // Also include all of the ancestors of lastClosed up to this special ancestor.
596         for (ContainerNode* ancestor = lastClosed->parentNode(); ancestor; ancestor = ancestor->parentNode()) {
597             if (ancestor == fullySelectedRoot && !convertBlocksToInlines) {
598                 RefPtr<EditingStyle> fullySelectedRootStyle = styleFromMatchedRulesAndInlineDecl(fullySelectedRoot);
599
600                 // Bring the background attribute over, but not as an attribute because a background attribute on a div
601                 // appears to have no effect.
602                 if ((!fullySelectedRootStyle || !fullySelectedRootStyle->style() || !fullySelectedRootStyle->style()->getPropertyCSSValue(CSSPropertyBackgroundImage))
603                     && toElement(fullySelectedRoot)->hasAttribute(backgroundAttr))
604                     fullySelectedRootStyle->style()->setProperty(CSSPropertyBackgroundImage, "url('" + toElement(fullySelectedRoot)->getAttribute(backgroundAttr) + "')");
605
606                 if (fullySelectedRootStyle->style()) {
607                     // Reset the CSS properties to avoid an assertion error in addStyleMarkup().
608                     // This assertion is caused at least when we select all text of a <body> element whose
609                     // 'text-decoration' property is "inherit", and copy it.
610                     if (!propertyMissingOrEqualToNone(fullySelectedRootStyle->style(), CSSPropertyTextDecoration))
611                         fullySelectedRootStyle->style()->setProperty(CSSPropertyTextDecoration, CSSValueNone);
612                     if (!propertyMissingOrEqualToNone(fullySelectedRootStyle->style(), CSSPropertyWebkitTextDecorationsInEffect))
613                         fullySelectedRootStyle->style()->setProperty(CSSPropertyWebkitTextDecorationsInEffect, CSSValueNone);
614                     accumulator.wrapWithStyleNode(fullySelectedRootStyle->style(), document, true);
615                 }
616             } else {
617                 // Since this node and all the other ancestors are not in the selection we want to set RangeFullySelectsNode to DoesNotFullySelectNode
618                 // so that styles that affect the exterior of the node are not included.
619                 accumulator.wrapWithNode(*ancestor, convertBlocksToInlines, StyledMarkupAccumulator::DoesNotFullySelectNode);
620             }
621             if (nodes)
622                 nodes->append(ancestor);
623             
624             lastClosed = ancestor;
625             
626             if (ancestor == specialCommonAncestor)
627                 break;
628         }
629     }
630     
631     if (accumulator.needRelativeStyleWrapper() && needsPositionStyleConversion) {
632         RefPtr<EditingStyle> positionRelativeStyle = styleFromMatchedRulesAndInlineDecl(body);
633         positionRelativeStyle->style()->setProperty(CSSPropertyPosition, CSSValueRelative);
634         accumulator.wrapWithStyleNode(positionRelativeStyle->style(), document, true);
635     }
636
637     // FIXME: The interchange newline should be placed in the block that it's in, not after all of the content, unconditionally.
638     if (shouldAnnotate == AnnotateForInterchange && needInterchangeNewlineAfter(visibleEnd.previous()))
639         accumulator.appendString(interchangeNewlineString);
640
641     return accumulator.takeResults();
642 }
643
644 String createMarkup(const Range& range, Vector<Node*>* nodes, EAnnotateForInterchange shouldAnnotate, bool convertBlocksToInlines, EAbsoluteURLs shouldResolveURLs)
645 {
646     Document& document = range.ownerDocument();
647     const Range* updatedRange = &range;
648
649 #if ENABLE(DELETION_UI)
650     // Disable the delete button so it's elements are not serialized into the markup,
651     // but make sure neither endpoint is inside the delete user interface.
652     Frame* frame = document.frame();
653     DeleteButtonControllerDisableScope deleteButtonControllerDisableScope(frame);
654
655     RefPtr<Range> updatedRangeRef;
656     if (frame) {
657         updatedRangeRef = frame->editor().avoidIntersectionWithDeleteButtonController(&range);
658         updatedRange = updatedRangeRef.get();
659         if (!updatedRange)
660             return emptyString();
661     }
662 #endif
663
664     return createMarkupInternal(document, range, *updatedRange, nodes, shouldAnnotate, convertBlocksToInlines, shouldResolveURLs);
665 }
666
667 PassRefPtr<DocumentFragment> createFragmentFromMarkup(Document& document, const String& markup, const String& baseURL, ParserContentPolicy parserContentPolicy)
668 {
669     // We use a fake body element here to trick the HTML parser to using the InBody insertion mode.
670     RefPtr<HTMLBodyElement> fakeBody = HTMLBodyElement::create(document);
671     RefPtr<DocumentFragment> fragment = DocumentFragment::create(document);
672
673     fragment->parseHTML(markup, fakeBody.get(), parserContentPolicy);
674
675     if (!baseURL.isEmpty() && baseURL != blankURL() && baseURL != document.baseURL())
676         completeURLs(fragment.get(), baseURL);
677
678     return fragment.release();
679 }
680
681 String createMarkup(const Node& node, EChildrenOnly childrenOnly, Vector<Node*>* nodes, EAbsoluteURLs shouldResolveURLs, Vector<QualifiedName>* tagNamesToSkip, EFragmentSerialization fragmentSerialization)
682 {
683     HTMLElement* deleteButtonContainerElement = 0;
684 #if ENABLE(DELETION_UI)
685     if (Frame* frame = node.document().frame()) {
686         deleteButtonContainerElement = frame->editor().deleteButtonController().containerElement();
687         if (node.isDescendantOf(deleteButtonContainerElement))
688             return emptyString();
689     }
690 #endif
691
692     MarkupAccumulator accumulator(nodes, shouldResolveURLs, 0, fragmentSerialization);
693     return accumulator.serializeNodes(const_cast<Node&>(node), deleteButtonContainerElement, childrenOnly, tagNamesToSkip);
694 }
695
696 static void fillContainerFromString(ContainerNode* paragraph, const String& string)
697 {
698     Document& document = paragraph->document();
699
700     if (string.isEmpty()) {
701         paragraph->appendChild(createBlockPlaceholderElement(document), ASSERT_NO_EXCEPTION);
702         return;
703     }
704
705     ASSERT(string.find('\n') == notFound);
706
707     Vector<String> tabList;
708     string.split('\t', true, tabList);
709     String tabText = emptyString();
710     bool first = true;
711     size_t numEntries = tabList.size();
712     for (size_t i = 0; i < numEntries; ++i) {
713         const String& s = tabList[i];
714
715         // append the non-tab textual part
716         if (!s.isEmpty()) {
717             if (!tabText.isEmpty()) {
718                 paragraph->appendChild(createTabSpanElement(document, tabText), ASSERT_NO_EXCEPTION);
719                 tabText = emptyString();
720             }
721             RefPtr<Node> textNode = document.createTextNode(stringWithRebalancedWhitespace(s, first, i + 1 == numEntries));
722             paragraph->appendChild(textNode.release(), ASSERT_NO_EXCEPTION);
723         }
724
725         // there is a tab after every entry, except the last entry
726         // (if the last character is a tab, the list gets an extra empty entry)
727         if (i + 1 != numEntries)
728             tabText.append('\t');
729         else if (!tabText.isEmpty())
730             paragraph->appendChild(createTabSpanElement(document, tabText), ASSERT_NO_EXCEPTION);
731
732         first = false;
733     }
734 }
735
736 bool isPlainTextMarkup(Node *node)
737 {
738     if (!node->isElementNode() || !node->hasTagName(divTag) || toElement(node)->hasAttributes())
739         return false;
740     
741     if (node->childNodeCount() == 1 && (node->firstChild()->isTextNode() || (node->firstChild()->firstChild())))
742         return true;
743     
744     return (node->childNodeCount() == 2 && isTabSpanTextNode(node->firstChild()->firstChild()) && node->firstChild()->nextSibling()->isTextNode());
745 }
746
747 static bool contextPreservesNewline(const Range& context)
748 {
749     VisiblePosition position(context.startPosition());
750     Node* container = position.deepEquivalent().containerNode();
751     if (!container || !container->renderer())
752         return false;
753
754     return container->renderer()->style().preserveNewline();
755 }
756
757 PassRefPtr<DocumentFragment> createFragmentFromText(Range& context, const String& text)
758 {
759     Document& document = context.ownerDocument();
760     RefPtr<DocumentFragment> fragment = document.createDocumentFragment();
761     
762     if (text.isEmpty())
763         return fragment.release();
764
765     String string = text;
766     string.replace("\r\n", "\n");
767     string.replace('\r', '\n');
768
769     if (contextPreservesNewline(context)) {
770         fragment->appendChild(document.createTextNode(string), ASSERT_NO_EXCEPTION);
771         if (string.endsWith('\n')) {
772             RefPtr<Element> element = createBreakElement(document);
773             element->setAttribute(classAttr, AppleInterchangeNewline);            
774             fragment->appendChild(element.release(), ASSERT_NO_EXCEPTION);
775         }
776         return fragment.release();
777     }
778
779     // A string with no newlines gets added inline, rather than being put into a paragraph.
780     if (string.find('\n') == notFound) {
781         fillContainerFromString(fragment.get(), string);
782         return fragment.release();
783     }
784
785     // Break string into paragraphs. Extra line breaks turn into empty paragraphs.
786     Node* blockNode = enclosingBlock(context.firstNode());
787     Element* block = toElement(blockNode);
788     bool useClonesOfEnclosingBlock = blockNode
789         && blockNode->isElementNode()
790         && !block->hasTagName(bodyTag)
791         && !block->hasTagName(htmlTag)
792         && block != editableRootForPosition(context.startPosition());
793     bool useLineBreak = enclosingTextFormControl(context.startPosition());
794
795     Vector<String> list;
796     string.split('\n', true, list); // true gets us empty strings in the list
797     size_t numLines = list.size();
798     for (size_t i = 0; i < numLines; ++i) {
799         const String& s = list[i];
800
801         RefPtr<Element> element;
802         if (s.isEmpty() && i + 1 == numLines) {
803             // For last line, use the "magic BR" rather than a P.
804             element = createBreakElement(document);
805             element->setAttribute(classAttr, AppleInterchangeNewline);
806         } else if (useLineBreak) {
807             element = createBreakElement(document);
808             fillContainerFromString(fragment.get(), s);
809         } else {
810             if (useClonesOfEnclosingBlock)
811                 element = block->cloneElementWithoutChildren();
812             else
813                 element = createDefaultParagraphElement(document);
814             fillContainerFromString(element.get(), s);
815         }
816         fragment->appendChild(element.release(), ASSERT_NO_EXCEPTION);
817     }
818     return fragment.release();
819 }
820
821 String documentTypeString(const Document& document)
822 {
823     DocumentType* documentType = document.doctype();
824     if (!documentType)
825         return emptyString();
826     return createMarkup(*documentType);
827 }
828
829 String createFullMarkup(const Node& node)
830 {
831     // FIXME: This is never "for interchange". Is that right?
832     String markupString = createMarkup(node, IncludeNode, 0);
833
834     Node::NodeType nodeType = node.nodeType();
835     if (nodeType != Node::DOCUMENT_NODE && nodeType != Node::DOCUMENT_TYPE_NODE)
836         markupString = documentTypeString(node.document()) + markupString;
837
838     return markupString;
839 }
840
841 String createFullMarkup(const Range& range)
842 {
843     Node* node = range.startContainer();
844     if (!node)
845         return String();
846
847     // FIXME: This is always "for interchange". Is that right?
848     return documentTypeString(node->document()) + createMarkup(range, 0, AnnotateForInterchange);
849 }
850
851 String urlToMarkup(const URL& url, const String& title)
852 {
853     StringBuilder markup;
854     markup.append("<a href=\"");
855     markup.append(url.string());
856     markup.append("\">");
857     MarkupAccumulator::appendCharactersReplacingEntities(markup, title, 0, title.length(), EntityMaskInPCDATA);
858     markup.append("</a>");
859     return markup.toString();
860 }
861
862 PassRefPtr<DocumentFragment> createFragmentForInnerOuterHTML(const String& markup, Element* contextElement, ParserContentPolicy parserContentPolicy, ExceptionCode& ec)
863 {
864     Document* document = &contextElement->document();
865 #if ENABLE(TEMPLATE_ELEMENT)
866     if (contextElement->hasTagName(templateTag))
867         document = document->ensureTemplateDocument();
868 #endif
869     RefPtr<DocumentFragment> fragment = DocumentFragment::create(*document);
870
871     if (document->isHTMLDocument()) {
872         fragment->parseHTML(markup, contextElement, parserContentPolicy);
873         return fragment;
874     }
875
876     bool wasValid = fragment->parseXML(markup, contextElement, parserContentPolicy);
877     if (!wasValid) {
878         ec = SYNTAX_ERR;
879         return 0;
880     }
881     return fragment.release();
882 }
883
884 PassRefPtr<DocumentFragment> createFragmentForTransformToFragment(const String& sourceString, const String& sourceMIMEType, Document* outputDoc)
885 {
886     RefPtr<DocumentFragment> fragment = outputDoc->createDocumentFragment();
887     
888     if (sourceMIMEType == "text/html") {
889         // As far as I can tell, there isn't a spec for how transformToFragment is supposed to work.
890         // Based on the documentation I can find, it looks like we want to start parsing the fragment in the InBody insertion mode.
891         // Unfortunately, that's an implementation detail of the parser.
892         // We achieve that effect here by passing in a fake body element as context for the fragment.
893         RefPtr<HTMLBodyElement> fakeBody = HTMLBodyElement::create(*outputDoc);
894         fragment->parseHTML(sourceString, fakeBody.get());
895     } else if (sourceMIMEType == "text/plain")
896         fragment->parserAppendChild(Text::create(*outputDoc, sourceString));
897     else {
898         bool successfulParse = fragment->parseXML(sourceString, 0);
899         if (!successfulParse)
900             return 0;
901     }
902     
903     // FIXME: Do we need to mess with URLs here?
904     
905     return fragment.release();
906 }
907
908 static Vector<Ref<HTMLElement>> collectElementsToRemoveFromFragment(ContainerNode& container)
909 {
910     Vector<Ref<HTMLElement>> toRemove;
911     for (auto& element : childrenOfType<HTMLElement>(container)) {
912         if (isHTMLHtmlElement(element)) {
913             toRemove.append(element);
914             collectElementsToRemoveFromFragment(element);
915             continue;
916         }
917         if (isHTMLHeadElement(element) || isHTMLBodyElement(element))
918             toRemove.append(element);
919     }
920     return toRemove;
921 }
922
923 static void removeElementFromFragmentPreservingChildren(DocumentFragment& fragment, HTMLElement& element)
924 {
925     RefPtr<Node> nextChild;
926     for (RefPtr<Node> child = element.firstChild(); child; child = nextChild) {
927         nextChild = child->nextSibling();
928         element.removeChild(child.get(), ASSERT_NO_EXCEPTION);
929         fragment.insertBefore(child, &element, ASSERT_NO_EXCEPTION);
930     }
931     fragment.removeChild(&element, ASSERT_NO_EXCEPTION);
932 }
933
934 PassRefPtr<DocumentFragment> createContextualFragment(const String& markup, HTMLElement* element, ParserContentPolicy parserContentPolicy, ExceptionCode& ec)
935 {
936     ASSERT(element);
937     if (element->ieForbidsInsertHTML()) {
938         ec = NOT_SUPPORTED_ERR;
939         return 0;
940     }
941
942     if (element->hasLocalName(colTag) || element->hasLocalName(colgroupTag) || element->hasLocalName(framesetTag)
943         || element->hasLocalName(headTag) || element->hasLocalName(styleTag) || element->hasLocalName(titleTag)) {
944         ec = NOT_SUPPORTED_ERR;
945         return 0;
946     }
947
948     RefPtr<DocumentFragment> fragment = createFragmentForInnerOuterHTML(markup, element, parserContentPolicy, ec);
949     if (!fragment)
950         return 0;
951
952     // We need to pop <html> and <body> elements and remove <head> to
953     // accommodate folks passing complete HTML documents to make the
954     // child of an element.
955     auto toRemove = collectElementsToRemoveFromFragment(*fragment);
956     for (unsigned i = 0; i < toRemove.size(); ++i)
957         removeElementFromFragmentPreservingChildren(*fragment, toRemove[i].get());
958
959     return fragment.release();
960 }
961
962 static inline bool hasOneChild(ContainerNode* node)
963 {
964     Node* firstChild = node->firstChild();
965     return firstChild && !firstChild->nextSibling();
966 }
967
968 static inline bool hasOneTextChild(ContainerNode* node)
969 {
970     return hasOneChild(node) && node->firstChild()->isTextNode();
971 }
972
973 void replaceChildrenWithFragment(ContainerNode& container, PassRefPtr<DocumentFragment> fragment, ExceptionCode& ec)
974 {
975     Ref<ContainerNode> containerNode(container);
976     ChildListMutationScope mutation(containerNode.get());
977
978     if (!fragment->firstChild()) {
979         containerNode->removeChildren();
980         return;
981     }
982
983     if (hasOneTextChild(&containerNode.get()) && hasOneTextChild(fragment.get())) {
984         toText(containerNode->firstChild())->setData(toText(fragment->firstChild())->data(), ec);
985         return;
986     }
987
988     if (hasOneChild(&containerNode.get())) {
989         containerNode->replaceChild(fragment, containerNode->firstChild(), ec);
990         return;
991     }
992
993     containerNode->removeChildren();
994     containerNode->appendChild(fragment, ec);
995 }
996
997 void replaceChildrenWithText(ContainerNode& container, const String& text, ExceptionCode& ec)
998 {
999     Ref<ContainerNode> containerNode(container);
1000     ChildListMutationScope mutation(containerNode.get());
1001
1002     if (hasOneTextChild(&containerNode.get())) {
1003         toText(containerNode->firstChild())->setData(text, ec);
1004         return;
1005     }
1006
1007     RefPtr<Text> textNode = Text::create(containerNode->document(), text);
1008
1009     if (hasOneChild(&containerNode.get())) {
1010         containerNode->replaceChild(textNode.release(), containerNode->firstChild(), ec);
1011         return;
1012     }
1013
1014     containerNode->removeChildren();
1015     containerNode->appendChild(textNode.release(), ec);
1016 }
1017
1018 }