rs=adam
[WebKit-https.git] / WebCore / editing / markup.cpp
1 /*
2  * Copyright (C) 2004, 2005, 2006, 2007 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #include "config.h"
27 #include "markup.h"
28
29 #include "CDATASection.h"
30 #include "CSSComputedStyleDeclaration.h"
31 #include "CSSPropertyNames.h"
32 #include "CSSRule.h"
33 #include "CSSRuleList.h"
34 #include "CSSStyleRule.h"
35 #include "CSSStyleSelector.h"
36 #include "CSSValueKeywords.h"
37 #include "Comment.h"
38 #include "DeleteButtonController.h"
39 #include "DeprecatedStringList.h"
40 #include "Document.h"
41 #include "DocumentFragment.h"
42 #include "DocumentType.h"
43 #include "Editor.h"
44 #include "Frame.h"
45 #include "HTMLElement.h"
46 #include "HTMLNames.h"
47 #include "InlineTextBox.h"
48 #include "KURL.h"
49 #include "Logging.h"
50 #include "ProcessingInstruction.h"
51 #include "QualifiedName.h"
52 #include "Range.h"
53 #include "Selection.h"
54 #include "TextIterator.h"
55 #include "htmlediting.h"
56 #include "visible_units.h"
57
58 using namespace std;
59
60 namespace WebCore {
61
62 using namespace HTMLNames;
63
64 static inline bool shouldSelfClose(const Node *node);
65
66 class AttributeChange {
67 public:
68     AttributeChange()
69         : m_name(nullAtom, nullAtom, nullAtom)
70     {
71     }
72
73     AttributeChange(PassRefPtr<Element> element, const QualifiedName& name, const String& value)
74         : m_element(element), m_name(name), m_value(value)
75     {
76     }
77
78     void apply()
79     {
80         m_element->setAttribute(m_name, m_value);
81     }
82
83 private:
84     RefPtr<Element> m_element;
85     QualifiedName m_name;
86     String m_value;
87 };
88
89 static DeprecatedString escapeTextForMarkup(const String& in, bool isAttributeValue)
90 {
91     DeprecatedString s = "";
92
93     unsigned len = in.length();
94     for (unsigned i = 0; i < len; ++i) {
95         switch (in[i]) {
96             case '&':
97                 s += "&amp;";
98                 break;
99             case '<':
100                 s += "&lt;";
101                 break;
102             case '>':
103                 s += "&gt;";
104                 break;
105             case '"':
106                 if (isAttributeValue) {
107                     s += "&quot;";
108                     break;
109                 }
110                 // fall through
111             default:
112                 s += DeprecatedChar(in[i]);
113         }
114     }
115
116     return s;
117 }
118
119 static String stringValueForRange(const Node *node, const Range *range)
120 {
121     String str = node->nodeValue().copy();
122     if (range) {
123         ExceptionCode ec;
124         if (node == range->endContainer(ec))
125             str.truncate(range->endOffset(ec));
126         if (node == range->startContainer(ec))
127             str.remove(0, range->startOffset(ec));
128     }
129     return str;
130 }
131
132 static String renderedText(const Node* node, const Range* range)
133 {
134     if (!node->isTextNode())
135         return String();
136
137     ExceptionCode ec;
138     const Text* textNode = static_cast<const Text*>(node);
139     unsigned startOffset = 0;
140     unsigned endOffset = textNode->length();
141
142     if (range && node == range->startContainer(ec))
143         startOffset = range->startOffset(ec);
144     if (range && node == range->endContainer(ec))
145         endOffset = range->endOffset(ec);
146     
147     Position start(const_cast<Node*>(node), startOffset);
148     Position end(const_cast<Node*>(node), endOffset);
149     Range r(node->document(), start, end);
150     return plainText(&r);
151 }
152
153 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesForElement(Element* element, bool authorOnly = true)
154 {
155     RefPtr<CSSMutableStyleDeclaration> style = new CSSMutableStyleDeclaration();
156     RefPtr<CSSRuleList> matchedRules = element->document()->styleSelector()->styleRulesForElement(element, authorOnly);
157     if (matchedRules) {
158         for (unsigned i = 0; i < matchedRules->length(); i++) {
159             if (matchedRules->item(i)->type() == CSSRule::STYLE_RULE) {
160                 RefPtr<CSSMutableStyleDeclaration> s = static_cast<CSSStyleRule*>(matchedRules->item(i))->style();
161                 style->merge(s.get(), true);
162             }
163         }
164     }
165     
166     return style.release();
167 }
168
169 static void removeEnclosingMailBlockquoteStyle(CSSMutableStyleDeclaration* style, Node* node)
170 {
171     Node* blockquote = nearestMailBlockquote(node);
172     if (!blockquote || !blockquote->parentNode())
173         return;
174             
175     RefPtr<CSSMutableStyleDeclaration> parentStyle = Position(blockquote->parentNode(), 0).computedStyle()->copyInheritableProperties();
176     RefPtr<CSSMutableStyleDeclaration> blockquoteStyle = Position(blockquote, 0).computedStyle()->copyInheritableProperties();
177     parentStyle->diff(blockquoteStyle.get());
178     blockquoteStyle->diff(style);
179 }
180
181 static bool shouldAddNamespaceElem(const Element* elem)
182 {
183     // Don't add namespace attribute if it is already defined for this elem.
184     const AtomicString& prefix = elem->prefix();
185     AtomicString attr = !prefix.isEmpty() ? "xmlns:" + prefix : "xmlns";
186     return !elem->hasAttribute(attr);
187 }
188
189 static bool shouldAddNamespaceAttr(const Attribute* attr, HashMap<AtomicStringImpl*, AtomicStringImpl*>& namespaces)
190 {
191     // Don't add namespace attributes twice
192     static const AtomicString xmlnsURI = "http://www.w3.org/2000/xmlns/";
193     static const QualifiedName xmlnsAttr(nullAtom, "xmlns", xmlnsURI);
194     if (attr->name() == xmlnsAttr) {
195         namespaces.set(emptyAtom.impl(), attr->value().impl());
196         return false;
197     }
198     
199     QualifiedName xmlnsPrefixAttr("xmlns", attr->localName(), xmlnsURI);
200     if (attr->name() == xmlnsPrefixAttr) {
201         namespaces.set(attr->localName().impl(), attr->value().impl());
202         return false;
203     }
204     
205     return true;
206 }
207
208 static String addNamespace(const AtomicString& prefix, const AtomicString& ns, HashMap<AtomicStringImpl*, AtomicStringImpl*>& namespaces)
209 {
210     if (ns.isEmpty())
211         return "";
212     
213     // Use emptyAtoms's impl() for both null and empty strings since the HashMap can't handle 0 as a key
214     AtomicStringImpl* pre = prefix.isEmpty() ? emptyAtom.impl() : prefix.impl();
215     AtomicStringImpl* foundNS = namespaces.get(pre);
216     if (foundNS != ns.impl()) {
217         namespaces.set(pre, ns.impl());
218         return " xmlns" + (!prefix.isEmpty() ? ":" + prefix : "") + "=\"" + escapeTextForMarkup(ns, true) + "\"";
219     }
220     
221     return "";
222 }
223
224 static DeprecatedString startMarkup(const Node *node, const Range *range, EAnnotateForInterchange annotate, bool convertBlocksToInlines = false, HashMap<AtomicStringImpl*, AtomicStringImpl*>* namespaces = 0)
225 {
226     bool documentIsHTML = node->document()->isHTMLDocument();
227     switch (node->nodeType()) {
228         case Node::TEXT_NODE: {
229             if (Node* parent = node->parentNode()) {
230                 if (parent->hasTagName(listingTag)
231                         || parent->hasTagName(scriptTag)
232                         || parent->hasTagName(styleTag)
233                         || parent->hasTagName(textareaTag)
234                         || parent->hasTagName(xmpTag))
235                     return stringValueForRange(node, range).deprecatedString();
236             }
237             bool useRenderedText = annotate && !enclosingNodeWithTag(const_cast<Node*>(node), selectTag);
238             DeprecatedString markup = escapeTextForMarkup(useRenderedText ? renderedText(node, range) : stringValueForRange(node, range), false);
239             return annotate ? convertHTMLTextToInterchangeFormat(markup, static_cast<const Text*>(node)) : markup;
240         }
241         case Node::COMMENT_NODE:
242             return static_cast<const Comment*>(node)->toString().deprecatedString();
243         case Node::DOCUMENT_NODE: {
244             // Documents do not normally contain a docType as a child node, force it to print here instead.
245             const DocumentType* docType = static_cast<const Document*>(node)->doctype();
246             if (docType)
247                 return docType->toString().deprecatedString();
248             return "";
249         }
250         case Node::DOCUMENT_FRAGMENT_NODE:
251             return "";
252         case Node::DOCUMENT_TYPE_NODE:
253             return static_cast<const DocumentType*>(node)->toString().deprecatedString();
254         case Node::PROCESSING_INSTRUCTION_NODE:
255             return static_cast<const ProcessingInstruction*>(node)->toString().deprecatedString();
256         case Node::ELEMENT_NODE: {
257             DeprecatedString markup = DeprecatedChar('<');
258             const Element* el = static_cast<const Element*>(node);
259             convertBlocksToInlines &= isBlock(const_cast<Node*>(node));
260             markup += el->nodeNamePreservingCase().deprecatedString();
261             NamedAttrMap *attrs = el->attributes();
262             unsigned length = attrs->length();
263             if (!documentIsHTML && namespaces && shouldAddNamespaceElem(el))
264                 markup += addNamespace(el->prefix(), el->namespaceURI(), *namespaces).deprecatedString();
265
266             for (unsigned int i = 0; i < length; i++) {
267                 Attribute *attr = attrs->attributeItem(i);
268                 // We'll handle the style attribute separately, below.
269                 if (attr->name() == styleAttr && el->isHTMLElement() && (annotate || convertBlocksToInlines))
270                     continue;
271                 if (documentIsHTML)
272                     markup += " " + attr->name().localName().deprecatedString();
273                 else
274                     markup += " " + attr->name().toString().deprecatedString();
275                 markup += "=\"" + escapeTextForMarkup(attr->value(), true) + "\"";
276                 if (!documentIsHTML && namespaces && shouldAddNamespaceAttr(attr, *namespaces))
277                     markup += addNamespace(attr->prefix(), attr->namespaceURI(), *namespaces).deprecatedString();
278             }
279             
280             if (el->isHTMLElement() && (annotate || convertBlocksToInlines)) {
281                 Element* element = const_cast<Element*>(el);
282                 RefPtr<CSSMutableStyleDeclaration> style = static_cast<HTMLElement*>(element)->getInlineStyleDecl()->copy();
283                 if (annotate) {
284                     RefPtr<CSSMutableStyleDeclaration> styleFromMatchedRules = styleFromMatchedRulesForElement(const_cast<Element*>(el));
285                     style->merge(styleFromMatchedRules.get());
286                 }
287                 if (convertBlocksToInlines)
288                     style->setProperty(CSS_PROP_DISPLAY, CSS_VAL_INLINE, true);
289                 if (style->length() > 0)
290                     markup += " style=\"" + escapeTextForMarkup(style->cssText(), true) + "\"";
291             }
292             
293             if (shouldSelfClose(el)) {
294                 if (el->isHTMLElement())
295                     markup += " "; // XHTML 1.0 <-> HTML compatibility.
296                 markup += "/>";
297             } else
298                 markup += ">";
299             
300             return markup;
301         }
302         case Node::CDATA_SECTION_NODE:
303             return static_cast<const CDATASection*>(node)->toString().deprecatedString();
304         case Node::ATTRIBUTE_NODE:
305         case Node::ENTITY_NODE:
306         case Node::ENTITY_REFERENCE_NODE:
307         case Node::NOTATION_NODE:
308         case Node::XPATH_NAMESPACE_NODE:
309             break;
310     }
311     return "";
312 }
313
314 static inline bool doesHTMLForbidEndTag(const Node *node)
315 {
316     if (node->isHTMLElement()) {
317         const HTMLElement* htmlElt = static_cast<const HTMLElement*>(node);
318         return (htmlElt->endTagRequirement() == TagStatusForbidden);
319     }
320     return false;
321 }
322
323 // Rules of self-closure
324 // 1. No elements in HTML documents use the self-closing syntax.
325 // 2. Elements w/ children never self-close because they use a separate end tag.
326 // 3. HTML elements which do not have a "forbidden" end tag will close with a separate end tag.
327 // 4. Other elements self-close.
328 static inline bool shouldSelfClose(const Node *node)
329 {
330     if (node->document()->isHTMLDocument())
331         return false;
332     if (node->hasChildNodes())
333         return false;
334     if (node->isHTMLElement() && !doesHTMLForbidEndTag(node))
335         return false;
336     return true;
337 }
338
339 static DeprecatedString endMarkup(const Node *node)
340 {
341     if (node->isElementNode() && !shouldSelfClose(node) && (node->hasChildNodes() || !doesHTMLForbidEndTag(node)))
342         return "</" + static_cast<const Element*>(node)->nodeNamePreservingCase().deprecatedString() + ">";
343     return "";
344 }
345
346 static DeprecatedString markup(Node* startNode, bool onlyIncludeChildren, Vector<Node*>* nodes, const HashMap<AtomicStringImpl*, AtomicStringImpl*>* namespaces = 0)
347 {
348     HashMap<AtomicStringImpl*, AtomicStringImpl*> namespaceHash;
349     if (namespaces)
350         namespaceHash = *namespaces;
351     
352     DeprecatedString me = "";
353     if (!onlyIncludeChildren) {
354         if (nodes)
355             nodes->append(startNode);
356         me += startMarkup(startNode, 0, DoNotAnnotateForInterchange, false, &namespaceHash);
357     }
358     // print children
359     if (!(startNode->document()->isHTMLDocument() && doesHTMLForbidEndTag(startNode)))
360         for (Node* current = startNode->firstChild(); current; current = current->nextSibling())
361             me += markup(current, false, nodes, &namespaceHash);
362     
363     // Print my ending tag
364     if (!onlyIncludeChildren)
365         me += endMarkup(startNode);
366     
367     return me;
368 }
369
370 static void completeURLs(Node* node, const String& baseURL)
371 {
372     Vector<AttributeChange> changes;
373
374     KURL baseURLAsKURL(baseURL.deprecatedString());
375
376     Node* end = node->traverseNextSibling();
377     for (Node* n = node; n != end; n = n->traverseNextNode()) {
378         if (n->isElementNode()) {
379             Element* e = static_cast<Element*>(n);
380             NamedAttrMap* attrs = e->attributes();
381             unsigned length = attrs->length();
382             for (unsigned i = 0; i < length; i++) {
383                 Attribute* attr = attrs->attributeItem(i);
384                 if (e->isURLAttribute(attr)) {
385                     String completedURL = KURL(baseURLAsKURL, attr->value().deprecatedString()).url();
386                     changes.append(AttributeChange(e, attr->name(), completedURL));
387                 }
388             }
389         }
390     }
391
392     size_t numChanges = changes.size();
393     for (size_t i = 0; i < numChanges; ++i)
394         changes[i].apply();
395 }
396
397 static bool needInterchangeNewlineAfter(const VisiblePosition& v)
398 {
399     VisiblePosition next = v.next();
400     return isEndOfParagraph(v) && isStartOfParagraph(next) && !next.deepEquivalent().upstream().node()->hasTagName(brTag);
401 }
402
403 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesAndInlineDecl(Node* node)
404 {
405     if (!node->isHTMLElement())
406         return 0;
407     
408     HTMLElement* element = static_cast<HTMLElement*>(node);
409     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesForElement(element);
410     RefPtr<CSSMutableStyleDeclaration> inlineStyleDecl = element->getInlineStyleDecl();
411     style->merge(inlineStyleDecl.get());
412     return style.release();
413 }
414
415 static bool propertyMissingOrEqualToNone(CSSMutableStyleDeclaration* style, int propertyID)
416 {
417     if (!style)
418         return false;
419     RefPtr<CSSValue> value = style->getPropertyCSSValue(propertyID);
420     if (!value)
421         return true;
422     if (!value->isPrimitiveValue())
423         return false;
424     return static_cast<CSSPrimitiveValue*>(value.get())->getIdent() == CSS_VAL_NONE;
425 }
426
427 static bool elementHasTextDecorationProperty(Node* node)
428 {
429     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesAndInlineDecl(node);
430     if (!style)
431         return false;
432     return !propertyMissingOrEqualToNone(style.get(), CSS_PROP_TEXT_DECORATION);
433 }
434
435 static PassRefPtr<Range> moveEndpointsBeforeNode(const Range* range, Node* node)
436 {
437     if (!range || range->isDetached())
438         return 0;
439
440     Document* document = range->ownerDocument();
441
442     ExceptionCode ec = 0;
443     Node* startContainer = range->startContainer(ec);
444     ASSERT(ec == 0);
445     int startOffset = range->startOffset(ec);
446     ASSERT(ec == 0);
447     Node* endContainer = range->endContainer(ec);
448     ASSERT(ec == 0);
449     int endOffset = range->endOffset(ec);
450     ASSERT(ec == 0);
451
452     ASSERT(startContainer);
453     ASSERT(endContainer);
454
455     if (startContainer == node || startContainer->isDescendantOf(node)) {
456         startContainer = node->parent();
457         startOffset = node->nodeIndex();
458     }
459     if (endContainer == node || endContainer->isDescendantOf(node)) {
460         endContainer = node->parent();
461         endOffset = node->nodeIndex();
462     }
463
464     return new Range(document, startContainer, startOffset, endContainer, endOffset);
465 }
466
467 // FIXME: Shouldn't we omit style info when annotate == DoNotAnnotateForInterchange? 
468 // FIXME: At least, annotation and style info should probably not be included in range.markupString()
469 DeprecatedString createMarkup(const Range* range, Vector<Node*>* nodes, EAnnotateForInterchange annotate, bool convertBlocksToInlines)
470 {
471     static const DeprecatedString interchangeNewlineString = DeprecatedString("<br class=\"") + AppleInterchangeNewline + "\">";
472
473     if (!range || range->isDetached())
474         return "";
475
476     Document* document = range->ownerDocument();
477     if (!document)
478         return "";
479
480     // Disable the delete button so it's elements are not serialized into the markup,
481     // but make sure neither endpoint is inside the delete user interface.
482     Frame* frame = document->frame();
483     DeleteButtonController* deleteButton = frame ? frame->editor()->deleteButtonController() : 0;
484     RefPtr<Range> updatedRange = moveEndpointsBeforeNode(range, deleteButton ? deleteButton->containerElement() : 0);
485     if (deleteButton)
486         deleteButton->disable();
487
488     ExceptionCode ec = 0;
489     bool collapsed = updatedRange->collapsed(ec);
490     ASSERT(ec == 0);
491     if (collapsed)
492         return "";
493     Node* commonAncestor = updatedRange->commonAncestorContainer(ec);
494     ASSERT(ec == 0);
495     if (!commonAncestor)
496         return "";
497
498     document->updateLayoutIgnorePendingStylesheets();
499
500     DeprecatedStringList markups;
501     Node* pastEnd = updatedRange->pastEndNode();
502     Node* lastClosed = 0;
503     Vector<Node*> ancestorsToClose;
504     
505     Node* startNode = updatedRange->startNode();
506     VisiblePosition visibleStart(updatedRange->startPosition(), VP_DEFAULT_AFFINITY);
507     VisiblePosition visibleEnd(updatedRange->endPosition(), VP_DEFAULT_AFFINITY);
508     if (annotate && needInterchangeNewlineAfter(visibleStart)) {
509         if (visibleStart == visibleEnd.previous()) {
510             if (deleteButton)
511                 deleteButton->enable();
512             return interchangeNewlineString;
513         }
514
515         markups.append(interchangeNewlineString);
516         startNode = visibleStart.next().deepEquivalent().node();
517     }
518
519     Node* next;
520     for (Node* n = startNode; n != pastEnd; n = next) {
521         next = n->traverseNextNode();
522         bool skipDescendants = false;
523         bool addMarkupForNode = true;
524         
525         if (!n->renderer() && !enclosingNodeWithTag(n, selectTag)) {
526             skipDescendants = true;
527             addMarkupForNode = false;
528             next = n->traverseNextSibling();
529             // Don't skip over pastEnd.
530             if (pastEnd && pastEnd->isDescendantOf(n))
531                 next = pastEnd;
532         }
533
534         if (isBlock(n) && canHaveChildrenForEditing(n) && next == pastEnd)
535             // Don't write out empty block containers that aren't fully selected.
536             continue;
537         
538         // Add the node to the markup.
539         if (addMarkupForNode) {
540             markups.append(startMarkup(n, updatedRange.get(), annotate));
541             if (nodes)
542                 nodes->append(n);
543         }
544         
545         if (n->firstChild() == 0 || skipDescendants) {
546             // Node has no children, or we are skipping it's descendants, add its close tag now.
547             if (addMarkupForNode) {
548                 markups.append(endMarkup(n));
549                 lastClosed = n;
550             }
551             
552             // Check if the node is the last leaf of a tree.
553             if (!n->nextSibling() || next == pastEnd) {
554                 if (!ancestorsToClose.isEmpty()) {
555                     // Close up the ancestors.
556                     do {
557                         Node *ancestor = ancestorsToClose.last();
558                         if (next != pastEnd && next->isDescendantOf(ancestor))
559                             break;
560                         // Not at the end of the range, close ancestors up to sibling of next node.
561                         markups.append(endMarkup(ancestor));
562                         lastClosed = ancestor;
563                         ancestorsToClose.removeLast();
564                     } while (!ancestorsToClose.isEmpty());
565                 }
566                 
567                 // Surround the currently accumulated markup with markup for ancestors we never opened as we leave the subtree(s) rooted at those ancestors.
568                 Node* nextParent = next ? next->parentNode() : 0;
569                 if (next != pastEnd && n != nextParent) {
570                     Node* lastAncestorClosedOrSelf = n->isDescendantOf(lastClosed) ? lastClosed : n;
571                     for (Node *parent = lastAncestorClosedOrSelf->parent(); parent != 0 && parent != nextParent; parent = parent->parentNode()) {
572                         // All ancestors that aren't in the ancestorsToClose list should either be a) unrendered:
573                         if (!parent->renderer())
574                             continue;
575                         // or b) ancestors that we never encountered during a pre-order traversal starting at startNode:
576                         ASSERT(startNode->isDescendantOf(parent));
577                         markups.prepend(startMarkup(parent, updatedRange.get(), annotate));
578                         markups.append(endMarkup(parent));
579                         if (nodes)
580                             nodes->append(parent);
581                         lastClosed = parent;
582                     }
583                 }
584             }
585         } else if (addMarkupForNode && !skipDescendants)
586             // We added markup for this node, and we're descending into it.  Set it to close eventually.
587             ancestorsToClose.append(n);
588     }
589     
590     // Include ancestors that aren't completely inside the range but are required to retain 
591     // the structure and appearance of the copied markup.
592     Node* specialCommonAncestor = 0;
593     Node* commonAncestorBlock = commonAncestor ? enclosingBlock(commonAncestor) : 0;
594     if (annotate && commonAncestorBlock) {
595         if (commonAncestorBlock->hasTagName(tbodyTag)) {
596             Node* table = commonAncestorBlock->parentNode();
597             while (table && !table->hasTagName(tableTag))
598                 table = table->parentNode();
599             if (table)
600                 specialCommonAncestor = table;
601         } else if (commonAncestorBlock->hasTagName(listingTag)
602                     || commonAncestorBlock->hasTagName(olTag)
603                     || commonAncestorBlock->hasTagName(preTag)
604                     || commonAncestorBlock->hasTagName(tableTag)
605                     || commonAncestorBlock->hasTagName(ulTag)
606                     || commonAncestorBlock->hasTagName(xmpTag))
607             specialCommonAncestor = commonAncestorBlock;
608     }
609     
610     Node* checkAncestor = specialCommonAncestor ? specialCommonAncestor : commonAncestor;
611     if (checkAncestor->renderer()) {
612         RefPtr<CSSMutableStyleDeclaration> checkAncestorStyle = computedStyle(checkAncestor)->copyInheritableProperties();
613         if (!propertyMissingOrEqualToNone(checkAncestorStyle.get(), CSS_PROP__WEBKIT_TEXT_DECORATIONS_IN_EFFECT))
614             specialCommonAncestor = elementHasTextDecorationProperty(checkAncestor) ? checkAncestor : enclosingNodeOfType(checkAncestor, &elementHasTextDecorationProperty);
615     }
616     
617     if (Node *enclosingAnchor = enclosingNodeWithTag(specialCommonAncestor ? specialCommonAncestor : commonAncestor, aTag))
618         specialCommonAncestor = enclosingAnchor;
619     
620     Node* body = enclosingNodeWithTag(commonAncestor, bodyTag);
621     // FIXME: Only include markup for a fully selected root (and ancestors of lastClosed up to that root) if
622     // there are styles/attributes on those nodes that need to be included to preserve the appearance of the copied markup.
623     // FIXME: Do this for all fully selected blocks, not just the body.
624     Node* fullySelectedRoot = body && *Selection::selectionFromContentsOfNode(body).toRange() == *updatedRange ? body : 0;
625     if (annotate && fullySelectedRoot)
626         specialCommonAncestor = fullySelectedRoot;
627         
628     if (specialCommonAncestor) {
629         // Also include all of the ancestors of lastClosed up to this special ancestor.
630         for (Node* ancestor = lastClosed->parentNode(); ancestor; ancestor = ancestor->parentNode()) {
631             if (ancestor == fullySelectedRoot && !convertBlocksToInlines) {
632                 RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesAndInlineDecl(fullySelectedRoot);
633                 
634                 // Bring the background attribute over, but not as an attribute because a background attribute on a div
635                 // appears to have no effect.
636                 if (!style->getPropertyCSSValue(CSS_PROP_BACKGROUND_IMAGE) && static_cast<Element*>(fullySelectedRoot)->hasAttribute(backgroundAttr))
637                     style->setProperty(CSS_PROP_BACKGROUND_IMAGE, "url('" + static_cast<Element*>(fullySelectedRoot)->getAttribute(backgroundAttr) + "')");
638                 
639                 if (style->length()) {
640                     markups.prepend("<div style=\"" + escapeTextForMarkup(style->cssText(), true) + "\">");
641                     markups.append("</div>");
642                 }
643             } else {
644                 markups.prepend(startMarkup(ancestor, updatedRange.get(), annotate, convertBlocksToInlines));
645                 markups.append(endMarkup(ancestor));
646             }
647             if (nodes)
648                 nodes->append(ancestor);
649             
650             lastClosed = ancestor;
651             
652             if (ancestor == specialCommonAncestor)
653                 break;
654         }
655     }
656     
657     // Add a wrapper span with the styles that all of the nodes in the markup inherit.
658     Node* parentOfLastClosed = lastClosed ? lastClosed->parentNode() : 0;
659     if (parentOfLastClosed && parentOfLastClosed->renderer()) {
660         RefPtr<CSSMutableStyleDeclaration> style = computedStyle(parentOfLastClosed)->copyInheritableProperties();
661         // Styles that Mail blockquotes contribute should only be placed on the Mail blockquote, to help
662         // us differentiate those styles from ones that the user has applied.  This helps us
663         // get the color of content pasted into blockquotes right.
664         removeEnclosingMailBlockquoteStyle(style.get(), parentOfLastClosed);
665         
666         if (style->length() > 0) {
667             DeprecatedString openTag = DeprecatedString("<span class=\"") + AppleStyleSpanClass + "\" style=\"" + escapeTextForMarkup(style->cssText(), true) + "\">";
668             markups.prepend(openTag);
669             markups.append("</span>");
670         }
671     }
672
673     if (annotate && needInterchangeNewlineAfter(visibleEnd.previous()))
674         markups.append(interchangeNewlineString);
675
676     bool selectedOneOrMoreParagraphs = startOfParagraph(visibleStart) != startOfParagraph(visibleEnd) ||
677                                        isStartOfParagraph(visibleStart) && isEndOfParagraph(visibleEnd);
678                                       
679     // Retain the Mail quote level by including all ancestor mail block quotes.
680     if (lastClosed && annotate && selectedOneOrMoreParagraphs) {
681         for (Node *ancestor = lastClosed->parentNode(); ancestor; ancestor = ancestor->parentNode()) {
682             if (isMailBlockquote(ancestor)) {
683                 markups.prepend(startMarkup(ancestor, updatedRange.get(), annotate));
684                 markups.append(endMarkup(ancestor));
685             }
686         }
687     }
688
689     if (deleteButton)
690         deleteButton->enable();
691
692     return markups.join("");
693 }
694
695 PassRefPtr<DocumentFragment> createFragmentFromMarkup(Document* document, const String& markup, const String& baseURL)
696 {
697     ASSERT(document->documentElement()->isHTMLElement());
698     // FIXME: What if the document element is not an HTML element?
699     HTMLElement *element = static_cast<HTMLElement*>(document->documentElement());
700
701     RefPtr<DocumentFragment> fragment = element->createContextualFragment(markup);
702
703     if (fragment && !baseURL.isEmpty() && baseURL != document->baseURL())
704         completeURLs(fragment.get(), baseURL);
705
706     return fragment.release();
707 }
708
709 DeprecatedString createMarkup(const Node* node, EChildrenOnly includeChildren,
710     Vector<Node*>* nodes, EAnnotateForInterchange annotate)
711 {
712     ASSERT(annotate == DoNotAnnotateForInterchange); // annotation not yet implemented for this code path
713
714     if (!node)
715         return "";
716
717     Document* document = node->document();
718     Frame* frame = document->frame();
719     DeleteButtonController* deleteButton = frame ? frame->editor()->deleteButtonController() : 0;
720
721     // disable the delete button so it's elements are not serialized into the markup
722     if (deleteButton) {
723         if (node->isDescendantOf(deleteButton->containerElement()))
724             return "";
725         deleteButton->disable();
726     }
727
728     document->updateLayoutIgnorePendingStylesheets();
729     DeprecatedString result(markup(const_cast<Node*>(node), includeChildren, nodes));
730
731     if (deleteButton)
732         deleteButton->enable();
733
734     return result;
735 }
736
737 static void fillContainerFromString(ContainerNode* paragraph, const DeprecatedString& string)
738 {
739     Document* document = paragraph->document();
740
741     ExceptionCode ec = 0;
742     if (string.isEmpty()) {
743         paragraph->appendChild(createBlockPlaceholderElement(document), ec);
744         ASSERT(ec == 0);
745         return;
746     }
747
748     ASSERT(string.find('\n') == -1);
749
750     DeprecatedStringList tabList = DeprecatedStringList::split('\t', string, true);
751     DeprecatedString tabText = "";
752     bool first = true;
753     while (!tabList.isEmpty()) {
754         DeprecatedString s = tabList.first();
755         tabList.pop_front();
756
757         // append the non-tab textual part
758         if (!s.isEmpty()) {
759             if (!tabText.isEmpty()) {
760                 paragraph->appendChild(createTabSpanElement(document, tabText), ec);
761                 ASSERT(ec == 0);
762                 tabText = "";
763             }
764             RefPtr<Node> textNode = document->createTextNode(stringWithRebalancedWhitespace(s, first, tabList.isEmpty()));
765             paragraph->appendChild(textNode.release(), ec);
766             ASSERT(ec == 0);
767         }
768
769         // there is a tab after every entry, except the last entry
770         // (if the last character is a tab, the list gets an extra empty entry)
771         if (!tabList.isEmpty())
772             tabText += '\t';
773         else if (!tabText.isEmpty()) {
774             paragraph->appendChild(createTabSpanElement(document, tabText), ec);
775             ASSERT(ec == 0);
776         }
777         
778         first = false;
779     }
780 }
781
782 PassRefPtr<DocumentFragment> createFragmentFromText(Range* context, const String& text)
783 {
784     if (!context)
785         return 0;
786
787     Node* styleNode = context->startNode();
788     if (!styleNode) {
789         styleNode = context->startPosition().node();
790         if (!styleNode)
791             return 0;
792     }
793
794     Document* document = styleNode->document();
795     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
796     
797     if (text.isEmpty())
798         return fragment.release();
799
800     DeprecatedString string = text.deprecatedString();
801     string.replace("\r\n", "\n");
802     string.replace('\r', '\n');
803
804     ExceptionCode ec = 0;
805     RenderObject* renderer = styleNode->renderer();
806     if (renderer && renderer->style()->preserveNewline()) {
807         fragment->appendChild(document->createTextNode(string), ec);
808         ASSERT(ec == 0);
809         if (string.endsWith("\n")) {
810             RefPtr<Element> element;
811             element = document->createElementNS(xhtmlNamespaceURI, "br", ec);
812             ASSERT(ec == 0);
813             element->setAttribute(classAttr, AppleInterchangeNewline);            
814             fragment->appendChild(element.release(), ec);
815             ASSERT(ec == 0);
816         }
817         return fragment.release();
818     }
819
820     // A string with no newlines gets added inline, rather than being put into a paragraph.
821     if (string.find('\n') == -1) {
822         fillContainerFromString(fragment.get(), string);
823         return fragment.release();
824     }
825
826     // Break string into paragraphs. Extra line breaks turn into empty paragraphs.
827     DeprecatedStringList list = DeprecatedStringList::split('\n', string, true); // true gets us empty strings in the list
828     while (!list.isEmpty()) {
829         DeprecatedString s = list.first();
830         list.pop_front();
831
832         RefPtr<Element> element;
833         if (s.isEmpty() && list.isEmpty()) {
834             // For last line, use the "magic BR" rather than a P.
835             element = document->createElementNS(xhtmlNamespaceURI, "br", ec);
836             ASSERT(ec == 0);
837             element->setAttribute(classAttr, AppleInterchangeNewline);            
838         } else {
839             element = createDefaultParagraphElement(document);
840             fillContainerFromString(element.get(), s);
841         }
842         fragment->appendChild(element.release(), ec);
843         ASSERT(ec == 0);
844     }
845     return fragment.release();
846 }
847
848 PassRefPtr<DocumentFragment> createFragmentFromNodes(Document *document, const Vector<Node*>& nodes)
849 {
850     if (!document)
851         return 0;
852
853     // disable the delete button so it's elements are not serialized into the markup
854     if (document->frame())
855         document->frame()->editor()->deleteButtonController()->disable();
856
857     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
858
859     ExceptionCode ec = 0;
860     size_t size = nodes.size();
861     for (size_t i = 0; i < size; ++i) {
862         RefPtr<Element> element = createDefaultParagraphElement(document);
863         element->appendChild(nodes[i], ec);
864         ASSERT(ec == 0);
865         fragment->appendChild(element.release(), ec);
866         ASSERT(ec == 0);
867     }
868
869     if (document->frame())
870         document->frame()->editor()->deleteButtonController()->enable();
871
872     return fragment.release();
873 }
874
875 }